чат боты?

[Aries]

Таааакс… Маленький фейл с моей стороны))))
Хотел все показать на конкретном программном примере, но понял, что даже для простейшего случае надо не так уж мало времени, как показалось….

В общем начну сначала (т.е. с лингвистики по сути), с кодом если повезет все же потом доделаю, но пока чисто покажу простейшее описание грамматики языка, построенное по принципу описания грамматики языка программирования… Кто занимался теорией компиляторов, думаю, и сам сможет разобраться как на основе этого описания строить анализаторы.

Для начала по теории… По сути грамматика состоит из 4 элементов:
- входной алфавит
- нетерминальные символы
- начальный символ (из нетерминальных)
- правила применения

Т.к. простейший, то словарный запас маленький, и описание языка тоже минимальное… Но дальнейшее усложнение – чисто дело техники, т.к. в плане понимания вопроса ничего не изменит уже.

Возьмем:
Входной алфавит: положить, взять, синий, желтый, стул, окно, в, на, под…
Нетерминальные символы – Фраза, Гл., Гр. Сущ., Сущ., Прил., Предл.
Начальный символ – Фраза.

Теперь правила:
Фраза – > Гл., Гр. Сущ.
Гр. Сущ. – > Прил., Сущ
Гр. Сущ. – > Гр. Сущ., Предл., Гр. Сущ.
Гл. – > положить/взять
Сущ. – > стул/стол
Предл. – > в/на/под
Прил. – > синий/желтый

На основе данной грамматики можно в принципе строить фразы любой сложности, т.к. есть рекурсия вида Гр. Сущ. – > Гр. Сущ., Предл., Гр. Сущ.
Про осмысленные фразы конечно пока не говорим, но с точки зрения грамматики фразы будут построены правильно
Например:
«Взять синий стол»
«Положить желтый стул под синий стол»

Конечно на моем примере много не построишь, надо куда больше правил (при этом если брать случай синтаксического анализатора, на правила применения накладываются дополнительные ограничения применения).
Дальше делается на основе конечных автоматов:
считывается строка по словам и на основе правил грамматики ее нужно свернуть к начальному символу. В случае если строка не свернулась, то с точки зрения грамматики строка заведомо неверная и разбор ее смысла уже не имеет значения.
А если свернулась, то надо переходить к синтаксическому анализу…

ЗЫ все это описываю в большей степени для supernewbie, чтобы не занимался всякой фигней и понял, что проще сделать конечный набор фраз))) Ну или хотя бы, чтобы попробовал понять, что без определения начальной грамматики языка все равно в итоге ничего хорошего не выйдет, если создавать бота хотя бы умеющего понимать не сложные, но уже более-менее естественные фразы.

ЗЫЫ если уж не понять настолько базовый момент, то про генерацию фраз я вообще молчу...

[supernewbie]

буду заниматся всякой фигней, набор фраз - полный отстой

[destructor]

приходит тебе в чат:
>>Положить желтый стул под синий стол

бот разбирает предложение и строит(согласно правилам) дерево:

Фраза = 
   Гл.[Положить]
   + 
   Гр. Сущ[желтый стул под синий стол]
       (
           Гр. Сущ.[желтый стул]
                 (
                      Прил.[желтый]
                      +
                      Сущ [стул]
                 )
           +
           Предл.[под]
           +
           Гр. Сущ.[синий стол]
                 (
                       Прил.[синий]
                       +
                       Сущ.[стол]
                 )
       )

дальше что?

[Aries]

Ну тогда все таки советую внимательнее посмотреть что я написал и подумать еще 500 раз хотя бы о самом принципе построения.
Пока это единственный известный мне способ, который используется при распознании и генерации речи в робототехнике

ЗЫ Если все таки согласишься с данным методом, то мб и помогу в чем-то (хотя пока времени свободного практически нет)

[supernewbie]

думаю сейчас вся моя работа будет заключатся в наступаниях на грабли

[Aries]

Сообщение от destructor

приходит тебе в чат:
>>Положить желтый стул под синий стол

бот разбирает предложение и строит(согласно правилам) дерево:

дальше что?

Принцип работы немного не такой
1.Фраза – > Гл., Гр. Сущ.
2.Гр. Сущ. – > Прил., Сущ
3.Гр. Сущ. – > Гр. Сущ., Предл., Гр. Сущ.
4.Гл. – > положить/взять
5.Сущ. – > стул/стол
6.Предл. – > в/на/под
7.Прил. – > синий/желтый

Допустим есть стек, куда кладутся лексемы
Считываем по словам, при этом анализируя содержимое стека:
Положить - Гл. (по правилу 4)
стек пустой, больше правила не применимы, значит
push (Гл.)
желтый - Прил. (7)
В стеке Гл., правил вида Гл., Прил. не существует, значит
push (Прил.)
стул - Сущ. (5)
На вершине стека Прил. -> применимо правило 2, значит
pop(),
Прил., Сущ. - Гр. Сущ.

смотрим стек, видим что можно применить правило 1, но на данном примере видим, что будет ошибка, соответственно не учли при построении грамматики у нас должно было быть дополнительное ограничение о применимости правила 1 (например, если след слово - не предлог)
с учетом этого условия, больше правила не применимы, значит
push (Гр. Сущ.)
и т.д.
в итоге стек: Гл. Гр. Сущ. Предл.
текущая лексема - Гр. Сущ.
Извлекаем из стека, получается Гр. Сущ. Предл. Гр. Сущ. - Гр. Сущ.
Затем Гл. Гр. Сущ. - Фраза
Т.е. предложение свернулось и значит фраза построена верно...
Значит можно включать мозги по распознанию смысла (т.е. синтаксический анализатор)... С этим вопросом я конечно уже не продумывал все как следует. Там по подобному принципу разбирается фраза, но при разбитии на лексемы уже делаются дополнительные действия, которые будут связаны с конкретными значениями слов, формирование внутренних таблиц и скорее всего формирование внутреннего представления значения данной фразы... Т.е. формирование однозначно определенной последовательности действий. Пример из теории компиляторов, это на уровне синтаксического анализа часто идет построение Польской Формы записи, которая как раз однозначно определяет всю дальнейшую последовательность действий.

[destructor]

Сообщение от Aries

Принцип работы немного не такой

какая нафик разница как это происходит.

Сообщение от Aries

Т.е. формирование однозначно определенной последовательности действий.

опять ты про компиляторы
эта последовательность действий разбирается и выполняется без проблем.
тут не нужно ничего похожего на мозги.

[Aries]

Сообщение от destructor

какая нафик разница как это происходит.

опять ты про компиляторы
эта последовательность действий разбирается и выполняется без проблем.
тут не нужно ничего похожего на мозги.

видимо кто-то кого-то не понял))))
а я говорил про мозги?
Я говорил, что прежде чем писать мозги, нужно построить грамматику языка и разобраться с этим, а не начинать сразу с "восприятия мира"

А общий принцип создания в любом случае 1 в 1 с компилятором... Разница будет заключаться в том что при разборе текста на этапе синтаксического анализа в случае компилятора мы сразу формируем форму которая грубо говоря будет потом исполняться, а вот при разборе естественного языка тут уже нужен более сложный анализ (и только начиная с этого момента нужно задумываться о смысловой его составляющей). Хотя в любом случае надо строить какую-то внутреннюю форму представления фразы с жесткими правилами (так что и тут отличия от компилятора заключаются только в наличии большего количества правил и ограничений).

ЗЫ а ты надеялся, что я тебе раскрою секреты построения искусственного интеллекта? xD

[mira]

в любом случае фразу нада сначало привести в программно-понятный вид, так сказать структуру. потом уже обработать и дать ответ. в идеале переварив его еще и мозгами (это уже последнее что стоит делать)

[Aries]

Сообщение от mira

в любом случае фразу нада сначало привести в программно-понятный вид, так сказать структуру. потом уже обработать и дать ответ. в идеале переварив его еще и мозгами (это уже последнее что стоит делать)

по-моему единственный человек, который сейчас понял меня, да?)))))