Почему чат-боты несут баснословную дичь, умеют ли генеративные языковые модели в дедукцию и что такое «правдоризация»? Рассказывает Борис Галицкий — специалист по лингвистическим технологиям и машинному обучению.
- 1. Когда генеративный искусственный интеллект врет, это происходит не потому, что в него кто-то «заложил идею вранья», а потому что так работает модель генерации текста, основанная на усреднении
- 2. Усредняют не только чат-боты, но и люди. Только первые за это не несут никакой ответственности — а зря
- 3. Исправить ошибки генеративных моделей можно через обращение к внешним источникам — например, поисковым системам
- 4. Чат-боты будут развиваться в сторону большей правдоризации и персонализации
- 5. Для генеративных языковых моделей индукция — врожденная функция, а дедукция — имитируемая
- 6. Логика — это то, чего не хватает генеративным моделям для объяснения и завоевания всего мира.
1. Когда генеративный искусственный интеллект врет, это происходит не потому, что в него кто-то «заложил идею вранья», а потому что так работает модель генерации текста, основанная на усреднении
Чат-боты, построенные на глубоком обучении, обманывают не специально. Все дело в природе модели, с помощью которой они порождают текст.
Генерация текста основана на усреднении. Это работает следующим образом. Допустим, мы с вами начали говорить, произнесли пять слов, а шестое слово выбираем так: берем среднее из всевозможных текстов, в которых уже встретились наши пять слов подряд, и пытаемся предсказать наиболее вероятное шестое слово. ИИ часто угадывает правильные ответы. Но иногда случается и полный провал, например, если спросить, как звали коня Чапаева. Если нет специальной информации, чат-бот усредняет имя коня до среднестатистического.
По-хорошему, он должен отказаться отвечать на вопрос. Ну не обязан он знать имя коня Чапаева. Но, к сожалению, лингвистическую модель запрограммировали так, что она никогда не отказывается отвечать. Он берет всевозможные тексты про Чапаева, коня Чапаева, коня человека, похожего на Чапаева, или Петрова, или Сидорова, и в отсутствие близкого и конкретного источника делает среднестатистическое имя. Таким образом вранье — это естественное свойство подобного подхода к генерации текстов.
2. Усредняют не только чат-боты, но и люди. Только первые за это не несут никакой ответственности — а зря
По-хорошему, надо предупреждать пользователей генеративных моделей, что каждый ответ чат-ботов надо проверять. Но это относится не только к ИИ. Я дам пример из медицины. Если ты в определенном возрасте делаешь томографию коленки, то врачи особо не смотрят на снимок, так как знают, что в среднем случае у людей старше 50 существует проблема с коленом. Доктор говорит, что нужна инъекция такого-то препарата — просто потому, что это обычно срабатывает.
В данном смысле типичный массовый врач и системы искусственного интеллекта похожи. Чтобы не заморачиваться, и специалисты, и ИИ предлагают стандартные средние решения. В большинстве случаев они верны, но иногда система дает сбои.
У создателей ИИ ответственность должна быть такая же, как у врачей. Как нельзя продавать алкоголь до 18 лет, так же следует запретить создавать генеративный интеллект без правдоризатора. Это вредит обществу.
3. Исправить ошибки генеративных моделей можно через обращение к внешним источникам — например, поисковым системам
Правдоризацией я называют выявление ошибок генеративных моделей, я работаю в этом направлении уже несколько лет (компания Knowledge-Trail in San Jose, USA). Понятно — чем меньше данных мы усредняем, тем больше создаем лжи в течении времени. Три года назад были модели, способные усреднять меньшее количество обучающей выборки, поэтому вранья было больше. Так как текста становится все больше, для каждого вопроса находятся все более прямые ответы, и лжи становится меньше.
Но полностью избавиться от вранья таким способом невозможно. Следует использовать совсем другой источник информации — вне генеративной модели — и сверять. Иначе исключить ложные ответы невозможно. Сейчас мы применяем этот принцип в компании Kedos для оценки работы студентов. При ответе на вопрос студент скорее не лжет, а ошибается. Выявление его ошибок при ответе на вопрос в общем-то то же самое, что и выявление ошибок GPT.
Приведу пример, как должен работать «правдоризатор». Допустим, вы спрашиваете ChatGPT, где купить подходящий пиджак. Чат-бот скажет: «Модный пиджак важен. Он вас очень украсит. Он развивает вашу карьеру» и прочее бла-бла-бла. Правдоризатор определит, что перед нами просто вводный текст, связанный с оценочным мнением, соответственно, в нем нельзя соврать. Далее Chat GPT говорит: «На улице Горького в магазине «Модный базар» с 10 утра продается пиджак». Тут, используя Яндекс и Google, правдоризатор должен проверить информацию и выяснить, что пиджак продается в других магазинах, по другому адресу и в другое время.
Еще раз: из предложения-кандидата на ложь мы формируем запросы и посылаем их в поисковую систему, получаем ответ, затем сравниваем. Именно так может работать фактчекинг, или правдоризация, который проверяет выдачу генеративной модели.
4. Чат-боты будут развиваться в сторону большей правдоризации и персонализации
В книге «Искусственный интеллект в медицине» я касался проблемы правдоризации в Chat GPT-3 в связи с персонализированными рекомендациями по лечению. Задача персонализации выдачи текста в принципе пока не решена, но многие компании этим, безусловно, занимаются, в том числе наша компания Kedos, которая разрабатывает программы персонализированного обучения.
В области медицины области генеративный искусственный интеллект будет внедрен в последнюю очередь. Дело в том, что в медицинской сфере огромное количество терминов. В пересчете на термин получается не такая уж большая обучающая выборка и вероятность ошибок очень велика.
Еще одно слабое место генеративных языковых моделей — это пассивность: человек спрашивает и корректирует, а чат-бот лишь отвечает. Для некоторых ситуаций, таких как обучение или медицина, модели следует быть более активной и проявлять заинтересованность в будущих вопросах пользователя, а также ждать от него инициативы. Вопросы инициативности чат-ботов я затрагиваю в книге 2019 года.
5. Для генеративных языковых моделей индукция — врожденная функция, а дедукция — имитируемая
Дедукция — это явление символьное, и воспроизвести ее генеративные модели не в состоянии. Они лишь выполняют похожую на дедукцию операцию методом усреднения, добиваясь результатов примерно на уровне 12-летнего ребенка.
Поскольку языковые модели не способны делать импликации, т.е. утверждения по форме «если… то…», для любой ситуации, где нужна импликация, модель просто находит похожие синтаксические структуры и применяет их усреднение. Таким образом нейронная сеть замещает дедукцию и логические выводы.
Допустим, я сказал, что мне стало холодно, и я включил обогреватель. Затем я сказал, что мне стало темно, и я включил лампу. По аналогии с синтаксической структурой нейросеть обобщает, что если человеку сыро, он тоже включит обогреватель. Выглядит как дедукция, но на самом деле это имитация индукцией по аналогии.
Недавно я подал заявку в издательство Springer на книгу «Применение нейро-символьного искусственного интеллекта», так что в будущем, вероятно, с моими соображениями по этому вопросу можно будет ознакомиться подробнее.