Нейросеть может уверенно назвать дату, сослаться на книгу, привести цитату или описать событие — и при этом ошибиться. Иногда модель даже придумывает источник, которого никогда не существовало. Такая ошибка особенно опасна тем, что по стилю ответа её бывает трудно отличить от достоверной информации. Разберёмся, почему это происходит, что называют галлюцинациями ИИ и как проверять ответы нейросетей.
Терминология.
Откуда появился термин «галлюцинация ИИ»?
Слово «галлюцинация» давно используется в медицине и психологии. В сфере искусственного интеллекта его применяют в переносном смысле — для описания случаев, когда система создаёт правдоподобную, но ошибочную или выдуманную информацию.
В технических документах встречается и термин «конфабуляция». Например, Национальный институт стандартов и технологий США использует его для описания уверенно представленного ложного или ошибочного содержимого, созданного генеративной системой. В обычной речи намного чаще говорят о «галлюцинациях ИИ».
Что такое галлюцинация ИИ?
Галлюцинация ИИ — это сгенерированный моделью ответ или его часть, которые выглядят правдоподобно, но содержат выдуманную, ложную или не подтверждаемую информацию.
Модель может придумать название исследования, неправильно указать автора книги, создать несуществующую ссылку, перепутать даты или объединить сведения о разных людях в один рассказ.
При этом не каждую ошибку нейросети называют галлюцинацией. Например, система может неправильно выполнить расчёт, неверно понять вопрос или использовать устаревшие сведения. О галлюцинации обычно говорят тогда, когда модель создаёт правдоподобную информацию, которой на самом деле нет или которая не соответствует фактам.
Что такое галлюцинация ИИ простыми словами?
Галлюцинация ИИ простыми словами — это убедительно сформулированная выдумка или ошибка, созданная моделью. Нейросеть может сообщить несуществующий факт, имя, дату, цитату или источник так же спокойно и уверенно, как правильную информацию.
Почему нейросети ошибаются?
Причины ошибок бывают разными. Модели могут не хватать надёжной информации, запрос может быть двусмысленным, обучающие данные могут содержать неточности, а сама задача — оказаться слишком сложной для конкретной системы.
Особенно хорошо проблему галлюцинаций видно на примере больших языковых моделей. Они создают ответ последовательно: получают запрос, учитывают доступный контекст и шаг за шагом выбирают подходящее продолжение текста.
Модель создаёт подходящее продолжение текста.
Большая языковая модель обучается на огромном количестве текстов. Во время обучения её параметры меняются так, чтобы система всё лучше определяла, какие части текста обычно связаны друг с другом и какие продолжения подходят к уже имеющейся последовательности.
После обучения этот принцип используется при создании ответа. Модель получает запрос и последовательно формирует текст, выбирая очередные токены с учётом предыдущего контекста.
Проблема заключается в том, что правдоподобный текст и достоверный факт — разные вещи. Предложение может быть грамматически правильным, логичным и похожим на обычный справочный ответ, но содержать неверную информацию.
Например, пользователь просит назвать автора малоизвестного исследования. Если надёжной информации недостаточно, модель может создать имя, которое хорошо подходит к контексту. Затем к нему могут появиться правдоподобное название статьи, журнал и год публикации.
В результате получится подробный и связный ответ, хотя такого исследования вообще не существует.
В обучающих данных есть ошибки и пробелы.
Качество модели зависит в том числе от данных, на которых она обучалась. В больших массивах текстов встречаются ошибки, устаревшие сведения, противоречия и неточные утверждения.
Кроме того, разные темы представлены в данных неравномерно. Об известном историческом событии могут существовать тысячи подробных материалов, а о малоизвестном человеке или узкой научной теме — совсем немного.
Если надёжной информации мало, модель может использовать похожие связи из других текстов и создать детали, которые выглядят логично, но не соответствуют действительности.
Отдельная проблема — актуальность сведений. Должность человека, стоимость услуги, законодательство, расписание, правила сервиса или характеристики продукта могут измениться. Если модель не получает свежие данные из внешнего источника, её ответ может оказаться устаревшим.
Ошибка может быть заложена в самом вопросе.
Иногда пользователь задаёт вопрос с неверной предпосылкой. Например:
«Какие книги по программированию написал Альберт Эйнштейн?»
Формулировка уже предполагает, что такие книги существуют. Модель может заметить ошибочную предпосылку и сообщить о ней, а может принять её и попытаться выполнить запрос.
Во втором случае могут появиться выдуманные названия книг, даты публикации и описания содержания.
Похожая проблема возникает при слишком расплывчатом запросе. Если важного контекста не хватает, модель вынуждена самостоятельно выбирать один из возможных вариантов трактовки. Этот выбор может оказаться неверным.
Почему выдуманный ответ может звучать уверенно?
Одна из главных проблем галлюцинаций состоит в том, что ошибочная информация может выглядеть очень убедительно. Модель способна оформить выдуманный факт так же аккуратно, как настоящий.
Например, она может написать:
«Исследование опубликовано Иваном Петровым в 2019 году в журнале Journal of Digital Psychology».
Фраза выглядит правдоподобно. Есть имя автора, год и название журнала. Но все эти детали могут быть сгенерированы моделью и не иметь реального источника.
Причина в том, что языковая модель умеет воспроизводить структуру подобных текстов. В обучающих данных встречается множество библиографических записей, цитат, биографий, описаний исследований и ссылок. Поэтому система способна создать новый текст в такой же форме.
Правильная форма не гарантирует правильное содержание.
Особенно внимательно стоит относиться к следующим деталям:
- ссылкам на исследования — модель может придумать название статьи, журнал или автора;
- цитатам — реальному человеку могут быть приписаны слова, которых он не говорил;
- датам — модель способна перепутать год или объединить несколько событий;
- точным числам — процент, сумма или статистика могут выглядеть убедительно без реального источника;
- биографическим сведениям — данные о нескольких людях могут смешиваться;
- названиям документов — закон, приказ, книга или научная работа могут оказаться вымышленными;
- интернет-адресам — правдоподобно выглядящая ссылка может вести на несуществующую страницу.
Количество подробностей тоже не подтверждает достоверность ответа. Иногда выдуманная информация выглядит особенно убедительно именно потому, что модель добавляет имена, даты, номера документов и другие конкретные детали.
Уверенный тон показывает только форму ответа. Он не показывает, насколько хорошо проверены содержащиеся в нём факты.
Какие ответы ИИ нужно проверять и как это делать?
Проверять каждое предложение любого ответа обычно не требуется. Если нейросеть помогает придумать название, изменить стиль собственного текста или составить список идей, точность фактов может вообще не быть главным условием.
Совсем другой подход нужен там, где ответ содержит конкретные сведения или используется для принятия важного решения.
Особенно внимательно стоит проверять:
- даты, числа и статистику;
- имена, должности и биографические сведения;
- цитаты;
- названия книг, статей и исследований;
- законы, правила и другие официальные документы;
- медицинскую информацию;
- финансовые сведения;
- новости и текущие события;
- цены, расписания и другую быстро меняющуюся информацию;
- ссылки и библиографические данные.
Чем серьёзнее последствия возможной ошибки, тем тщательнее нужно проверять ответ.
Как проверить ответ нейросети?
Проверка не обязательно должна занимать много времени. Главное — выделить конкретные утверждения и найти для важных фактов надёжное подтверждение.
Простой порядок проверки:
- Выделите конкретное утверждение. Например: «исследование опубликовано в 2021 году», «этот препарат применяется при таком заболевании» или «закон вступил в силу 1 января».
- Найдите первичный или авторитетный источник. Закон лучше проверять на официальном правовом ресурсе, научную статью — в самом журнале или научной базе, статистику — у организации, которая её собирает.
- Проверьте названный моделью источник. Если нейросеть ссылается на книгу, исследование или документ, сначала убедитесь, что такой источник действительно существует.
- Сверьте конкретные детали. Проверьте автора, дату, название, число или точную формулировку, а не только наличие похожей страницы.
- Проверьте актуальность. Настоящий источник может содержать сведения, которые уже устарели.
Если вопрос спорный или особенно важный, полезно найти несколько независимых подтверждений.
Можно попросить и саму модель помочь подготовить проверку. Например:
«Выдели из своего ответа все фактические утверждения, которые требуют проверки, и укажи, по каким первичным источникам их лучше проверять».
Такой запрос помогает понять, что именно нужно искать. Однако повторный вопрос той же нейросети не является независимой проверкой.
Запрос «Ты уверен?» тоже не решает проблему. Модель может исправить ответ, а может столь же уверенно подтвердить уже допущенную ошибку.
Некоторые системы умеют обращаться к интернет-поиску, базам данных или переданным документам. Это позволяет модели использовать внешние сведения при подготовке ответа и снижает риск галлюцинаций.
Один из распространённых подходов называется RAG — генерация с дополнением найденной информацией. Система сначала получает подходящие данные из внешнего источника, а затем передаёт их языковой модели вместе с запросом.
Это помогает привязать ответ к конкретным материалам, но полностью проблему не устраняет. Модель может неправильно понять источник, перепутать сведения или сделать неверный вывод. Поэтому в важных ситуациях итоговые факты всё равно нужно сверять.
Заключение.
Нейросети ошибаются по разным причинам: из-за особенностей генерации текста, пробелов и ошибок в данных, недостатка контекста, неверных предпосылок в запросе и ограничений самой модели.
Галлюцинацией ИИ называют ситуацию, когда генеративная система создаёт правдоподобную, но ложную или выдуманную информацию. Это может быть неправильная дата, несуществующий источник, выдуманная цитата, ложное число или целое событие.
Главная проблема состоит в том, что ложный ответ может звучать так же уверенно и грамотно, как правильный. Поэтому стиль, длина текста и количество подробностей не подтверждают достоверность информации.
Принцип проверки простой: чем важнее факт и серьёзнее последствия ошибки, тем надёжнее должен быть источник подтверждения. Нейросеть удобно использовать для поиска идей, объяснения и обработки информации, но важные сведения нужно проверять отдельно.
Источники.
- «Профиль управления рисками генеративного искусственного интеллекта» — Национальный институт стандартов и технологий США (NIST).
- «Что такое галлюцинации искусственного интеллекта?» — IBM.
- «Глоссарий генеративного искусственного интеллекта» — Google Cloud.
- «Генерация с дополнением найденной информацией» — Google Cloud.
- «Языковые модели обучаются по нескольким примерам» — Том Браун, Бенджамин Манн, Ник Райдер и другие, сборник конференции Advances in Neural Information Processing Systems.