Нейросети · IT-курсы · 4 мин чтения

Почему нейросеть может уверенно говорить неправду?

Редакция Алгоса · Обновлено

Короткий ответ

Языковая модель строит ответ по связям, усвоенным при обучении, и сведениям из доступного запроса. Правдоподобное продолжение текста может содержать неверное имя, число или несуществующую ссылку. Такие ошибки часто называют галлюцинациями. Уверенная формулировка показывает стиль ответа, а не доказанную точность. Особенно внимательно проверяй конкретные факты, редкие сведения и информацию, которая могла измениться после появления исходных учебных данных.

Плавный текст ещё не является проверкой

Модель умеет строить связные предложения, потому что обучалась на большом количестве примеров. Но хорошая форма и верный факт — разные требования. В предложение может попасть правдоподобная фамилия автора, которому нужная книга никогда не принадлежала.

Ошибка не обязательно означает сознательный обман. У программы нет человеческой цели «солгать тебе» только потому, что она выбрала неверное продолжение. Слово «галлюцинация» здесь обозначает выдуманный или неподтверждённый результат, а не медицинское состояние.

Проверяй детали, которые легко выглядят убедительно

Ссылка с названием научной статьи и фамилиями может выглядеть как доказательство. Но нужно открыть её и найти именно нужное утверждение. Даже существующая статья иногда не содержит того вывода, который ей приписывает ответ.

Придуманная книга

Ты просишь рассказать о книге «Синий мост Марса» вымышленного автора Нины Северовой. Система может заметить нехватку сведений, а может сочинить сюжет и дату издания. Подробность такого рассказа не превращает выдуманный пример в настоящую книгу.

Почему повторный вопрос не даёт независимого подтверждения

Если спросить ту же модель «точно?», она может повторить прежний ответ или подобрать новое объяснение к нему. Это продолжение того же способа генерации, а не проверка по отдельному источнику. Нужны документ, воспроизводимый расчёт или другая проверяемая опора.

Сделай ошибку удобной для обнаружения

Проси разделять факты и предположения, показывать исходные данные и указывать точные источники. Это облегчает твою проверку, но само по себе не доказывает точность. Фраза «я проверил» внутри ответа тоже нуждается в подтверждении.

Если проверка выявила ошибку, исправь исходные данные и заново проверь связанные выводы. Нельзя заменить только неверную дату и автоматически довериться остальному рассказу. Для учебного примера сравни объяснение с учебником и реши похожую задачу без подсказки.

Что запомнить

Уверенность текста не измеряет его точность. Проверяй опорные факты за пределами самого ответа.

Попробовать на Алгосе

Нейросети на каждый день

В курсе можно потренироваться задавать понятные запросы, уточнять ответы и находить ошибки в работе ИИ-помощника.

Перейти к курсу Все курсы

Источники и материалы

Разобраться дальше

Все вопросы и разборы