Нейронные сети могут быстро найти нужную информацию, обработать документы и даже написать диплом. Но проблема в том, что вместе с правдивыми ответами нейронки могут выдавать за факты выдуманные события.
Что значит галлюцинация нейронных сетей
Это “фантазии” ИИ, не имеющие ничего общего с реальностью. Искусственный интеллект может путать даты исторических событий или придумывать их, менять биографии известных людей, выдумывать никем не проводившиеся научные исследования. И делает он это очень убедительно.
Например, ChatGPT на вопрос есть ли на острове Бофорта в Гонконге хорошие места, где можно поужинать, ответил утвердительно и даже указал название ресторана, посоветовав бронировать столик заранее. Но остров Бофорта необитаем, поскольку расположен в Антарктике, а чат просто придумал рекламный текст, рассчитанный на туристов.
ИИ генерировал истории и на более бредовые запросы. Например, о вторжении на Урал инопланетян. Текст содержал краткое описание событий, точные даты и выводы о последствиях этого вторжения на человечество, научное сообщество.
Бывают и комичные ситуации, связанные с системами распознавания объектов. Так автопилот Tesla не смог идентифицировать телегу с лошадьми. Непонятный транспорт ввел искусственный интеллект в ступор.
Иногда галлюцинации нейросетей пугают – тот же бортовой компьютер Теслы распознал на пустой дороге человека. Наверное, не нужно говорить, что чувствовал в это время водитель. А чат бот MY Al от Snapchat опубликовал в сторис странное фото, хотя такой опции (историй) в приложении не было. Такое необъяснимое пугающее “разумное” поведение программы заставило часть пользователей удалить приложение.
Но во всем этом нет ничего критичного, пока дело не касается задач, требующих точности, которые обычно включают многоступенчатые решения и даже одна ошибка на одном из этапов приведет к неверному ответу.
Почему это происходит
Поскольку ИИ – это не поисковая система с настраиваемыми алгоритмами, и не база данных, то вероятность ошибок очень велика.
По мнению разработчиков Яндекса главных причин две;
- предобучение на больших массивах данных, не всегда содержащих корректную информацию;
- принципы самой языковой модели.
Начнем с первого пункта. При обучении ИИ “поглощает” много информации – ложной, противоречивой, непроверенной или устаревшей. Но даже этих данных не всегда достаточно. Сейчас у того же ChatGPT нет доступа к интернету и он не знает, какие события происходят в мире.
ИИ построен по принципу нейронных связей в человеческом мозге, но в отличие от человека у него нет критического мышления, своего мнения. Они не умеют сомневаться, делать выводы и сопоставлять факты. Они ищут ответы в своей ассоциативной памяти, а если не находят - придумывают свой.
Что до принципов построения модели, то у нейронок нет задачи выдать правдивые данные. Программа, получив запрос, будет просто угадывать последовательность слов в предложении, используя статистические знания, пока не получит готовый текст. А чтобы это угадывание получалось лучше, ИИ нужно скормить еще больше данных.
Что можно сделать, чтобы уменьшить количество галлюцинаций:
- давать больше конкретики в запросах – у ИИ нет абстрактного мышления, поэтому задачи нужно ставить четко, можно даже с примерами (программе это нравится);
- не использовать редкие слова – вероятность получить неверный результат будет меньше;
- задавать паттерны – поправлять, пошаговое руководство (работает для задач по программированию);
- добавлять контекст – вернее давать вводные, где искать информацию, например, если нужна статья о фильме, стоит добавить год его выхода в прокат и каст актеров;
- проверять факты – ИИ может допускать логические ошибки, менять в цитатах слова, путать даты, вместе с полезным текстом сгенерировать бессмыслицу.
Проблему галлюцинаций пытаются решить и разработчики. В OpenAI решили изменить мотивацию. Идея в том, чтобы “награждать” алгоритм за каждый верный шаг рассуждений, а не за итоговый правильный ответ. Насколько хорошо сработает новая система мотивации можно будет понять после очередного обновления ChatGPT.
