Это не кажется вам воображением - модели ChatGPT действительно сейчас чаще галлюцинируют.

На прошлой неделе OpenAI поделилась исследовательской статьей, в которой описаны результаты тестов их новейших моделей o3 и o4-mini, значительно отличающихся от первоначальных версий ChatGPT, с которыми мы столкнулись в 2023 году. Обновленные модели обладают улучшенными способностями к рассуждениям и мультимодальными функциями. Например, они могут создавать изображения, проводить веб-поиск, автоматизировать задачи, запоминать прошлые разговоры и решать сложные проблемы. Вместе с тем оказывается, что эти усовершенствования также привнесли некоторые непредвиденные последствия.

Что говорят тесты?

Оценочный инструмент OpenAI под названием PersonQA анализирует частоту галлюцинаций в моделях, предоставляя набор фактов об индивидах для учебных целей и последующих вопросов. Модель оценивается по её ответам, точность которых определяется правильностью ответов. В прошлом году модель o1 достигла точности 47% и уровня галлюцинаций 16%.

📊 Хочешь понимать, куда дует ветер на рынке? ТопМоб — мощная аналитика, без воды и хайпа. Не прозевай разворот!

Включай мозг — подписывайся

Если два этих ответа не дают 100%, возможно, что некоторые другие ответы были либо неверными, либо вообще отсутствовали (в случае галлюцинаций). Модель может иногда отвечать, что она не имеет нужной информации, предоставить альтернативные данные вместо этого или допустить небольшую ошибку, которая не является явной галлюцинацией.

В сравнении с моделями o1 и o3-mini, модели o3 и o4-mini показали значительно более высокую частоту галлюцинаций во время тестирования. Это было несколько ожидаемо для модели o4-mini ввиду ее меньшего размера и ограниченного знания мира; такие характеристики обычно приводят к увеличению количества галлюцинаций. Однако наблюдаемый уровень галлюцинаций в 48% у модели o4-mini вызывает удивление, учитывая, что она является коммерчески доступным продуктом, используемым людьми для поиска информации в интернете и получения различных видов советов.

Модель O3, стандартная версия, испытывала галлюцинации примерно в трети своих ответов во время теста, показав лучшую производительность по сравнению с Моделью O4-mini. Однако она более чем удвоила уровень галлюцинаций относительно Модели O1. Несмотря на это, модель демонстрировала высокий уровень точности, который OpenAI связывает со склонностью делать больше утверждений в целом. Поэтому если вы заметили множество галлюцинаций при использовании одной из этих новых моделей, можете быть уверены — это не все только ваше воображение.

Что такое AI-галлюцинации и почему они возникают?

Возможно, термин ‘галлюцинации ИИ-моделей’ звучит знакомо, но не всегда понимается правильно. При взаимодействии с продуктами ИИ, такими как от OpenAI, важно учитывать, что предоставляемая информация может быть неточной. Чтобы гарантировать точность получаемых вами ответов, крайне важно самостоятельно проверять факты.

Информация, которая не является верной, может поступать из разных источников — иногда ошибочные факты попадают в Википедию или пользователи размещают вводящую в заблуждение информацию на таких платформах, как Reddit. Эти неверные данные могут непреднамеренно включаться в ответы, сгенерированные ИИ. Например, обзоры Google AI привлекли внимание, когда предоставили рецепт пиццы со ‘нетоксичным клеем’ как ингредиентом. После проверки было установлено, что источником этой информации была шутка из потока на Reddit.

Вместо того чтобы называть их ‘галлюцинациями’, эти случаи лучше описывать как ошибки или неправильные интерпретации из-за неполных данных. В отличие от галлюцинаций, где модели ИИ представляют информацию без каких-либо видимых источников или логики, такие ситуации возникают, когда ИИ не может найти необходимую информацию для ответа на конкретный запрос. Эти моменты также иногда называют ‘креативным заполнением пробелов’ в индустрии искусственного интеллекта, что отражает тенденцию моделей ИИ создавать факты в ситуациях неопределенности.

Возможно, непреднамеренно вы побуждаете ChatGPT придумывать или изобретать фиктивные сценарии, когда задаёте вопросы, предполагающие определённую реальность, например: ‘Какие семь моделей iPhone 16 доступны в настоящее время?’ Если реально доступно меньше семи моделей, модель может дать некоторые истинные ответы и затем создать дополнительные, вымышленные модели для завершения списка.

Помимо обучения на огромном объеме доступных онлайн данных, формирующих содержание их ответов, чат-боты типа ChatGPT также осваивают «искусство отвечать». Они ознакомлены с множеством примеров запросов и подходящих ответов для поддержания адекватного тона, манеры поведения и вежливости.

На этой стадии обучения LLM может казаться согласной с вами или показывать понимание, несмотря на то что другие части её ответов противоречат этим утверждениям. Это может быть связано с процессом тренировки, в котором уверенные и отзывчивые ответы подкрепляются сильнее, чем те, которые неправильно отвечают на вопрос. Такое подкрепление может способствовать высокой частоте галлюцинаций у LLM.

Проще говоря, нам кажется очевидным, что намеренно распространять неправду более вредно, чем признать своё незнание – чего ИИ не может сделать, так как у него отсутствует понимание концепции лжи. Некоторые утверждают, что ошибки в работе ИИ напоминают человеческие ошибки, предлагая не ожидать от него совершенства, поскольку мы сами несовершенны. Однако важно помнить, что промахи в системе искусственного интеллекта происходят из-за недостатков систем, созданных человеком.

Модели ИИ не создают факты, делают ошибки или забывают детали, как люди. Вместо этого они оценивают вероятность появления следующего слова в предложении на основе шаблонов. Так как наиболее часто используемое слово в данном контексте обычно является правильным, их предсказания могут соответствовать точной информации. Однако важно отметить, что эти ‘правильные ответы’ являются скорее результатом статистической вероятности, чем намеренной точности — по сути это догадки, основанные на данных, которые были изучены.

Эти модели поставляются с огромным количеством данных, эквивалентным всему интернету. Однако мы не учим их тому, какие данные являются достоверными или недостоверными, верными или неверными. Они работают без каких-либо предварительных знаний или фундаментальных принципов для самостоятельного различения информации. Вместо этого они полагаются на определение паттернов в словах, наиболее часто встречающихся в определенном контексте, считая эти паттерны своими версиями истины. Некоторые считают эту систему потенциально провальной, тогда как другие утверждают, что она может привести к Общему Искусственному Интеллекту (AGI), хотя это тема для другого разговора.

Что исправить?

Похоже, что текущие модели OpenAI склонны чаще галлюцинировать, и мы всё ещё пытаемся понять причину этого явления. В процессе дальнейшего исследования надеемся выявить основную причину и найти решение. Однако важно отметить, что на пути могут встретиться трудности. По мере того как OpenAI продолжает разрабатывать и выпускать новые продвинутые модели, возможно также увеличение частоты галлюцинаций.

В этом сценарии кажется, что OpenAI могут потребовать как краткосрочных, так и долгосрочных стратегий. Им следует реализовать временное решение параллельно с изучением основной проблемы. Учитывая, что эти модели являются коммерческими проектами, крайне важно, чтобы они начали работать как можно скорее. Моё непрофессиональное мнение может заключаться в разработке унифицированного продукта – возможно, платформы для чата, которая могла бы взаимодействовать с различными моделями OpenAI.

Когда для вопроса требуется сложное логическое мышление, мы будем использовать GPTP4, тогда как более простые запросы с меньшим риском иллюзии будут обрабатываться более старыми моделями типа o1. Для повышения точности наших ответов компания может поручить различным моделям обрабатывать разные аспекты в пределах одного запроса. Наконец, отдельная модель может быть использована для объединения всех частей в один связный ответ. Такой совместный подход между ИИ-моделями предполагает возможность интеграции системы проверки фактов.

В противоположность этому, достижение более высокой точности не является нашей главной целью. Вместо этого наша основная цель заключается в уменьшении частоты галлюцинаций. Это включает признание и приоритет ответов, которые указывают на ‘Я не знаю’, а также тех, что содержат достоверную информацию.

По правде говоря, я не уверен в конкретных действиях, которые может предпринять OpenAI, или насколько сильно их исследователи обеспокоены ростом случаев галлюцинаций. Могу подтвердить лишь то, что увеличение числа таких явлений вредит пользователям, поскольку повышает вероятность быть обманутыми без осознания этого факта. Для тех, кто увлечен моделями обучения языку, продолжайте использовать их, однако помните о необходимости проверять результаты вместо того, чтобы жертвовать точностью ради скорости. Во всех случаях всегда перепроверяйте факты!

Смотрите также

2025-04-27 13:28