Британские ученые научились распознавать ложную информацию ИИ

0

Новаторская работа группы британских исследователей, опубликованная в научном журнале Nature, раскрывает метод, позволяющий с высокой точностью выявлять моменты, когда чат-боты на базе ИИ начинают предоставлять недостоверную информацию.

В ходе своего исследования ученые обнаружили интересное явление, названное конфабуляцией. Этот феномен проявляется, когда искусственные агенты непреднамеренно смешивают реальные факты с вымышленными событиями, создавая своего рода «цифровые мифы». Для решения этой проблемы специалисты разработали инновационный метод анализа, способный отличить правду от вымысла в ответах ИИ.

Исследование показало, что современные инструменты искусственного интеллекта, такие как ChatGPT, не способны намеренно лгать. Однако они могут выдавать неточную или ошибочную информацию в случаях, когда их база данных недостаточно обширна для формирования корректного ответа. Кроме того, ученые отметили, что некоторые вопросы могут иметь несколько возможных ответов, что приводит к статистической неопределенности в ответах ИИ.

Ключевым элементом нового метода стало использование концепции семантической энтропии. Исследователи предложили многократно задавать ИИ один и тот же вопрос, а затем анализировать семантическую эквивалентность полученных ответов. Если большинство ответов имеют схожее смысловое значение, это указывает на то, что ИИ, вероятно, обладает достоверной информацией, но может испытывать трудности с ее формулировкой. В противном случае, разнородность ответов может свидетельствовать о том, что чат-бот генерирует недостоверные данные.

Это открытие имеет огромное значение для дальнейшего развития и применения искусственного интеллекта в различных сферах. Оно не только поможет повысить надежность и точность ответов ИИ, но и позволит разработчикам создавать более совершенные алгоритмы обучения для будущих поколений интеллектуальных систем.

Комментарии закрыты