В ходе своего исследования ученые обнаружили интересное явление, названное конфабуляцией. Этот феномен проявляется, когда искусственные агенты непреднамеренно смешивают реальные факты с вымышленными событиями, создавая своего рода “цифровые мифы”. Для решения этой проблемы специалисты разработали инновационный метод анализа, способный отличить правду от вымысла в ответах ИИ.
Исследование показало, что современные инструменты искусственного интеллекта, такие как ChatGPT, не способны намеренно лгать. Однако они могут выдавать неточную или ошибочную информацию в случаях, когда их база данных недостаточно обширна для формирования корректного ответа. Кроме того, ученые отметили, что некоторые вопросы могут иметь несколько возможных ответов, что приводит к статистической неопределенности в ответах ИИ.
Ключевым элементом нового метода стало использование концепции семантической энтропии. Исследователи предложили многократно задавать ИИ один и тот же вопрос, а затем анализировать семантическую эквивалентность полученных ответов. Если большинство ответов имеют схожее смысловое значение, это указывает на то, что ИИ, вероятно, обладает достоверной информацией, но может испытывать трудности с ее формулировкой. В противном случае, разнородность ответов может свидетельствовать о том, что чат-бот генерирует недостоверные данные.
Это открытие имеет огромное значение для дальнейшего развития и применения искусственного интеллекта в различных сферах. Оно не только поможет повысить надежность и точность ответов ИИ, но и позволит разработчикам создавать более совершенные алгоритмы обучения для будущих поколений интеллектуальных систем.