Искусственный интеллект не справляется с историческими вопросами
Недавнее исследование показало, что умные алгоритмы пока не могут эффективно анализировать научные статьи для поиска точных ответов на исторические вопросы. Точность ИИ в этой области не превышает 50%.
Ученые протестировали три ведущие модели ИИ — GPT-4 от OpenAI, Llama от Meta и Gemini от Google — на их способности отвечать на конкретные вопросы, используя гигантскую базу данных Seshat Global History Databank.
Результаты показали, что максимальная точность ответов составила лишь 46%, что близко к случайному угадыванию. Например, GPT-4 Turbo ошиблась на 1500 лет, отвечая на вопрос о чешуйчатых доспехах в Древнем Египте.
Исследование выявило, что ИИ хорошо справляется с основными фактами, но не обладает необходимым уровнем понимания для глубокого изучения истории.
Ученые отметили, что размытость информации в научных работах мешает алгоритмам быстро находить конкретные факты, что приводит к ошибкам.