Модели GPT-5 и Gemini 2.5 Pro достигли уровня «золота» на Международной олимпиаде по астрономии

Модели искусственного интеллекта GPT-5 и Gemini 2.5 Pro успешно справились с задачами Международной олимпиады по астрономии и астрофизике (IOAA), продемонстрировав результаты, соответствующие уровню «золота». Исследователи протестировали модели на задачах, представленных в IOAA за 2022–2025 годы, оценив их согласно официальным критериям. Примечательно, что набор заданий IOAA-2025 был подготовлен недавно, в августе 2025 года, что указывает на способность моделей решать задачи на основе понимания, а не заученных ответов. В эксперименте модели оценивались в теоретическом туре и туре анализа данных. GPT-5 и Gemini 2.5 Pro достигли «золотого» порога в обоих категориях с результатами: 84,2% и 88,5% для GPT-5, 85,6% и 75,7% для Gemini 2.5 Pro соответственно. Другие модели, такие как OpenAI o3 и Claude, также показали хорошие результаты, но столкнулись с проблемами в анализе данных. Основные ошибки моделей заключаются в концептуальных аспектах, таких как геометрия и интерпретация графиков. Исследователи предполагают, что следующий шаг — улучшение мультимодальности и визуального восприятия для более эффективного решения задач.

Понравилась статья? Поделиться с друзьями: