Проблемы Gemini 3 Flash в симуляции фудтрака

Создатели FoodTruck Bench провели 30-дневный тест, в котором ИИ-модели управляли фудтраком в Остине. Результаты показали, что Gemini 3 Flash не справилась с задачей, застревая в бесконечных циклах рассуждений и не предпринимая действий в 5 из 7 случаев. В то время как другие модели, такие как GPT-5 и Claude, успешно справились с симуляцией, Gemini 3 Flash на первом дне приняла решение о закупках, которое разрослось до 174 816 символов, включая 574 повтора фразы «Let’s go», но без реальных действий.

При принудительном перезапуске модель отвечала правильно, но вскоре снова входила в цикл, добавляя ингредиенты в заказ и не формируя его. Это могло бы привести к банкротству в реальном бизнесе, так как расходы росли, а доходов не было. Парадоксально, что в стандартном режиме работы Gemini 3 Flash показала хорошие результаты: $8 703 выручки и 1 442 проданных порции. Проблемы возникали только при активации режима «thinking», что создатели бенчмарка назвали «параличом анализа». Эта модель стала единственной, которую исключили из рейтинга, указывая на ошибки в разработке от Google.

Понравилась статья? Поделиться с друзьями: