Эксперимент Бенджи Смита: как ИИ воспринимает случайность

Разработчик Бенджи Смит провел исследование, чтобы понять, как языковые модели обрабатывают случайные данные. Он запросил у модели Claude 37 500 случайных имен, и наибольшее число раз появилось имя Маркус, которое было выбрано 4367 раз (23,6%). В эксперименте использовались пять моделей Claude и множество подсказок. Среди женских имен по результатам 18 997 попыток самым популярным стало имя Амара, упомянутое 2709 раз (14,3%). Несмотря на разнообразие женских имен (897 уникальных), мужские имена оказались менее разнообразными (794 уникальных). Модели, такие как Haiku и Opus, проявили предвзятость к определенным именам. Основные выводы включают нулевую энтропию для некоторых параметров и рост разнообразия при более сложных запросах, однако предвзятость сохранялась. Автор подчеркнул, что для дальнейшего развития моделей необходимо развивать их способность к случайным исследованиям.

Понравилась статья? Поделиться с друзьями: