Вспомните известное новогоднее обращение Бориса Ельцина от 31 декабря 1999 года. Мы часто помним его слова: «Я устал, я ухожу», хотя на самом деле он сказал: «Я ухожу. Я сделал всё, что мог». Это явление называется Эффектом Манделы, и оно иллюстрирует, как память функционирует как процесс реконструкции, а не воспроизведения. Мозг интерполирует недостающие данные, создавая «галлюцинации» на основе вероятностей.
Большие языковые модели (LLM) также подвержены подобным искажениям. Они не хранят факты, а работают с вероятностями последовательности токенов. При недостатке данных модель генерирует наиболее вероятные слова, что может приводить к ошибкам, но это не всегда плохо. Параметр Temperature в LLM позволяет добавлять креативность в генерацию, что делает их способными к творческому мышлению. Ошибки LLM — это не баг, а особенность их архитектуры. Поэтому, когда модель выдает несуществующую цитату, она проявляет креативность, подобно человеку.