Исследователи создали человекоподобную память для ИИ-трансформеров.

Корейские учёные разработали человекоподобную систему памяти, которая улучшает производительность трансформеров — моделей машинного обучения, используемых для обработки текстов на естественном языке, которые лежат в основе диалоговых платформ, таких как ChatGPT. Трансформер представляет собой тип архитектуры глубокого обучения, основанный на механизмах, имитирующих когнитивное внимание. При обучении нейронная сеть определяет корреляции между различными словами в текстах, что позволяет ей генерировать собственные тексты. Результаты исследования опубликованы на arXiv.

В отличие от рекуррентных нейронных архитектур, которые обрабатывают текст последовательно, трансформеры делают это параллельно. Однако трансформеры сталкиваются с трудностями при обучении на длинных последовательностях из-за ограничений в ёмкости. Для решения этой проблемы учёные воспользовались тем фактом, что в отличие от нейронных сетей, которые обрабатывают весь текст, люди выделяют из текстов только релевантную информацию, откладывая её в кратковременной и долговременной памяти, чтобы воспроизвести в будущем. Согласно теории Хебба, которая объясняет, как мозг формирует связи между нейронами для хранения и извлечения информации, многократная одновременная активация двух нейронов укрепляет связь между ними.