IBM ускорила ИИ-модель с помощью квантового процессора

Исследователи Multiverse Computing заявили о квантовом улучшении большой языковой модели на оборудовании IBM. Речь идет о гибридной схеме с использованием 156-кубитного процессора Heron.  Авторы назвали эксперимент первым «сквозным квантовым улучшением» LLM на сверхпроводящем процессоре для авторегрессионной генерации текста. В тестах использовали Llama 3.1 8B от Meta. Базовую модель не дообучали: параметры «заморозили» и добавили квантовые адаптеры — Cayley-parameterized unitary adapters (CUA). Сначала их тренировали классическим образом, затем подключили к гибридной квантово-классической схеме. Эксперимент провели на IBM Quantum System Two — архитектуре для гибридных квантовых систем. В установке задействовали 156-кубитный чип Heron. Гибридная версия снизила перплексию Llama 3.1 8B на 1,4%. Для этого добавили около 6000 параметров — примерно 0,000075% от размера модели.  В ходе демонстрации квантово-улучшенная Llama правильно ответила на вопросы по астрономии и биологии, с которыми не справилась базовая версия (например, о наличии колец у всех планет-гигантов). По словам ведущего автора исследования Борхи Айспуруа, работа является доказательством концепции. Квантовые блоки позволили точнее предсказывать следующий токен в тексте при минимальных затратах вычислительных мощностей.  Команда рассчитывает добиться дальнейшего снижения перплексии и роста точности при меньшем числе параметров по сравнению с полностью классическими подходами. Напомним, в мае котировки квантовых компаний выросли после объявления Минторга США о выделении $2 млрд американским фирмам в рамках программы CHIPS R&D.  https://forklog.com/news/v-polshe-zapustili-vtoroj-kvantovyj-kompyuter-iqm/