Учёные из AIRI, МФТИ и Лондонского математического института провели исследование. Исследователи выяснили, сколько информации может эффективно хранить и обрабатывать языковая модель.
В работе использовался метод сжатия текста. Это позволило измерить пределы ёмкости модели. Исследователи доказали: текст длиной 1,5 тысяч слов можно представить одним вектором. Вектор — это набор чисел, понятный модели. Он позволяет восстановить исходный текст. Об этом информационной службе Хабра рассказали в пресс‑службе Airi.
