Компания «Яндекс» анонсировала нейросеть YaLM 100B, предназначенную для генерации и обработки текстов на русском и английском языках. Утверждается, что на сегодняшний день это самая большая в мире GPT-подобная (Generative Pre-trained Transformer) модель, опубликованная в свободном доступе.
YaLM 100В содержит 100 млрд параметров — больше, чем какая-либо из существующих моделей для русского языка. Благодаря этому нейросеть можно применять для решения широкого круга задач, связанных с обработкой естественного языка.
Языковые модели семейства YaLM определяют принцип построения текстов и генерируют новые, опираясь на законы лингвистики и свои знания о мире. Допускается формирование текстов любого типа: это могут быть ответы, стихи, поздравления и пр. Более того, алгоритмы способны придумывать идеи для рекламных кампаний, создавать описания товаров и видео, а также классифицировать тексты.
В процессе обучения сети были задействованы суперкомпьютеры «Яндекса», признанные самыми мощными в Восточной Европе. YaLM 100B обработала около 2 Тбайт текстов из открытых источников и интернета на английском и русском языках.
Теперь нейросеть могут использовать разработчики и исследователи со всего мира. Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.
