Сотрудники Университета Цинхуа в Пекине разработали большую языковую модель LongWriter, способную генерировать за раз тексты объёмом до 10 000 слов. Это значительно превосходит возможности современных аналогов, которым сложно выдавать что-то длиннее нескольких тысяч слов.
Разработчики LongWriter применили подход тонкой настройки, используя набор данных из 6000 тщательно отобранных примеров. Их объём варьировался от 2000 до 32 000 слов, что обеспечило разнообразную основу для обучения языковой модели. Такой метод гарантирует, что сгенерированные результаты сохраняют связность, релевантность и контекстное понимание на протяжении всего повествования.
В нейросети также применяется система Agent WR, которая разделяет генерируемый текст на части, что упрощает работу с большими объёмами. Такой подход позволяет сосредоточиться на создании высококачественного контента для каждого раздела, учитывая при этом общую структуру.
Желающие могут ознакомиться с LongWriter на GitHub.
Поделиться ссылкой:
Total Views: 52 ,
