Создатели Stable Diffusion выпустили StableLM — языковую модель с открытым исходным кодом

Компания Stability AI, разработавшая нейросеть для генерации изображений Stable Diffusion, выпустила альфу языковой модели StableLM. С ее помощью можно генерировать как текст, так и код.

Для обучения StableLM использовался открытый набор данных The Pile. В нем содержится информация из «Википедии», PubMed, Stack Exchange и множества других платформ.

Stability AI опубликовала исходный код StableLM на Github. Сейчас там доступны две версии модели: с 3 млрд и 7 млрд параметров. Позднее компания намерена выпустить более крупные версии с 15 млрд, 30 млрд и 65 млрд параметров.