Генерация игровых ассетов в духе Red Alert с помощью Stable Diffusion

Заодно на своей странице в Twitter он поделился тем, как достиг желаемого результата, создавая бункер в стиле любимой игры – Red Alert.

Сначала Эммануэль сгенерировал более 200 строений в духе игры с помощью Midjourney.

Из них он выбрал 16 изображений, достаточно сильно отличавшихся друг от друга, но при этом остававшихся в рамках определенного согласованного стиля.

Они стали референсами для тренировки Scenario_gg, построенной на Stable Diffusion модели, ориентированной на генерацию игровых ассетов (сама модель, к слову, пока не доступна, релиз альфа-версии обещают в ближайшие недели).

После того, как модель прошла тренировку, Эммануэль начал задавать ей команды по созданию на базе полученных референсов различных типов зданий по текстовому запросу.

По словам Эммануэля, нейросеть успешно справилась с большинством его команд. Например, такой получилась атомная электростанция:

Такие варианты спрайтов нейросеть предложила по запросу «фабрика»:

И вот для примера — очистительный завод:

Но советским бункером Эммануэль остался недоволен.

Поэтому он решил сгенерировать набор бункеров, отталкиваясь от одной конкретной модели. То есть, сохранялся текстовый запрос «бункер», но при этом нейросети предлагалось ориентироваться только на одно конкретное изображение.

Затем Эммануэль поменял исходное изображение, оставив прежний запрос. Бункеры сильно изменились. Они уже не походили на здание фабрики, но и бункеры напоминали лишь отдаленно.

В ходе дальнейших экспериментов сооснователь Scenario добился устраивающих его результатов.

Затем, уже взяв за референс устроившую его модель, он с помощью уточняющих запросов начал ее кастомизировать. Таким в итоге получится бункер по запросу «isometric bunker, realistic, soviet flag, red, video game»:

А таким по запросу «isometric bunker, realistic, USA flag, blue, allied, video game»:

Изменив исходное изображение и текстовый запрос, он добился генерации набора бункеров в различном окружении:

Также в оригинальном треде есть и другие примеры. Например, какие варианты нейросеть предлагает, если разработчик хочет сгенерировать разрушенный радар в стиле игры Fallout и не только.

Это уже не первый тред Эммануэля, посвященный возможностям нейросетей в плане генерации игровых ассетов. В начале ноября он создавал бутылочку с зельем.