«Сбер» создал усовершенствованную версию генеративной модели для творчества Kandinsky 3.0. Она она была представлена на конференции банка по искусственному интеллекту и машинному обучению AI Journey.

По сравнению с предыдущими версиями, новая итерация лучше понимает текстовый запрос пользователя. Нейросеть умеет создавать ещё более фотореалистичные изображения, генерировать полноценные художественные картины и арты со скетчами. Модель работает с запросами из широкого списка тем и способна реализовать любой полёт фантазии, говорится в сообщении компании.

Kandinsky 3.0 создаёт изображения с высоким разрешением — 1024×1024 пикселей, при этом может синтезировать картинки с выбранным соотношением сторон. Для обучения нейросети разработчики использовали обновлённый датасет в размере 1,5 млрд пар «текст — изображение», содержащий данные, которые прошли многоэтапные процедуры фильтрации, что в итоге привело к заметному повышению качества генерации.

Также пользователи нейросети Kandinsky 3.0 могут создавать видеоролики по текстовому описанию в режиме анимации. По одному запросу генерируется видео длиной в четыре секунды c выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640×640 пикселей. Синтез одной секунды видео в среднем занимает около 20 секунд. Для расширения возможностей базовой модели были реализованы разные виды анимации изображений, что позволило перемещать объекты, приближать и отдалять их, оживлять статику всеми возможными способами. В основе режимов анимации лежит функция перерисовки изображения по текстовому описанию (image2image).

Kandinsky 3.0 понимает запросы более чем на ста языках, а пользователи могут создавать изображения в неограниченном количестве стилей. Модель разработали и обучили исследователи Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices.

Оценить возможности нейросети можно на платформе fusionbrain.ai, в социальных сетях и сервисах банка.

«Технологии искусственного интеллекта могут наделить человека супервозможностями. Kandinsky — один из инструментов, предоставляющих такие возможности. Это удобная, функциональная и бесплатная нейросеть "Сбера" для творчества. Мы постоянно работаем над её усовершенствованием. Новая версия модели ещё лучше понимает запросы от пользователей, научилась разбираться в тонкостях русской культуры и народного творчества», — прокомментировал новость первый зампред правления кредитного учреждения Александр Ведяхин.