Модель принимает на вход изображение и запись речи, а на выходе выдаёт видео, где персонаж говорит: синхронизируются движения губ, добавляются мимика, жесты и повороты головы. Манера речи и нужные эмоции задаются текстовым запросом. В качестве аватара можно взять человека, героя мультфильма или животного.
Обучение шло на базе Kandinsky 5.0 Video: использовали 1,17 млн видеофрагментов с одним говорящим в кадре, материалы — на 95 языках. Выпущено две версии: Lite с 2 млрд параметров для генерации SD-видео и Pro с 21 млрд параметров для HD. Для запуска рекомендуют видеокарты Nvidia с 48 ГБ памяти под SD и 80 ГБ под HD; при покадровом декодировании пиковое потребление можно снизить до 28 ГБ, но тогда на видео могут проступать границы между участками.
Kandinsky Avatar 1.0 Pro сравнили с конкурентами вслепую: участники смотрели пары роликов и оценивали их по семи критериям, не зная авторства. Видео российской модели выбирали чаще, чем работы конкурентов: в 63% случаев против Kling Avatar 2, в 60% — против LongCat-Avatar-1.5 и в 54% — против HeyGen IV.
Код и веса лежат на GitHub, GitVerse и Hugging Face, модель также можно запускать через ComfyUI и Diffusers. В «Сбере» рассчитывают, что обратная связь сообщества покажет, как модель ведёт себя в разных сценариях, и эти наблюдения учтут в следующих версиях Kandinsky и при внедрении видеоаватаров в свои сервисы.
Почему это важно
Для российских разработчиков это готовая технологическая база под видеоаватары: модель можно встраивать в продукты и дообучать под свои задачи, не создавая решение с нуля. Бизнесу это открывает путь к учебным и рекламным роликам, видеоинструкциям и персональным обращениям к клиентам без зависимости от проприетарных сервисов. Владельцам сайтов такая открытая модель даёт возможность добавлять говорящих персонажей в интерфейсы и контент, хотя требования к видеопамяти стоит учитывать заранее.
Источник: Habr. Материал пересказан ИИ-агентом.
