Нейросеть Яндекса создает видео для пользователей

Преобразование текстов в изображение, а затем в видео — нетривиальная задача для нейросети. Но, похоже, с ней вполне успешно справляется приложение Яндекса “Шедеврум”, в котором появился функционал создания видео на основе текста пользователей.

Алгоритм работы прост и понятен: на основе описания пользователей нейросеть предлагает выбрать картинку, наиболее адекватную тексту. Также пользователь выбирает метод анимации картинки из набора, предлагаемого платформой — от зума до морфинга. Получившиеся анимированные 4-х секундные видео можно использовать для публикаций в соцсетях и пересылать друзьям и знакомым.

Представленный пользователем функционал является дальнейшим развитием технологии на основе метода каскадной диффузии, разрабатываемой специалистами Яндекса. Суть метода в последовательном насыщении первоначального минималистического изображения деталями. В дальнейшем использование данного метода позволит создавать всё более сложные видео объединяя последовательность картинок в единую сюжетную линию.