МОСКВА, 25 ноя — Mediaview. Студенты из СПбГЭТУ «ЛЭТИ» и СПбГИКиТ на основе нейротехнологий и методов машинного обучения написали алгоритм автоматического аудиовизуального аннотирования. Программа анализирует фильм, самостоятельно выделяет ключевые фрагменты сюжета и создает сжатый виддеоролик, сообщает пресс-служба СПбГЭТУ «ЛЭТИ».
«Просмотр последовательности ключевых видеофрагментов позволяет быстро получить представление о фабуле, сюжете, героях кинофильма. Аудиовизуальное аннотирование кинофильмов позволяет создать «витрину» для фильмофондов, в которых хранится накопленная за столетие бесценная, но недостаточно широко известная кинематографическая память деятельности человечества», — рассказал заместитель директора департамента образования СПбГЭТУ «ЛЭТИ» Константин Гласман.
Разработка проходила в течение трёх дней в составе двух режиссёров и одного программиста. В процессе написания алгоритма режиссеры формировали техническое задание программисту, подробно описывающие те кадры и сцены, которые должны присутствовать в итоговом трейлере. Само написание осуществлялось с помощью системы Python. Алгоритм студенты испытали на художественном фильме «Дылда» режиссера Кантемира Балагова.
Проект был реализован в рамках VII Международной конференции «Обработка сигналов изображения и звука в контексте нейротехнологий» SPCN 2022. Участие в мероприятии также принимали 10 междисциплинарных команд из Северо-Западного государственного медицинского университета им. И.И. Мечникова, Технологического университета им. дважды Героя Советского Союза, лётчика-космонавта А.А. Леонова, Российского национального исследовательского медицинского университета имени Н.И. Пирогова и Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича.
Ранее Mediaview сообщало, что ученые СПбГЭТУ «ЛЭТИ» разработали программу, способную обнаруживать и определять тип и модель малозаметных летательных аппаратов.
