IT-специалисты Александр Лобанов и Айхем Буабид представили пилотную версию сервиса See and Tell, который позволит незрячим и слабовидящим людям смотреть фильмы и сериалы с автоматическим тифлокомментированием. Описание проекта опубликовано на портале Habr, а его код — на GitHub.
В работе специалисты использовали технологии машинного обучения. AI-ассистент конвертирует изображения в текст, распознает лица персонажей и сопоставляет их с именами, а также озвучивает самостоятельно сгенерированные тифлокомментарии, останавливая при этом видео. Примечательно, что сервис уже научили вставлять описания сцен в места, где нет диалогов.
Тестирование разработки IT-специалисты провели на оригинальном (на английском языке) отрывке из сериала о физиках-теоретиках «Теория большого взрыва».
Как отмечают создатели, ассистент нуждается в доработке некоторых недочетов, однако тестирование оправдало основные ожидания. В целях специалистов — сделать сервис, способный выполнять автоматическое тифлокомментирование в прямом эфире.
«Наша цель — подсветить иклюзивность и дать возможность всем, вне зависимости от возможностей зрения, наслаждаться визуальным контентом», — отметили разработчики.
Сейчас незрячие люди могут смотреть фильмы и сериалы с адаптированными аудиодорожками только в тех случаях, когда тифлокомментирование было заранее подготовлено и озвучено тифлокомментатором. Возможность включать тифлокомментарии предоставляют многие киноплатформы.
В конце 2022 года вышло приложение «Особый взгляд» одноименной программы благотворительного фонда «Искусство, наука и спорт». Оно в реальном времени синхронизирует звуковую дорожку фильма, который пользователь смотрит дома или в кинотеатре, и аудиодорожку тифлокомментария из собственной базы.
Чтобы пользоваться сервисом, незрячему зрителю требуются только смартфон с установленным приложением и наушники. За полгода приложение скачали более 3 тысяч раз, в каталоге можно найти уже 112 тифлокомментариев к различным фильмам.
Приложение работает на устройствах под управление iOS и Android. Скачать «Особый взгляд можно по ссылке.
Напоминаем, что за свежими новостями, интересными статьями и актуальными анонсами «Особого взгляда» удобно следить в нашем телеграм-канале. Приглашаем переходить по ссылке и становиться читателем. Подписывайтесь на нас также в «Дзене» и во «ВКонтакте».