Белорусские студенты разработали очки SeeSay с искусственным интеллектом, которые выполняют роль аудиоповодыря для незрячих и слабовидящих людей. Устройство распознает объекты с помощью камеры и описывает обстановку голосом. Команда создала базовую рабочую версию, или MVP, в промышленном корпусе.
Проектом руководит Кирилл Булавин, студент второго курса факультета компьютерных систем и сетей БГУИР. Идея появилась после бесед с незрячими людьми: разработчики выясняли, с какими трудностями те сталкиваются в повседневной жизни, и проверяли свои предположения. По словам Булавина, собеседники уверенно ориентировались дома, но на улице нуждались в посторонней помощи, в том числе по дороге в магазин.
Камера и голосовой ассистент помогают ориентироваться
В основе SeeSay — миниатюрная камера и голосовой ассистент. Чтобы обратиться к нему, пользователь надевает очки и нажимает кнопку. Система анализирует изображение с камеры и отвечает на вопрос голосом. По описанию разработчиков, нейросеть сохраняет контекст разговора и распознает лица: при повторной встрече она может напомнить имя человека, с которым пользователь уже общался.
Команда разрабатывает очки, чтобы помогать человеку проходить по спокойным, малолюдным маршрутам и сообщать о том, что происходит вокруг. Формат устройства позволяет оставить руки свободными: для работы с камерой не нужно постоянно держать перед собой смартфон. При этом телефон остается частью системы. Специальное приложение связывает очки с сервером и передает данные о геолокации.
На очки загружают автономные карты. Пользователь или разработчики могут добавлять в них нужные места, например поликлинику или привычные точки на маршруте. В базовую версию устройства входят собственная плата, аккумулятор, встроенные динамики и камера. По словам Булавина, прототип уже распознает объекты, отвечает голосом, ориентируется по GPS и сохраняет важные локации в памяти.
Команда из шести человек довела проект до рабочей версии
Над SeeSay работают шесть человек. Помимо руководителя Кирилла Булавина из БГУИР, в команду входят ведущий архитектор Денис Железняков из БНТУ и инженер Евгений Лопатко из АН. Мобильное приложение разрабатывает Ева Ануфриева из БГУИР, за дизайн отвечает Ульяна Симон из МИТСО, за финансы — Варвара Сидорова из БГУИР.
В прошлом году проект занял первое место на внутреннем конкурсе «СТАРТЛАБ БГУИР». Затем команда прошла инкубационную программу объединения StartUp Space. На молодежном предпринимательском форуме, который стал финалом программы, Китайско-Белорусский индустриальный парк «Великий камень» признал SeeSay лучшим проектом. Разработчики также участвовали в республиканском конкурсе «100 идей для Беларуси», а обновленную технологию показали на ATOM StartUp Day.
Помощь слабовидящим остается главным направлением проекта, однако команда рассматривает и другие способы применения технологии. Булавин рассказал о возможности поставлять алгоритмы компьютерного зрения и программное обеспечение компаниям, которые обучают мини-роботов или создают беспилотные модели машинок с камерами кругового обзора. По его оценке, эти разработки решают схожие технологические задачи. Сведений о таких поставках в описании проекта нет.
Разработчики позиционируют SeeSay как русскоязычную альтернативу зарубежным устройствам с учетом местных навигационных сервисов и городской среды. При этом цену очков они не называют. Сейчас проект находится на стадии MVP: команда собрала базовую версию в промышленном корпусе и реализовала распознавание объектов, голосовой отклик и навигационные функции.
