02.07.2020

В переводе с жестового языка на обычный помогут перчатки

В переводе с жестового языка на обычный помогут перчатки

Ученые создали перчатки, которые работают как переводчик с языка жестов на обычный язык. Разработка описана в научной статье, опубликованной в Nature Electronics

Гибкие датчики, встроенные в перчатку, отслеживают движение каждого пальца. Дополняют систему две наклейки: одну нужно разместить между бровями, вторую — у рта. Это позволяет переводить с амслена — американского языка жестов, частью которого является мимика.

Данные о движениях человека поступают на небольшие чипы, размещенные на перчатках, а те передают их по беспроводной связи на смартфон со специальным приложением. Искусственный интеллект в онлайн-режиме превращает жестовую речь в звуковую.

В испытаниях участвовали четыре неслышащих добровольца. Они использовали 660 жестов, означающих все буквы латинского алфавита, цифры, а также целые слова и фразы. Устройство переводило эту речь, корректно интерпретируя 99% жестов и затрачивая на расшифровку каждого из них менее секунды.

Авторы разработки отмечают, что она очень компактна и удобна в использовании, а материалы, из которых изготовлены перчатки и наклейки, доступны и долговечны. Инженеры убеждены, что такое количество распознаваемых жестов — это лишь начало, а последующие, коммерческие модели будут иметь намного больший словарный запас.

Пока система переводит только амслен на американский английский. Для адаптации к другим языкам искусственный интеллект нужно будет обучать заново, но само устройство при этом останется неизменным.



СМОТРИТЕ ТАКЖЕ