Для людей з порушеннями слуху жестова мова є не просто засобом комунікації, а їхньою рідною мовою. Основна перешкода полягає в тому, що люди, які не мають проблем зі слухом, зазвичай не вивчають жестову мову, що створює значний комунікаційний бар’єр. Однак, команда дослідників з Південної Кореї, схоже, розробила надзвичайно елегантне рішення цієї давньої проблеми.
Згідно з новими дослідженнями, опублікованими у виданні Science Advances, система під назвою WRSLT (Wireless Ring-based Sign Language Translator – бездротовий перекладач жестової мови на базі кілець) здатна розпізнавати та перекладати як американську, так і міжнародну жестову мову з точністю понад 88%. І що найважливіше, це відбувається в режимі реального часу.
Як сім кілець здатні перекладати цілу мову?
Кожне смарт-кільце оснащене тривісним акселерометром, який фіксує рухи пальців. Коли користувач виконує певні жести, сенсори відстежують орієнтацію пальців та динаміку руху руки. Усі зібрані дані бездротово, через Bluetooth, передаються на смартфон або комп’ютер. Там потужна система штучного інтелекту (нейромережа) аналізує ці рухи та перетворює їх на текстовий еквівалент.
“Система має модульну архітектуру, де кожне кільце функціонує автономно, передаючи дані без кабельних з’єднань між компонентами. Такий підхід дозволяє не лише розпізнавати статичні жести, але й аналізувати безперервні послідовності рухів, створюючи основу для перекладу цілих фраз у текст без необхідності додаткового калібрування для кожного нового користувача”, – пояснюють розробники.
Ключова перевага WRSLT над існуючими рішеннями – це абсолютна свобода рухів. Сучасні системи перекладу жестової мови часто покладаються на громіздкі рукавички або дротові сенсорні комплекси, які обмежують природність жестів та потребують персонального налаштування для кожного користувача. WRSLT позбавлена цих недоліків.
Чи може ця система бути універсальною?
Результати тестових випробувань є доволі оптимістичними, і автори дослідження вважають, що система має потенціал стати універсальною. Модель була навчена на одній групі учасників, а потім успішно протестована на іншій. Система продемонструвала точність розпізнавання слів міжнародної жестової мови на рівні 88,5%, а американської – 88,3%. Це вражаючі показники, враховуючи природні відмінності у виконанні жестів між різними людьми.
“Наша система використовує модель машинного навчання, яка аналізує сигнали руху пальців відносно гравітаційного поля. Це значно знижує залежність від індивідуальних особливостей користувача. Завдяки цьому підхід не вимагає складного індивідуального налаштування та демонструє стабільні результати навіть для нових учасників тестування”, – йдеться у технічному описі проєкту.
Наразі система здатна розпізнавати 100 слів у кожній мові, що є чудовим стартом. Команда планує зменшити габарити кілець та розширити словниковий запас нейромережі, додавши більше слів та підтримку нових жестових мов. Хоча це ще початковий етап розробки, WRSLT виглядає як одне з найперспективніших рішень для перекладу жестової мови, яке з’явилося останнім часом.
Думка UA Новини: Ця інновація від південнокорейських розробників має потенціал кардинально змінити комунікацію між спільнотами людей з порушеннями слуху та рештою суспільства. Впровадження таких технологій може значно покращити доступність інформації та соціальну інтеграцію.
Оригінал статті: itc.ua