През последните няколко десетилетия изследователите редовно разработваха устройства, предназначени да превеждат американския език на жестомимите (ASL) на английски, с надеждата да облекчат комуникацията между хора, които са глухи и слухови, и слуховия свят. Много от тези технологии използват ръкавици за улавяне на движението на подписване, което може да бъде обемисто и неудобно.
Сега група изследователи от Мичиганския държавен университет (MSU) разработиха устройство без ръкавици с размер на тръба от клечка, за която се надяват, че ще подобрят ASL-английския превод.
Технологията, наречена DeepASL, използва устройство с камера за улавяне на движенията на ръцете, след което захранва данните чрез алгоритъм за дълбоко обучение, който го съвпада с признаците на ASL. За разлика от много предишни устройства, DeepASL може да превежда цели изречения, а не единични думи, и не изисква от потребителите да правят паузи между знаците.
„Това е наистина ненатрапчива технология“, казва Ми Джан, професор по електрическа и компютърна техника, който ръководи изследванията.
Джан и неговият екип се надяват DeepASL да помогне на хора, които са глухи и слухови, като служи като преводач в реално време. Това може да бъде особено полезно в извънредни ситуации, казва Джанг, когато чакането на преводач може да струва ценни минути. Джан казва, че устройството, което може да бъде интегрирано с телефон, таблет или компютър, също може да помогне за преподаването на ASL. Тъй като над 90 процента от глухите деца се раждат от родители, които чуват, има голяма общност от възрастни, които трябва бързо да научат ASL. DeepASL може да служи като дигитален преподавател, като дава обратна връзка за това дали учащите се подписват правилно.
Джан е кандидатствал за патент и се надява да има устройство на пазара до една година. Тъй като се основава на достъпна технология - системата за заснемане на движение Leap Motion се продава за $ 78 - тя може да бъде по-широко достъпна от предишните усилия.
Изследователите Бий Фанг и Ми Джан демонстрират DeepASL. (Michigan State University) Но Кристиан Воглер, професор по изследвания на комуникацията в университета в Галауде, университет за хора, които са глухи или слухови, е скептичен към устройства, предназначени да превеждат ASL, и скептицизмът му се споделя от мнозина от общността на глухите.
Устройствата обикновено не „превеждат“ ASL, а просто разпознават знаците на ръцете и ги превръщат в английска дума на знак, казва Vogler. Това означава, че е изгубена ключова граматическа информация, информация за това дали фразата е въпрос, отрицание, относителна клауза и т.н. Докато DeepASL превежда пълни изречения, някои характеристики на ASL граматиката надхвърлят ръчните знаци - изражението на лицето често се използва като модификатори, повдигането на вежди може да превърне фраза във въпрос, позиционирането на тялото може да показва кога потребителят на ASL цитира някой друг.
Досега „никоя от системите не е била дори полезна дори за хората, които се подписват“, казва Воглер и добавя, че изследователите често изглежда „имат много малък контакт с [глухата и чуваща] общност и много малка представа за тяхната реална нуждае. "
Екипът на Джан не е тествал устройството върху хора, които са глухи и слухови, а върху студенти в програма за превод на жестомимичен език. Джан подчертава, че DeepASL е проектиран да позволява само основна комуникация в този момент и че това е само начално място. Той казва, че екипът му се надява да разшири възможностите на DeepASL в бъдеще, за да заснеме и изражението на лицето.
"Това ще бъде следващият важен момент, за който ще достигнем", казва той.
Vogler казва, че е положително, че технологията на MSU използва методи за дълбоко обучение, които са имали успех в разговорния език. Но въпреки че не се нуждае от ръкавица, устройството вероятно има същите клопки на всяка предишна система, тъй като не улавя движения на лицето и тялото.
Воглер смята, че изследователите трябва да се отдалечат от идеята, че устройствата за разпознаване на езика на знаците наистина могат да отговарят на потребностите от комуникация между хората.
„Имаме много възможности за улесняване на комуникацията между хората и докато не имаме нещо, което реално да зачита езиковите свойства на подписаните езици и действителното комуникационно поведение на подписалите, тези усилия няма да стигнат до замяната или замяната им“, казва той. „Вместо това хората трябва да работят с действителни членове на общността и с хора, които разбират сложността на подписаните езици.“
Vogler казва, че би било полезно технологията за разпознаване на езици на знаците като MSU да работи с гласови интерфейси като Alexa. Разрастването на тези интерфейси е предизвикателство за достъпност за хора, които са глухи и слухови, казва той, тъй като интернет - до голяма степен визуална среда - представлява голямо предизвикателство за хората, които са слепи през годините.
„В момента нямаме ефективен и ефикасен начин да взаимодействаме с тези гласови интерфейси, ако не сме в състояние или не искаме да използваме своя глас“, казва той. „Разпознаването на езика на знаците е идеално съвпадение за тази ситуация и това, което всъщност може да се окаже полезно и да се използва.“
