Около 500 000 американци използват американски жестомимичен език (ASL). За глухите потребители на ASL комуникацията с тези, които не владеят езика може да бъде предизвикателство. Въпреки че повечето американци с глухи родове учат разговорния език чрез речева терапия, на някои им е трудно да се разберат устно или просто да намерят езика на знаците като по-течна форма на изразяване.
Сега, изследователи от Тексаския университет A&M са разработили носимо устройство, което „превежда“ езика на знака на английски език, като усеща движенията на потребителя. Устройството, все още в етапа на прототипа, може да разпознае около 40 ASL знака с 96-процентова точност.
Системата използва два сензора. Единият е сензор за движение с акселерометър и жироскоп, който измерва скоростта и ъгъла на ръката и ръката на потребителя. Като усети къде са ръцете и ръцете на потребителя, може да започне да гадае каква дума може да подписва. След това има електромиографски сензор, който измерва електрическия потенциал на движението на мускулите. Може да каже точно каква част от ръцете и пръстите се движат, което е критично.
„Ако погледнете речника на американския жестомимичен език, има случаи, когато самата ръка се движи и тогава имате много фино движение на пръстите“, казва Рузбе Джафари, инженерът, който ръководи проекта. "Ако искате да откриете тези, няма да можете да използвате само движението на ръката."
Например, думата „моля“ в ASL включва правене на кръгове над гърдите с отворена ръка. Думата "съжалявам" използва идентично движение, но ръката е затворена в юмрук.
Сензорите се носят на дясната китка на потребителя. Събраната информация се изпраща чрез Bluetooth до лаптоп. Този лаптоп изпълнява алгоритъм за интерпретация на знака и показва думата на английски на екрана.
В крайна сметка Джафари се надява да отмени нуждата от лаптопа, като включи малък компютър директно в устройството. След това компютърът може да изпрати английските думи на телефона на друг човек, така че те да могат да прочетат какво казва техният партньор за разговор.
Очевидно е, че преводачът ще трябва да се запознае с много повече знаци от 40, за да бъде жизнеспособен продукт. Въпреки че има стотици ASL знаци, първоначалните 40 знака са избрани, защото са общи и полезни, казва Джафари. Човек може да ги използва, за да изрича прости, решаващи изречения като „Имам нужда от вода.“ Устройството също ще трябва да стане по-бързо - точно сега потребителите трябва да правят пауза между думите, за да му дадат време за превод.
„В действителност хората не говорят така“, казва Джафари.
Но тази по-усъвършенствана система, според него, е начин за намаляване и ще включва повече работа и финансиране.
Предишните технологии за превод на ASL използваха камери за четене на жестовете. Но те не работят добре при условия на слабо осветление, казва Джафари. Плюс това, много хора не харесват идеята да имат камера, която да ги наблюдава през цялото време.
През последните години са създадени редица други технологии, които помагат на хората с глуха и слухова комуникация помежду си. Приложение, наречено Transcense, издадено миналата година, превежда речта от множество хора в писмени думи и ги представя на екрана с цветни балони. Предназначено е да помогне на глухи хора по време на срещи или в социални ситуации, където много лектори могат да бъдат предизвикателство дори за най-опитните читатели на устни. Друга компания, MotionSavvy, работи над таблет, който интерпретира движенията на ASL и чете думите на глас на английски. В Китай изследователите са използвали устройството за сензорни движения на Kinect на Microsoft за превод на китайски език на жестомими думи в говорими и писмени думи.
Като човек, който отдавна работи с носими технологии, като часовници, които следят сърдечния ритъм, Джафари разбира важността на комфорта и естетиката. Ако дадено устройство е неудобно и натрапчиво, хората няма да го носят. Настоящият прототип на устройството за превод на жестомимичен език изглежда като медицински инструмент, с електроди и ремъци и проводници. Джафари би искал окончателната версия да е малка и привлекателна.
"Искам да превърна цялата система в часовник", казва той.
