第一個能夠識別和解釋西班牙手語字母表的應(yīng)用程序

(相關(guān)資料圖)

阿利坎特大學(xué)(UA)機器人和三維視覺小組(RoViT)設(shè)計了第一個能夠?qū)崟r識別和解釋西班牙手語字母表(縮寫為LSE)的應(yīng)用程序。

該應(yīng)用程序名為Sign4all，是一項突破，有助于打破聾人和健聽人在日常情況下(例如去看醫(yī)生或在餐廳吃飯)之間的溝通障礙。西班牙國家統(tǒng)計局(INE)最新發(fā)布的《殘疾、個人自主權(quán)和依賴狀況調(diào)查》顯示，西班牙有123萬人患有不同類型和程度的聽力障礙。其中，有27,300人使用手語進(jìn)行交流。

由于使用了不同的計算機視覺和深度學(xué)習(xí)技術(shù)，博士。計算機工程師和UA研究員EsterMartínez，以及博士。學(xué)生弗朗西斯科·莫里拉斯(FranciscoMorillas)開發(fā)了這種低成本工具，以便能夠在無法獲得口譯員協(xié)助時為聾人提供幫助。

Sign4all在提取手臂和手部骨骼的細(xì)節(jié)后，將身體的左側(cè)編碼為藍(lán)色，右側(cè)編碼為紅色，始終保持用戶的匿名性。從這一刻起，該應(yīng)用程序會實時翻譯聾人使用的手勢，并朝相反的方向。它能夠使用虛擬化身來簽署由健聽人鍵入的西班牙語單詞。這個想法是，整個過程可以通過下載應(yīng)用程序并使用手機或平板電腦本身的相機來完成，這樣就可以在任何地方使用，正如Martínez所解釋的那樣。

根據(jù)UA研究人員的說法，經(jīng)過多次測試，Sign4all設(shè)法以80%的準(zhǔn)確度解釋和識別LSE字母表。盡管這個結(jié)果對應(yīng)于指紋學(xué)字母表，但他們正在研究一個版本，該版本具有屬于日常任務(wù)領(lǐng)域的特定詞匯表，他們可以在其中解釋完整的句子。

UA團隊已經(jīng)對這個新系統(tǒng)進(jìn)行了數(shù)月的訓(xùn)練，引入了越來越多的標(biāo)志。從這個意義上講，與維戈大學(xué)西班牙語和手語研究小組(GRILES)進(jìn)行了合作，該小組在研究這種語言及其在不同地區(qū)的使用方面具有豐富的經(jīng)驗。維戈大學(xué)正在與口譯員一起收集圖像，UA正在處理所有這些數(shù)據(jù)。這樣，LSE識別和解釋系統(tǒng)的詞匯可以更快地得到改進(jìn)和擴展。

關(guān)鍵詞： 應(yīng)用程序 西班牙語 提供幫助