第一個能夠識別和解釋西班牙手語字母表的應用程序

(相關資料圖)

阿利坎特大學(UA)機器人和三維視覺小組(RoViT)設計了第一個能夠實時識別和解釋西班牙手語字母表(縮寫為LSE)的應用程序。

該應用程序名為Sign4all，是一項突破，有助于打破聾人和健聽人在日常情況下(例如去看醫生或在餐廳吃飯)之間的溝通障礙。西班牙國家統計局(INE)最新發布的《殘疾、個人自主權和依賴狀況調查》顯示，西班牙有123萬人患有不同類型和程度的聽力障礙。其中，有27,300人使用手語進行交流。

由于使用了不同的計算機視覺和深度學習技術，博士。計算機工程師和UA研究員EsterMartínez，以及博士。學生弗朗西斯科·莫里拉斯(FranciscoMorillas)開發了這種低成本工具，以便能夠在無法獲得口譯員協助時為聾人提供幫助。

Sign4all在提取手臂和手部骨骼的細節后，將身體的左側編碼為藍色，右側編碼為紅色，始終保持用戶的匿名性。從這一刻起，該應用程序會實時翻譯聾人使用的手勢，并朝相反的方向。它能夠使用虛擬化身來簽署由健聽人鍵入的西班牙語單詞。這個想法是，整個過程可以通過下載應用程序并使用手機或平板電腦本身的相機來完成，這樣就可以在任何地方使用，正如Martínez所解釋的那樣。

根據UA研究人員的說法，經過多次測試，Sign4all設法以80%的準確度解釋和識別LSE字母表。盡管這個結果對應于指紋學字母表，但他們正在研究一個版本，該版本具有屬于日常任務領域的特定詞匯表，他們可以在其中解釋完整的句子。

UA團隊已經對這個新系統進行了數月的訓練，引入了越來越多的標志。從這個意義上講，與維戈大學西班牙語和手語研究小組(GRILES)進行了合作，該小組在研究這種語言及其在不同地區的使用方面具有豐富的經驗。維戈大學正在與口譯員一起收集圖像，UA正在處理所有這些數據。這樣，LSE識別和解釋系統的詞匯可以更快地得到改進和擴展。

關鍵詞： 應用程序 西班牙語 提供幫助