要聞港聞

中大推網上遊戲 學手語促進溝通

鄭家耀示範「手語村」遊戲過程。(袁志豪攝) 鄭家耀示範「手語村」遊戲過程。(袁志豪攝)
鄭家耀示範「手語村」遊戲過程。(袁志豪攝)
【記者黎忞報道】現時有不少手機應用程式或軟件協助翻譯手語,促進健聽及聽障人士溝通。香港中文大學早前與搜尋網站、日本財團(Nippon Foundation)及關西學院大學合作研發全球首個「手語村」網上遊戲,有關系統結合人工智能及手語語言學理論,透過電腦鏡頭將系統已記錄的手語及用戶手語做比對,讓用戶學習手語,測試版本已約有8,500人使用。
36問題 學基本「對答」
中大手語及聾人研究中心副主任施婉萍表示,去年4月起,日本財團幫忙聯繫搜尋網站,而關西學院大學亦加入團隊,開發手語自動翻譯系統。其中搜尋網站運用多個模型,包括偵測肢體、面部及手部動作的模型,採集身體不同部位的語言特徵,再利用由搜尋網站建立的「TensorFlow」的機器學習平台解讀手語,建立出「手語村SignTown」網上遊戲。
該中心助理電腦主任鄭家耀表示,只需要一部備有攝像鏡頭的電腦就可以玩「手語村」遊戲,現時有中文及日文手語版本,並有3個場景包括遊覽「手語村」、到餐廳點菜及入住酒店供選擇。鄭續指,每個場景有12條問題,用戶作答時,系統都會教導用戶做相關的手語,然後系統會透過鏡頭,分析及比對已儲存的手語,以及用戶的動作,從而得出用戶做的手語是否正確。系統亦會詢問用戶是否正在做某一手語,選擇正確或錯誤,亦可協助系統提升準確度。
施補充指未來「手語村」將發展更多場景、手語詞彙及語言,亦期望推出手語詞典。
第一手消息請下載on.cc東網 iPhone/ iPad/ Android/
人人做記者
爆料方法 :
爆料熱線:
(852) 3600 3600
傳 真:
(852) 3600 8800
SMS:
(852) 6500 6500