中大夥谷歌等 首推港日手語網遊
原文刊於信報財經新聞「StartupBeat創科鬥室」
今天（23日）是國際手語日，香港中文大學夥拍谷歌（Google）、日本財團（Nippon Foundation）及關西學院大學，推出網絡遊戲《手語村》，讓玩家透過手語完成不同遊戲任務，冀提升公眾對手語的認知。
《手語村》遊戲設計覆蓋香港手語及日本手語，暫只提供網頁版本，玩家只需開啟電腦前置鏡頭便可加入。遊戲有3個場景，包括準備旅行物件、尋找住宿酒店，以及在餐廳點菜。
鄭家耀（左）指出，遊戲將加入更多場景及手語詞彙，讓港日以外地區用戶受惠；旁為施婉萍。（黃俊耀攝）
收錄4000組香港手語
以尋找住宿酒店為例，玩家進入酒店後，會見到「無煙房」和「吸煙房」的手語示範片段，玩家需要從「無煙房」或「吸煙房」選項二選一，並按片中示範，向着鏡頭做出正確手語動作。之後，系統會運用手語辨識技術識別玩家的動作及臉部表情。
負責項目的中大手語及聾人研究中心副主任施婉萍指出，中心於2007年起獲慈善團體及日本財團資助，開展亞太區手語語言學研究及培訓計劃，成功建立亞洲手語庫（Asian SignBank），收錄包括香港在內多個亞洲地區的手語資料，方便普羅大眾以至研究人員搜索，目前該手語庫已收錄逾4000組香港手語。
及至去年，中心在日本財團穿針引線下，夥拍谷歌及關西學院大學開展Project Shuwa計劃，利用谷歌的TensorFlow機器學習平台，開發可追蹤及分析用戶的肢體動作、臉部表情特徵和手部動作的人工智能（AI）系統，以建立手語詞典平台。用戶在日常生活見到自己不認識的手語，可透過鏡頭做手語檢索。長遠希望技術可整合至谷歌搜尋器及翻譯之中。
遊戲暫設3個場景，包括準備旅行物件、尋找住宿酒店【圖】，以及在餐廳點菜。（黃俊耀攝）
從表情區分微妙意思
「在手語世界，臉部表情以至嘴唇活動等，均含有重要語言訊息。」施婉萍舉例稱，「好」、「是」和「正確」的肢體和手部動作是一模一樣的，分別在於臉部表情一環，若只着重手部動作，容易造成誤判。而中心夥拍谷歌開發的系統，會把肢體動作、臉部表情特徵和手部動作分開識別，因而發現3個手語的臉部表情不同，從而準確把3種意思區別出來。
《手語村》是Project Shuwa首個重點項目，中大手語及聾人研究中心助理電腦主任鄭家耀表示，團隊定出《手語村》所需的香港及日本手語後，便向不同聽障人士收集相關手語的影片作為訓練數據。在開始階段，考慮到各人的手語打法會有出入，每個手語詞彙需要收集上百段影片，「不過現在只收集10段左右都足夠。」
遊戲今年5月在香港及日本推出測試版，用戶數目逾8500人。鄭家耀透露，未來會陸續為《手語村》加入更多場景（例如動物園）及手語詞彙，並支援港日以外更多不同地區的手語。
鄭家耀（左二）提到，團隊收集《手語村》訓練數據時，每個手語詞彙需收集上百段影片。（黃俊耀攝）
玩家看完手語示範片後，向着鏡頭做出正確手語動作。（黃俊耀攝）
採訪、撰文：陳子健
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
