You are currently at: ejtech.hkej.com
Skip This Ads
Don't Miss
Home   >   市場消息   >   亞運AI即時傳譯手語話音 阿里雲「小莫」助打破聽障隔膜

亞運AI即時傳譯手語話音 阿里雲「小莫」助打破聽障隔膜

By on October 2, 2023

原文刊於信報財經新聞「EJ Tech 創科鬥室」

社會共融是大勢所趨，借助人工智能（AI）科技可縮窄語言鴻溝。本身是杭州亞運大會官方合作夥伴的阿里雲智能集團，推出虛擬手語翻譯官「小莫」程式，協助全中國總數達3000萬名聽障人士，參與現正舉行的杭州亞運，以及將於本月22日至28日舉行的亞洲殘疾人運動會（亞殘運）。

收集2.5萬手勢 建翻譯數據集

負責「小莫」項目的阿里雲智能集團算法工程師張邦，在杭州回答亞太區傳媒提問時表示，虛擬手語翻譯官本身是一款整合至阿里巴巴（09988）旗下支付平台支付寶的小程序，支援手語及中文口語之間的雙向翻譯。

簡單而言，聽力及語言障礙人士前來觀賞比賽時，如果想向現場義工查詢或問路，可以先開啟這個小程序，之後向手機鏡頭打手語，「小莫」便會把手語轉為語音訊息，即時向義工傳譯；義工亦可透過「小莫」將語音回覆化成手語，解答聽障人士提問。另外，「小莫」也有在亞運會組委會旗下新聞播報平台亮相，協助向聽障人士發布亞運最新消息。

「小莫」是一款支付寶小程序，為杭州亞運及亞殘運協助聽障人士。（新浪微博影片擷圖）

虛擬手語翻譯官「小莫」運用了阿里雲開發的視覺識別算法及動作追蹤技術，通過語言翻譯模型將手語翻譯成自然語言。至於把口語翻譯成手語，則用上了深度神經網絡及唇部動作生成模塊，確保「小莫」做出準確的手語手勢。

向手機鏡頭打手語，圖中的虛擬手語翻譯官，便會將手語轉為語音訊息。（新浪微博影片擷圖）

張邦稱，為了開發虛擬手語翻譯官，團隊向一群來自浙江省的手語從業員及聽障人士，收集及注釋逾約2.5萬個手語手勢，以建立中文手語翻譯數據集，籌備過程需時近兩年。此外，由於同一手語手勢或代表多個意思，因此團隊亦需開發機器翻譯（Machine Translation）技術，以分析整段手語手勢的含義，而非單單將手語手勢逐個翻譯，盡量減少歧義及提升翻譯準確度。

張邦（右）稱，建立中文手語翻譯數據集，籌備需時近兩年；旁為熊務真。（陳子健攝）

買票問路準確 暫僅支援中文

當被問到「小莫」的翻譯準確度時，張邦未有透露明確數字，僅表示在處理用戶問路、購買門票、買咖啡等情況，「小莫」的翻譯「頗準確」（Quite Accurate）。他又說，之前亦有邀請聽障人士試用程式，他們對「小莫」的翻譯表現亦「頗為滿意」（Quite Satisfied）。

張邦坦言，目前「小莫」僅支援中文語音（普通話）及中文手語，但重申虛擬手語翻譯官技術，日後可按需要延伸至其他語言。

陳子健．杭州報道

延伸閱讀：

亞運村倡低碳 掃碼賺獎賞

支持EJ Tech

如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。