中大新聞中心

香港中文大學（中大）語言學及現代手語及聾人研究中心、Google、日本財團（Nippon Foundation）和關西學院大學於2021年「國際手語日」（9月23日）正式推出全球首個結合人工智能和手語語言學理論的多語言網絡遊戲「手語村」，其測試版本已在今年5月在香港和日本發布，並已累積逾8,500人使用。開發「手語村」是團隊在2020年開啟的「Shuwa計劃」中首個重點項目，為求突破目前手語識別技術模型的瓶頸。「手語村」的開展相信能成功為自動手語識別及翻譯技術奠下基礎，提升大眾對手語及聾人社區的認知，推動聾健共融。

「手語村」是一款網絡遊戲，融合了有趣的場景和生動的設計，玩家需在一個以手語為主要語言的虛構小鎮上，通過電腦和網絡攝像鏡頭一邊打手語一邊完成各種日常生活任務，如「為旅行準備物件」、「尋找住宿的酒店」、或「在餐廳點菜」等。過程中，人工智能識別系統會對玩家所打手語的準確度作出回應，並通過在遊戲中隨處可見的手型模樣可愛公仔，向玩家解釋「手語」、「聾人」和「聾人文化」的概念。不論健聽或聾人皆能以輕鬆的方式，隨時隨地學習手語和聾人文化，以及香港和日本兩地手語。

「手語村」影片介紹

手語識別技術和「Shuwa計劃」 

長期以來，手語自動識別技術領域都未有較大突破。究其主要原因在於過去的方法在分析視覺—姿勢語言信息時未能結合手語語言學在此方面的優勢。在手語語言學中，除了手部動作，其他肢體信息，如身體動作、面部表情、頭部位置和動作、嘴形等在語法中均具有重要性。如在表達手語詞彙、短語或句子中，缺少上述的任何參數信息，都有可能導致手語不符合文法規範或無法詮釋。雖然世界各地手語的語言有不同，但當中的語言特徵如手型、方向、動作等卻是相通的，而這些語言特徵的組合變化有限，可以透過電腦識別。由於手語是三維空間運動，包括上下左右移動以及前後深度，以往需要使用特殊三維攝像鏡頭和帶傳感器的手套等複雜設備，才能識別手語，令技術難以普及。

「Shuwa計劃」的團隊就以上痛點，以香港及日本手語作起點，成功構建可透過一般攝影鏡頭識別不同肢體信息等三維動作的機器學習模型，追踪及分析手部動作、肢體動作和面部表情的特徵，繼而應用在「手語村」。計劃的下一步是製作包含搜索功能，基於人工智能技術協助學習和紀錄手語的手語詞典平台。團隊的最終目標是開發一個自動翻譯模型，能夠利用常見的電腦或智能手機的鏡頭識別手語中的自然對話，將其翻譯為口語。

中大手語及聾人研究中心副主任施婉萍教授展望：「我們的長期目標是建立一個無障礙社會，包容聾人和能受益於手語交流的人。雖然還有很長的路要走，但『手語村』能為世界各地的人們打開一道讓他們有更多機會在現實生活中學習和了解手語的大門。未來，將會有不同國家的手語加入『手語村』，用家不僅可以學到更多的手語，亦能了解它們之間的不同。利用先進的技術，建構一個平等、包容及和諧的社會。」

日本財團常務理事樺沢一朗表示：「我想對中大、Google和關西學院大學表示誠摯的謝意，沒有他們的參與，『手語村』就不可能實現。我希望聾人作為社會的一員，可以用手語積極參與社會、經濟、文化和其他活動，達至一個真正共融的社會。」

關西學院大學手語研究中心主任松岡克尚教授表示：「能夠參與Shuwa計劃的技術開發是一件非常高興的事。計劃現還處於初步階段，潛力還是未知之數，但在未來，我們可能透過人工智能開發日本和香港兩地手語間的自動翻譯模型，也可能開發予醫療機構和法律界的專家版本學習工具，這些都是值得我們探索的。」

負責技術開發的Google 代表Joe FRY表示：「我們很高興能與日本財團、香港中文大學、關西學院大學合作，為這別具意義的計劃出一分力。隨着計劃的發展，我們期待有更多新的合作伙伴加入，不斷拓展計劃及改進技術。」

如欲了解更多有關計劃詳情，請瀏覽以下網頁：

「Shuwa計劃」：http://projectshuwa.org

「手語村」：https://sign.town

「手語村」平台手語識別技術源代碼：https://github.com/google/shuwa

關於國際手語日 

每年的9月23日為國際手語日，它於2017年12月19日在聯合國大會中通過，作為呼籲承認和重視手語這一聾人語言的日子。9月23日是世界聾人聯合會（World Federation of the Deaf）在1951年成立的日子。世界聾人聯合會是世界上歷史最悠久的國際級殘疾人組織，致力於通過手語促進聾人參與社會。目前，該會在全球有120多個國家設有其下屬組織。

關於香港中文大學手語及聾人研究中心 

手語及聾人研究中心於2003年11月在中大成立，是語言學及現代語言學系下屬的研究中心之一。自成立以來，中心一直在開展廣泛的研究和培訓項目，以促進手語語言學在香港和亞洲其他地區成為一門學術學科。中心還旨在促進手語在聾人教育中的應用，通過學術培訓增強聾人的能力，通過在社區層面普及手語學習來改善健聽與聾人之間的溝通，並就有利於聾人社區的政策改革向政府當局提供建議。 

關於日本財團 

自1962年成立以來，日本財團一直是日本最大的社會貢獻財團，支持跨領域和國界的公共利益項目。為了實現一個「人們互相支持的社會」，日本財團活躍在兒童、殘疾、災害、海洋和國際合作等領域。 https://www.nippon-foundation.or.jp/

關於關西學院大學 

關西學院大學成立於1889年，是一所綜合性大學，提供基於基督教原則的教育。手語研究中心（SLRC）成立於2015年4月，是日本大學中第一個手語機構。在日本財團的支持下，該中心從2016年開始活躍。 SLRC通過選擇日本手語（JSL）單詞和收集JSL數據用於機器學習，為這個項目作出貢獻。