中大新聞中心

香港中文大學（中大）語言學及現代語言系手語及聾人研究中心（CSLDS）和日本財團（Nippon Foundation）推出具有人工智能識別功能的手語在線學習遊戲「手語村（SignTown）」（https://sign.town），以促進大眾對手語和聾人世界的認識。

這個項目由中大、日本財團、Google及關西學院大學手語研究中心合作推動。中大手語及聾人研究中心作為香港手語語言學研究的專家，在項目中負責收集香港手語的數據，並提供專業意見協助建立手語識別模型；日本財團資助了此項目，共同擁有此項目的管理權，並提供關於手語和聾人文化的意見；Google提出技術可行性及負責人工智能手語識別系統的技術探索和開發；關西學院大學則幫助收集日本手語（JSL，日語發音為Shuwa）的訓練數據，並在日本聾人文化方面提供意見。

「手語村」今天（5月24日）發布測試版本，研究團隊將會收集用戶的意見以進一步提升其功能，目標在2021年9月23日國際手語日推出首個正式版本。

通過互動遊戲學習香港和日本手語

「手語村」是一款網絡實時手語識別遊戲，玩家在遊戲裡會化身為剛到達「手語村」的新人，要控制角色用手語與村民交流來完成任務。研究團隊運用了機器學習端到端開源平台TensorFlow^TM技術，用以訓練手語識別模型。這樣玩家便能通過電腦和網絡攝像鏡頭學習和嘗試打手語，而人工智能識別系統就會對玩家所打手語的準確度作出回應。

玩家可以在「手語村」內學習及使用香港和日本兩種不同手語，並能夠隨時切換兩種手語。在過程中，玩家可透過打正確的手語來收集各種紀念徽章。「手語村」是根據各種日常生活主題來設計，玩家可以從餐廳下單到旅行中尋找住宿等情境，學習到各式常見手語。遊戲還會介紹不同地區的聾人文化。

人工智能識別技術有助促進大眾對手語的理解

除了手部和身體動作，面部表情和非手控特徵在手語中也發揮著重要作用，但這些重要的特徵在過去建立的手語識別模型中沒有得到充分的處理，因而無法產生準確的手語識別結果。此外，過往的技術需要用到三維相機和數碼手套等設備，才能完整捕捉手語動作，令手語識別技術一直難以普及。

研究團隊利用多種機器學習模型成功追踪這些重要的特徵，免卻需要使用特殊設備或特定環境的限制。他們運用PoseNet技術識別人體姿勢和手勢；Facemesh技術識別嘴巴和面部表情，Hands Tracking技術識別手形和手指的動作。此外，為了獲得準確的數據進行模型訓練，團隊邀請本身母語是自然手語的香港和日本聾人，協助收集手語數據。

中大語言學教授兼手語及聾人研究中心主任鄧慧蘭教授表示：「為了開發一個能夠識別自然手語對話並將其翻譯成文字及口語的手語自動翻譯模型，我們在2020年啟動了Shuwa計劃。在線學習遊戲「手語村」是計劃的第一步，以尋求突破識別手語語音特徵這一關鍵技術障礙，而計劃的下一步將是發展手語詞典和手語短句識別技術。我們希望這些新科技能夠擔當聾人和健聽人士之間的橋樑。」。

負責技術開發的Google 已經免費開放「手語村」平台所使用的手語識別技術的源代碼，藉此促進相關技術發展，使得世界各地的開發者和研究人員可以輕易地為其他地區開發相類似的手語識別技術。源代碼可在https://github.com/google/shuwa下載。

中大手語及聾人研究中心　致力推廣手語普及

2006年通過的《聯合國殘疾人權利公約》明確指出「手語是一種自然語言」。一個允許聾人使用手語的環境，對促進聾人的社會參與是非常重要的。近年來，隨著社會推廣及倡議，手語的使用逐漸普及，例如在新聞節目和政府記者會等已經有提供手語翻譯服務。隨著公眾對手語和聾人文化的興趣日漸增加，加上資訊及通訊科技的日益發展和普及，現在是推廣手語的好時機。因此，研究團隊開發了手語學習遊戲「手語村」，希望通過先進的人工智能技術，促進大眾對手語和聾人的了解。

中大手語及聾人研究中心於2003年正式成立，乃亞太區唯一一所專注在手語語言學研究及聾人訓練的中心。中心推動的聾人教育、手語語言學及手語傳譯，在本港以至亞洲的整體聾人教育及發展中產生深遠的影響。

關於日本財團

自1962年成立以來，日本財團一直是日本最大的社會貢獻財團，支持跨領域和國界的公共利益項目。為了實現一個「人們互相支持的社會」，日本財團活躍在兒童、殘疾、災害、海洋和國際合作等領域。 https://www.nippon-foundation.or.jp/

關於關西學院大學

關西學院大學成立於1889年，是一所綜合性大學，提供基於基督教原則的教育。手語研究中心（SLRC）成立於2015年4月，是日本大學中第一個手語機構。在日本財團的支持下，該中心從2016年開始活躍。 SLRC通過選擇日本手語（JSL）單詞和收集JSL數據用於機器學習，為這個項目作出貢獻。