虚拟手语无障碍解决方案

一、方案概况

基于虚拟手语翻译的无障碍智慧城市建设解决方案中，千博信息立足于千博手语计算云平台，整合千博手语双向无障碍交流服务平台、无障碍导航系统、会议系统、网页手语等，为听障人群在政务大厅、医院、银行、车站等公共服务场所打造无障碍环境；整合千博手语教育支撑平台、精翻工具、教考系统、APP和AR，为特殊教育打造无障碍教学环境；同时实现新闻播报的智能手语翻译。

上述方案通过云端手语智能计算，将语音/文字翻译成手语、手语翻译成语音/文字，配合终端在公共服务、特殊教育、社交生活等领域落地。该方案保障了听障人群获取信息、参与社会建设的权利，降低信息获取成本，提高就业、生活质量，解决了部分弱势人群面临的重大民生问题。

二、需求背景

聋人数量居五残之首，也是残疾人中看似最健全但就业最困难的群体，为帮助听障残疾人融入主流社会，实现沟通无障碍，就业无障碍，教育部、国家语委、中国残联等于2018年推出《国家通用手语方案》。诸多原因影响，通用手语推广困难重重，甚至可以说举步维艰。国标手语只有词汇标准而没有语法标准，手语翻译师的培养周期长、代价大、就业前景不明朗等原因，使得手语信息化成为唯一能有效快速推广通用手语，促进听障人群完全融入主流社会的重要手段。

尤其是2018年以来，中央宣传部、中国残联、工业和信息化部以及各地政府从解决民生、促进国民经济发展、建设信息无障碍环境等方面提出了实际要求。而要解决全国2780万听障人群的生活、教育、就业等刚需，利用信息化手段是必经之路。

三、技术架构

3.1技术架构

本项目技术架构包括汉语到手语的自动翻译，将自然语言文本通过计算流程，自动翻译成聋人所能理解的手语动作，由虚拟角色将手语流畅地打出来，同时伴随表情、唇语、头势与姿态非手语行为表达，甚至还需伴随手语语义相关的动画生成；手语到汉语的自动翻译，将聋人打出的手语进行词汇级或句子级的识别，并转换为文字或语音。

上述内容涉及的技术关键点包括：服务在云计算平台的部署，各种业务的组合打包，同步性能的提升，语音到手语及非手语行为的自动生成，系统需要支持扁平化扩展等优点。

本项架构由四部分内容组成，最底层为基础框架层，它包含了所有技术的基础组件，包括服务管理、微服务、集群应用、读写分离、消息队列、机器学习、缓存技术、异构计算等基础框架。在此框架之上，实现了通用组件层和算法层。通用组件层包含了引擎组件、自然语言处理组件、消息组件、认证组件、虚拟人驱动组件、检索组件、日志组件、数据推流组件、手语识别组件等。算法层包括了模型管理组件、业务模型开发组件、算法开发组件、知识图谱组件等。最上层为应用层，即各个应用终端通过算法层产生的各种算法服务API以及组件层的各种组件实现终端应用的开发。

手语及非手语行为的计算流程启动，由文字或同声手语功能触发。健听人以文本或语音输入语言内容，在云计算端应用层，基于语义标注的媒体大数据，完成手语智能计算流程，该计算流程包括虚拟手语人和手语及非手语行为生成、以及与手语内容的语义动画生成。语义动画基于认知心理学方法，在聋人教育和社交应用领域，将抽象或复杂概念生成具象化信息展示，帮助聋人理解。

网络安全方面，在技术底座的基础上，结合基础框架通用组件搭建了各种应用服务，所有核心技术均为自主研发技术，任何第三方单位均无法对项目服务内容进行篡改或在此基础上进行非法活动，云服务平台依赖华为驻地云平台，华为云平台拥有国内最高安全级别的安全服务保障。因此，本项目中所有服务内容均为安全可靠服务。

3.2 创新点

本方案的创新点主要包括：

（1）计算语言学技术，实现自然语言到手语的语言学分析，基于知识图谱实现了手语规则的整合，包括解决词法分析、句法分析、语义理解、语用研究等，最终实现汉语到融合手语翻译方法上的理论指导；

（2）行为识别与分析技术，实现动作捕获、控制，面部表情的驱动，角色行为的生成等；

（3）机器学习与深度学习，由于国标手语只有词汇标准，没有语法标准。本项目旨在通过手语大数据的收集、清洗、标准、校验，形成大规模的可用于统计语言学研究的深度学习模型，通过数据驱动不断完善翻译模型，形成新的基于统计实践的手语翻译国家标准；

（4）通过本项目搭建人脸采集系统，形成先进的虚拟手语形象快速重建系统。实现人物面部模型的快速重建，融合动画单元重建。最终实现个性化的手语人快速生成；

（5）计算媒体云架构，通过计算媒体云架构中的语义媒体大数据层、深度学习层、计算媒体工作流等的应用，实现多终端融合的无障碍环境搭建。

四、应用效果

人工智能领域的双向无障碍同声手语翻译、手语大数据、动画生成等技术将为政务大厅、机场、高铁、地铁、公交站、法院、医院、银行、旅游景点、特校等场所打造无障碍沟通环境，帮助听障人群无障碍出行、旅行、就医、办事、教育，避免听障人群误机、误车、误诊、误判等问题，解决听障教育的痛点问题。

从2020年3月起，在市委市政府领导的推动下，千博手语已在长沙市市区政务大厅、街道办事处、网站、电视台、特殊教育学校进行了示范应用。

在公共服务领域：千博手语双向无障碍交流服务、千博手语无障碍导航系统、公共区域信息展示系统，分别在长沙市政务大厅、开福区政务服务中心及下辖的16个街道示范应用；网页版千博手语服务，在省残联、邵阳残联等网站上使用；从2020年6月至2021年10月，人工智能手语播报系统已安装覆盖全国27个省级行政区168家电视媒体机构；手语APP用户达4万余人。

《长沙新闻》AI手语智能播报系统

在特殊教育领域：已经在湖南、湖北、广州三个省的30余个特校使用，其中浏阳特校、长沙特校、汕头特校、襄阳职业技术学院已完成采购任务，产品均获得了学校领导、任课老师以及听障学生的一致好评。

益阳特校具象化教学课堂

2020年9月17日，习近平总书记在马栏山视频文创产业园考察时，查看了人工智能手语播报系统应用演示，并亲切询问技术和推广等有关问题，对人工智能手语翻译技术正式应用于电视直播节目表示了肯定。在2021年6月和7月举行的湖南省科技厅科技成果评价、国家广电总局科技项目鉴定会上，所有参评专家均一致认为，该项成果创新性强，整体达到国内领先水平，部分达到国际先进水平。在开福区政务服务中心落地的听力无障碍公共服务点成为了长沙的标杆项目，获得了社会的广泛关注。听障朋友慕名而去，三湘都市报、长沙晚报等媒体纷纷报道，产生了极大的影响。

五、特色亮点

千博手语系列产品广泛应用于公共服务、特殊教育、生活社交等领域，形成了全球目前唯一一个已经在全领域落地应用的人工智能手语翻译产品生态。千博手语的亮点主要体现在技术和应用领域上。

千博手语的技术亮点包括：汉语到手语的精准翻译，千博手语以国家通用手语词汇为基础，陆续补充各地方自然手语词汇，通过标注大量语料来训练模型，提出融合手语这一手语语言国家标准；虚拟手语人表情、唇语、动作的融合呈现，实现精准翻译；虚拟手语人手语、表情唇语与伴随语义动画的融合呈现，实现精准理解；实现了词汇级的手语识别，这是全球第一个手语识别人工智能装置，即将开启如同人脸识别的大规模全球应用。

千博手语全方位服务听障人群的教育、就业、办事等领域，全方位解决听力无障碍环境建设需求，帮助听障人群融入主流社会，体现了中国政府和主流社会关注弱势群体人权的决心，可作为示范在国际上推广。

六、企业简介

长沙千博信息技术有限公司成立于2017年2月，已落地包括千博手语教育支撑平台等9大应用产品。产品应用于特殊教育、公共服务、生活社交等领域，致力于帮助听障人与健听人实现双向无障碍沟通。

千博公司拥有雄厚的科研实力，由高春鸣教授领导的高素质技术团队包括985高校博士3位，国内985高校硕士6名，本科研发人员14名。

2019年11月以来，千博手语先后获得湖南省首届人工智能产业创新与应用大赛“示范性应用场景”奖、首届全国新型信息消费大赛“新型信息消费应用创新奖”等数十项荣誉，在业内获得高度认可。