办事指南

自动手语翻译器将签名转换为文本

点击量:   时间:2017-04-13 01:25:02

Juice / REX / Shutterstock作者:Matt Reynolds机器翻译系统将手语转换成文本,然后再将其转换回来帮助那些耳聋或听力有困难的人与无法签名的人交流总部位于德克萨斯州达拉斯的初创公司KinTrans正在阿拉伯联合酋长国的银行和政府办公室试用其技术,并计划在未来几个月内将其安装在更多地方总部位于匈牙利布达佩斯的SignAll公司将于明年开始自己的试验 KinTrans使用3D相机跟踪人的手和身体在签字时的运动例如,手语用户可以接近银行出纳员并签署他们想要帮助的KinTrans相机然后,设备将这些标志翻译成书面英语或阿拉伯语,供出纳员阅读翻译有两种方式不能使用手语的人可以键入回复并将其转换为KinTrans屏幕上由动画化身重新创建的符号南佛罗里达大学的Sudeep Sarkar说,这很有用,因为使用手语进行交互的人比使用文本进行交互更为自然大约有7000万人签署了第一语言,世界各地使用了100多种不同的方言句子中的单词顺序可以在这些语言之间以及书面文本中有所不同 KinTrans的机器学习算法会在每个符号生成时进行转换,然后单独的算法将这些符号转换为具有语法意义的句子 KinTrans创始人Mohamed Elwazer表示,他的系统已经能够识别出美国和阿拉伯手语中的数千个标志,准确率达到98%他说,未来版本将包括对葡萄牙手语和印巴语手语的支持然而,缺乏数据使得培训系统成为一项挑战机器学习软件通常需要查看许多示例才能熟练掌握特定任务但是没有庞大的人们签署不同单词的视频数据库但Elwazer表示,他的系统只需要对每个标志的10个例子进行培训,然后才能在实际测试中识别它,他说 Sudeep不相信系统可以在如此小的数据集上得到充分的训练一旦KinTrans在更广泛的公开试验中接受测试,Sudeep怀疑公司将看到可以在哪些方面对系统进行改进 SignAll正在采取不同的策略它与华盛顿特区的加劳德特大学(Gallaudet University University)合作,这是一所专门为失聪或听力障碍学生设立的大学,旨在创建最大的手语句数据库 SignAll的系统还使用四个摄像头,包括一个以3D记录的摄像头,用于从签名者的脸部以及他们的手和身体中捕获数据 “用手语,一半的信息都在面前,”首席执行官Zsolt Robotka说例如,在句子中抬起眉毛会把它变成一个问题而不是一个陈述到目前为止,Robotka的系统只能将大约300个单词从美国手语翻译成英语但到明年开始试验的时候,他希望它能够学到大约1000个标志 “很高兴看到正在开发的创新技术可以真正改变手语用户的生活,”英国最大的代表聋人的慈善机构“听力损失行动”的Jesal Vishnuram说道 “这为自动手语翻译提供了很好的基线,我们鼓励开发人员继续研究这一概念,以便为手语用户提供真正具有包容性的体验”阅读更多:第一个证据表明通感为手语提供了颜色我们已经澄清了通过上述系统跟踪哪些身体区域更多关于这些主题: