人工智能用手语解读莎士比亚

2024-09-23 10:43来源:本站编辑

一项新的研究利用与参考社区的共同创造来开发一款手语机器翻译(SLMT)应用程序。研究小组设计了一种通过人工智能(AI)的眼睛看到的手语戏剧表演,作为方法之一。“从历史上看,聋人一直被排除在自动翻译技术的发展之外,”都柏林城市大学包容与特殊教育学院研究员肖恩·奥博伊尔说。“这经常引起聋人社区的强烈反对和抵制,因为这些项目的设计和开发没有得到他们打算服务的最终用户的任何投入,导致没有人想要使用的技术和大量浪费资金,”欧洲聋人联盟(EUD)的项目经理戴维·范·兰杜特补充说。该团队决定逆转标准方法。他们的研究成果发表在《科学传播杂志》的一篇新论文中。


O'Boyle、Van Landuyt和欧洲signon项目的其他合作伙伴(包括弗拉芒手语中心)基于这样的想法设计了一种创新的共同创作方法:如果我们将人工智能引入爱尔兰手语的莎士比亚文本,我们会首先选择哪个摘录?这种与人工智能的接触使他们能够与观众建立联系,并收集他们对这项技术的看法。“我们仔细研究了聋人社区真正想要的是什么(同样重要的是他们不想要的是什么),”Van Landuyt解释说。

“这是一个团队的努力,而且很有趣,”O'Boyle评论道,他是科学传播和社区参与方面的专家,与Van Landuyt、Elizabeth Mathews(在DCU与O'Boyle一起工作)和其他人共同撰写了这篇论文。该项目的共同创造活动为SLMT应用程序原型的开发做出了贡献,将现场戏剧表演与人工智能工具结合在一起,扭转了聋哑人/重听人与正常人之间的刻板印象。奥博伊尔解释说:“我们将表演与观众讨论结合起来,这样就有了焦点小组技术的元素,但在文化和艺术的背景下,看一场表演,晚上出去玩。”

这一名为“全世界都是一块屏幕”的活动在都柏林科学周期间举行,包括一场以威廉·莎士比亚作品为基础的戏剧表演,由两位聋哑人演员利安·奎格利和阿尔韦文·琼斯用爱尔兰手语表演,他们也是这项研究的合著者,并将莎士比亚的作品翻译成爱尔兰手语。听众由聋哑人、重听人和正常人组成。“对于聋哑人来说,用他们自己的语言而不是英语进行表演和科学参与真的很重要。在我们的表演中,一名口译员为听力正常的人提供了帮助。“它改变了动态,但它也给了人们一个想象这些技术未来的机会,因为我们要求人们与他们的人工智能‘共同观众’一起观看表演。”

事实上,在演出过程中,观众可以使用工具实时分析表演者的动作,识别物体,并实时转录口译员的英语口语翻译。“我们收到了很多有趣的反馈,在研究项目的背景下做这件事的好处是,所有这些反馈都直接传达给了我们的团队。它告诉了应用程序的用例,它告诉了我们如何谈论它,我们如何思考它,以及开发的技术的不同方面,”O'Boyle说。

“道德方面也很重要,”Van Landuyt补充道。

“聋人社区的一个主要挫折是一些从事这些技术的听力研究人员的态度或动机。很多时候,“听力正常”的决策者或研究人员认为他们比聋人社区了解得更多,并试图创造一些东西,然后被这些技术的实际最终用户拒绝,仅仅因为这不是他们想要的,甚至在实践中完全无用。我认为,例如,像签名手套这样的技术,”Van Landuyt说,他还解释说,这导致了时间和资源的浪费。“仅仅把聋人纳入一个项目并不是一个结构性的解决方案。这并不意味着他们在领导这项研究。聋人研究人员通常只在最初的想法已经形成、团队已经组建、研究已经进行、甚至项目接近尾声时才被要求合作,”他补充道。

通过与聋人社区进行真正的共同创造和科学交流,可以减轻这种情况。“我们无法阻止这些技术的发展,所以我们需要弄清楚如何应对它们。至关重要的是,聋人可以自己做决定,”Van Landuyt总结道。“没有我们,就没有我们。”

论文《以聋人为中心的艺术科学方法与手语技术的社区参与》可以在JCOM上免费阅读。

视频链接:这就是问题所在

善信网声明:未经许可,不得转载。