华为已经发布了StorySign,这是一款新的免费产品,它使用人工智能来帮助聋哑或听障儿童学习阅读。该应用程序利用智能手机的摄像头跟随故事书页面上的文本,显示一个动画人物,该人物将单词翻译成手语。该应用程序由华为AI提供支持。
在下面的视频中,华为解释了聋哑儿童在学习阅读方面遇到的麻烦-该问题旨在通过人工智能技术帮助解决。聋哑儿童由于自身的独特困难而常常会延迟语言技能,但是Star(动画化身)的作用是增强现实感并帮助这些孩子阅读。
该应用程序支持许多儿童读物,儿童可以使用智能手机阅读。在阅读时,孩子将手机的摄像头对准页面上的文字,该文字会被应用检测并填充到屏幕中。此时,将Star头像显示在文本旁边,并将其翻译为手语。
当Star签名时,该应用程序突出显示正在翻译的单词。孩子们可以在签名时跟随单词,将两者联系起来并掌握阅读技巧。华为在开发该产品时与英国聋人协会和欧洲聋人联盟合作。
目前,该应用程序支持Penguin Random House提供的经典儿童书籍。可以从华为AppGallery和Google Play商店免费下载该应用程序。该产品似乎在iPhone上不可用。该应用程序支持10种欧洲语言,并且该应用程序支持的每种语言都有一本儿童读物。