QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

为方便盲人使用手机,阿里联手清华推出 AI 智能手机膜

  • 2018-11-12
  • 本文字数:1187 字

    阅读完需:约 4 分钟

为方便盲人使用手机,阿里联手清华推出AI智能手机膜

如果是几年前有人告诉你:盲人也能轻松使用智能手机购物,你或许会觉得有些不可思议,因为那时候的智能手机大都没有配备为视障人士提供辅助的功能。


虽然现在大部分智能手机都有了专门为盲人提供的屏幕阅读功能,但是这项功能也只是在 iPhone 等高端机型中才会配备,一般的智能手机很少会有这种功能。但是现在一切都不一样了,就算没有花费高价购买高端智能机,视障人士也可以轻松使用手机,甚至用它来网上购物。


过去两年中,阿里巴巴达摩院除了发展科研,还一直致力于利用技术改善残障人士生活,阿里巴巴和清华大学在近日推出了 Smart Touch,能够帮助视障人群改善智能手机的体验,简化操作流程。


具体做法是:给手机贴一个新的“屏幕保护膜”,上面有支持触觉交互的“盲键”,通过低成本的屏幕盲键按钮提供触觉。更重要的是根据页面的动态变化,盲键对应的功能也随之改变,提升交互效率和用户体验。


Smart Touch 之所以可以实现盲键功能在不同页面的功能变化,离不开自动理解页面信息的智能算法。清华大学计算机系教授喻纯说:“该算法首先提取界面的语义和主要功能,然后以符合视障用户心理模型的方式映射到触觉盲键按钮上。因此,和现有的技术相比,Smart Touch 不单提供语音交互,还提供基于界面内容理解的触觉盲键。”


对于界面的主要功能按钮,视障用户也不再需要通过遍历的方式去使用,通过盲键可以层次化地访问界面元素,这大大改变了视障用户现在使用手机的方式,从现在的语音交互拓展到语音加触觉交互,为视障用户提供更高效更方便的用户体验。



智能操作不仅限于触摸。当用户将手机放在耳朵上时,它也可以工作。用户可以在公共场合快速收听文本,而无需通过扬声器或耳机。阿里巴巴方面表示,早期的试验显示,用户完成诸如接听电话和网上购物等任务所需的时间缩短了 50%。



此外,视障患者在屏幕上摸索时会更加谨慎,Smart Touch 也考虑到了这一点,用户需要双击硅胶按钮来确认指令。


据了解,Smart Touch 技术的核心主要有两部分:界面理解和界面交互。具体来说,界面理解指对界面语意的理解。喻纯介绍,界面的内容包括三层:


第一层解决“未加标签”控件。目前手机界面上有很多不同的图标,大多数图标是一张图片加文字,目前的读屏软件读出来的是“未加标签”,Smart Touch 通过算法自动地将图标和文本进行关联,为图标提供标签。


第二层对手机界面的逻辑区块做自动识别,形成界面元素的层级组织。


第三层则对界面的交互语义做理解,将界面依据视障用户的心理模型读出来。


阿里方面表示, 目前产品使用的是普通的硅胶膜,很便宜成本很低,这样才可以使大多数视障用户可以用得上用得起,更重要的创新是背后的 AI 算法。以后会对这个盲键进行更多的触感设计,让它有更清晰的触觉反馈,满足更多的应用程序的需要。未来这个智能手机膜可以免费发放给视障用户使用。


英文原文:


https://techcrunch.com/2018/11/11/alibaba-haptic-button-blind-shopping/


2018-11-12 18:001679
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 286.6 次阅读, 收获喜欢 1303 次。

关注

评论

发布
暂无评论
发现更多内容

axure rp8中文安装包 附axure rp永久密钥

Rose

轻松搞定平稳运行,数据库平台 DBStack 帮助 DBA 运维不同基础设施上的各类数据库

Baidu AICLOUD

数据库

harmony_flutter 自定义toast

flfljh

HarmonyOS harmony

中昊芯英基于国产TPU算力服务器在高校中的应用,助力太极股份成功入选特色案例

科技热闻

区块链游戏的新观察:自治世界能否成为未来链游的突破口?

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

从人工智能到低代码:科技如何塑造未来的企业软件

天津汇柏科技有限公司

低代码 AI人工智能

TinyEngine低代码引擎2.0新特性介绍

OpenTiny社区

低代码 OpenTiny TinyEngine 前端开源

鸿蒙 next 封装日志工具类 LogUtil

flfljh

安能物流 All in TiDB 背后的故事与成果

PingCAP

数据库 TiDB

印象笔记发布全新知识管理平台 AI让你的第二个大脑持续升级

E科讯

字节跳动开源云原生数据仓库 ByConity 有奖众测,邀你体验完整的数仓能力

InfoQ写作社区官方

有奖活动 开发 热门活动

2024华为云开源开发者论坛项目抢鲜看|Kmesh: 监控指标和访问日志功能详解

华为云原生团队

云计算 开源 容器 云原生

GreptimeDB Edge 2.0 车端多模态数据库线上发布会

Greptime 格睿科技

数据库 车联网 汽车

解锁淘宝天猫数据宝藏:深度探索商品描述、详情图与评论的API调用新视角

代码忍者

API 接口 pinduoduo API

One Switch for Mac(菜单栏一键开关控制神器)v1.33.1中文版

Rose

3D渲染和动画制作软件 KeyShot破解版 附永久许可证及安装教程

Rose

鸿蒙Flutter 常见问题总结

flfljh

鸿蒙 Next 中 Text 组件用法总结

flfljh

2024-11-27:字符串的分数。用go语言,给定一个字符串 s,我们可以定义其“分数”为相邻字符的 ASCII 码差值绝对值的总和。 请计算并返回字符串 s 的分数。 输入:s = “hello“

福大大架构师每日一题

福大大架构师每日一题

如何建设开放可控的企业大数据平台?

袋鼠云数栈

disk drill mac 破解版 附disk drill 激活码 好用的苹果数据恢复软件

Rose

Pixelmator Pro for Mac 非常强大、美观且易于使用的图像编辑器

Rose

揭秘淘宝天猫API接口:轻松获取商品详情与优惠券券后价

代码忍者

API 接口 pinduoduo API

告别 Kafka,拥抱 Databend:构建高效低成本的用户行为分析体系

Databend

金狗出没时间揭秘:为什么凌晨成了 Meme 币的神盘时段?

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

为方便盲人使用手机,阿里联手清华推出AI智能手机膜_AI&大模型_Rita Liao_InfoQ精选文章