写点什么

为方便盲人使用手机,阿里联手清华推出 AI 智能手机膜

  • 2018-11-12
  • 本文字数:1187 字

    阅读完需:约 4 分钟

为方便盲人使用手机,阿里联手清华推出AI智能手机膜

如果是几年前有人告诉你:盲人也能轻松使用智能手机购物,你或许会觉得有些不可思议,因为那时候的智能手机大都没有配备为视障人士提供辅助的功能。


虽然现在大部分智能手机都有了专门为盲人提供的屏幕阅读功能,但是这项功能也只是在 iPhone 等高端机型中才会配备,一般的智能手机很少会有这种功能。但是现在一切都不一样了,就算没有花费高价购买高端智能机,视障人士也可以轻松使用手机,甚至用它来网上购物。


过去两年中,阿里巴巴达摩院除了发展科研,还一直致力于利用技术改善残障人士生活,阿里巴巴和清华大学在近日推出了 Smart Touch,能够帮助视障人群改善智能手机的体验,简化操作流程。


具体做法是:给手机贴一个新的“屏幕保护膜”,上面有支持触觉交互的“盲键”,通过低成本的屏幕盲键按钮提供触觉。更重要的是根据页面的动态变化,盲键对应的功能也随之改变,提升交互效率和用户体验。


Smart Touch 之所以可以实现盲键功能在不同页面的功能变化,离不开自动理解页面信息的智能算法。清华大学计算机系教授喻纯说:“该算法首先提取界面的语义和主要功能,然后以符合视障用户心理模型的方式映射到触觉盲键按钮上。因此,和现有的技术相比,Smart Touch 不单提供语音交互,还提供基于界面内容理解的触觉盲键。”


对于界面的主要功能按钮,视障用户也不再需要通过遍历的方式去使用,通过盲键可以层次化地访问界面元素,这大大改变了视障用户现在使用手机的方式,从现在的语音交互拓展到语音加触觉交互,为视障用户提供更高效更方便的用户体验。



智能操作不仅限于触摸。当用户将手机放在耳朵上时,它也可以工作。用户可以在公共场合快速收听文本,而无需通过扬声器或耳机。阿里巴巴方面表示,早期的试验显示,用户完成诸如接听电话和网上购物等任务所需的时间缩短了 50%。



此外,视障患者在屏幕上摸索时会更加谨慎,Smart Touch 也考虑到了这一点,用户需要双击硅胶按钮来确认指令。


据了解,Smart Touch 技术的核心主要有两部分:界面理解和界面交互。具体来说,界面理解指对界面语意的理解。喻纯介绍,界面的内容包括三层:


第一层解决“未加标签”控件。目前手机界面上有很多不同的图标,大多数图标是一张图片加文字,目前的读屏软件读出来的是“未加标签”,Smart Touch 通过算法自动地将图标和文本进行关联,为图标提供标签。


第二层对手机界面的逻辑区块做自动识别,形成界面元素的层级组织。


第三层则对界面的交互语义做理解,将界面依据视障用户的心理模型读出来。


阿里方面表示, 目前产品使用的是普通的硅胶膜,很便宜成本很低,这样才可以使大多数视障用户可以用得上用得起,更重要的创新是背后的 AI 算法。以后会对这个盲键进行更多的触感设计,让它有更清晰的触觉反馈,满足更多的应用程序的需要。未来这个智能手机膜可以免费发放给视障用户使用。


英文原文:


https://techcrunch.com/2018/11/11/alibaba-haptic-button-blind-shopping/


2018-11-12 18:001703
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 290.0 次阅读, 收获喜欢 1303 次。

关注

评论

发布
暂无评论
发现更多内容

怎么搭建在线帮助页面

小炮

帮助中心

重视软件开发的黑匣子

菜根老谭

bug 系统安全 程序日志

阿里代码依赖漏洞检测服务,高效杜绝代码安全隐患

阿里云云效

云计算 阿里云 云原生 代码安全 依赖漏洞检测

艾特网能全面参与数据中心蒸发冷却空调系列标准编制

科技热闻

NFT元宇宙开发Defi模式NFT游戏开发DAPP

Geek_232be3

区块链 NFT生态链游

车联网平台百万级消息吞吐架构设计|车联网系列专题 05

EMQ映云科技

车联网 物联网 IoT emq 3月月更

博文推荐|使用 Apache Pulsar 和 Scala 进行事件流处理

Apache Pulsar

开源 分布式 云原生 Apache Pulsar Apache Pulsar 社区

95 后新生代 Committer 贺张俭:谈谈年轻人的开源观

Apache Pulsar

开源 云原生 物联网 Apache Pulsar Apache Pulsar 社区

利用云效创建代码仓库,免费还方便

阿里云云效

git 云计算 阿里云 代码仓库 Codeup

最佳代码扫描工具,实现自动化代码扫描服务

阿里云云效

云计算 阿里云 开发 代码扫描 代码安全

DDoS攻击与防范策略

喀拉峻

网络安全 信息安全 DDoS

设计模式—代理模式以及动态代理的实现

Linux服务器开发

c++ 设计模式 后端开发 Linux服务器开发 Linux后台开发

活动报名|3DCAT实时渲染云行业生态合作系列沙龙之“云XR如何赋能虚拟仿真实验教学”线上活动邀您参会

3DCAT实时渲染

虚拟仿真 实时渲染

TDengine 在蔚来能源系统的落地实践

TDengine

数据库 tdengine

Apache ShardingSphere 首篇论文被 ICDE 收录,全球数据库发展迎来新局面

SphereEx

数据库 ShardingSphere SphereEx apache 社区

钉钉协同引擎与应用场景技术探索

阿里巴巴终端技术

分布式 跨平台 客户端 开发框架

瞄准程序员招聘痛点,ShowMeBug让面试代码操作可“回放”

ShowMeBug

成本管理系统解决方案

低代码小观

企业管理 资产管理 成本优化 低成本 CRM系统

哈尔滨市消防救援支队:用宜搭打造消防智慧大脑,守护冰城平安

一只大光圈

低代码 数字化 消防 钉钉宜搭

RocketMQ 开源爱好者请注意邀您共探行业应用与生产实践

阿里巴巴云原生

王者荣耀商城异地多活架构设计

王大胖

【等保】二级等保是什么意思?哪些企业要做?多少钱?

行云管家

网络安全 等保 二级等保

多云管理需求分析与好用的工具介绍

行云管家

云计算 混合云 多云 云管理

大咖说|网易数帆论道 PolarDB 数据库开源 & 存储生态

大咖说

数据库 阿里云 开源 网易

流动性挖矿开发模式,方案设计

Geek_232be3

流动性挖矿

fastposter v2.6.2 发布 程序员专属海报生成器

物有本末

Vue 海报 Pillow 海报生成器 电商海报

流动性挖矿APP系统开发介绍模式

Geek_232be3

LIP流动性挖矿

ModStartCMS模块化建站系统 v3.6.0 内容标签增强,电脑手机适配

ModStart开源

直播回顾|TGIP-CN 036:Apache Pulsar 最新技术进展与动态

Apache Pulsar

开源 云原生 中间件 Apache Pulsar Apache Pulsar 社区

多终端运行小程序,快速丰富智慧社区使用场景

Speedoooo

智慧社区 小程序管理平台 智慧家居 智能家居生态平台 生态平台

BookKeeper PMC 成员翟佳受邀参与DataFunSummit 大数据存储架构峰会

Apache Pulsar

开源 架构 云原生 bookKeeper Apache Pulsar

为方便盲人使用手机,阿里联手清华推出AI智能手机膜_AI&大模型_Rita Liao_InfoQ精选文章