为方便盲人使用手机，阿里联手清华推出 AI 智能手机膜

如果是几年前有人告诉你：盲人也能轻松使用智能手机购物，你或许会觉得有些不可思议，因为那时候的智能手机大都没有配备为视障人士提供辅助的功能。

虽然现在大部分智能手机都有了专门为盲人提供的屏幕阅读功能，但是这项功能也只是在 iPhone 等高端机型中才会配备，一般的智能手机很少会有这种功能。但是现在一切都不一样了，就算没有花费高价购买高端智能机，视障人士也可以轻松使用手机，甚至用它来网上购物。

过去两年中，阿里巴巴达摩院除了发展科研，还一直致力于利用技术改善残障人士生活，阿里巴巴和清华大学在近日推出了 Smart Touch，能够帮助视障人群改善智能手机的体验，简化操作流程。

具体做法是：给手机贴一个新的“屏幕保护膜”，上面有支持触觉交互的“盲键”，通过低成本的屏幕盲键按钮提供触觉。更重要的是根据页面的动态变化，盲键对应的功能也随之改变，提升交互效率和用户体验。

Smart Touch 之所以可以实现盲键功能在不同页面的功能变化，离不开自动理解页面信息的智能算法。清华大学计算机系教授喻纯说：“该算法首先提取界面的语义和主要功能，然后以符合视障用户心理模型的方式映射到触觉盲键按钮上。因此，和现有的技术相比，Smart Touch 不单提供语音交互，还提供基于界面内容理解的触觉盲键。”

对于界面的主要功能按钮，视障用户也不再需要通过遍历的方式去使用，通过盲键可以层次化地访问界面元素，这大大改变了视障用户现在使用手机的方式，从现在的语音交互拓展到语音加触觉交互，为视障用户提供更高效更方便的用户体验。

智能操作不仅限于触摸。当用户将手机放在耳朵上时，它也可以工作。用户可以在公共场合快速收听文本，而无需通过扬声器或耳机。阿里巴巴方面表示，早期的试验显示，用户完成诸如接听电话和网上购物等任务所需的时间缩短了 50％。

此外，视障患者在屏幕上摸索时会更加谨慎，Smart Touch 也考虑到了这一点，用户需要双击硅胶按钮来确认指令。

据了解，Smart Touch 技术的核心主要有两部分：界面理解和界面交互。具体来说，界面理解指对界面语意的理解。喻纯介绍，界面的内容包括三层：

第一层解决“未加标签”控件。目前手机界面上有很多不同的图标，大多数图标是一张图片加文字，目前的读屏软件读出来的是“未加标签”，Smart Touch 通过算法自动地将图标和文本进行关联，为图标提供标签。

第二层对手机界面的逻辑区块做自动识别，形成界面元素的层级组织。

第三层则对界面的交互语义做理解，将界面依据视障用户的心理模型读出来。

阿里方面表示， 目前产品使用的是普通的硅胶膜，很便宜成本很低，这样才可以使大多数视障用户可以用得上用得起，更重要的创新是背后的 AI 算法。以后会对这个盲键进行更多的触感设计，让它有更清晰的触觉反馈，满足更多的应用程序的需要。未来这个智能手机膜可以免费发放给视障用户使用。

英文原文：

https://techcrunch.com/2018/11/11/alibaba-haptic-button-blind-shopping/