写点什么

谷歌联合斯坦福推出可解释 AI 新方法,揭秘图像分类器到底是如何工作的

  • 2019-10-15
  • 本文字数:983 字

    阅读完需:约 3 分钟

谷歌联合斯坦福推出可解释AI新方法,揭秘图像分类器到底是如何工作的

当 AI 系统变得越来越益复杂,它的可解释性通常会变得越来越差。不过业内已经涌现了不少研究成果来挑战这个难题,比如 Facebook 的研究人员推出了Captum库,该库可以解释基于深度学习框架 PyTorch 的神经网络是如何做决定的,同类型的研究还有 IBM 的AI Explainability 360工具包和 Microsoft 的InterpretML。为了使 AI 的决策更加透明,来自 Google 和 Stanford 的团队最近开发了一种新的机器学习模型:Automated Concept-based Explanation(ACE),该模型可以自动提取用来预测模型且“对人类有意义”的视觉概念。



Google 的 ACE 模型能够区分出影响图像分类器决策的不同特征。


研究人员在近日发布的论文中对这项工作进行了详细的说明。他们认为,当前大多数机器学习解释方法为了评估不同特征(例如像素、超像素、词向量)对目标模型的重要性,会对各个特征做一些修改。这种方法并不完善,即使输入出现非常微小的变化,它也很容易受到攻击。


相比之下,ACE 在提取概念并确定每个概念的重要性之前,通过将经过训练的分类器和同一分类中的一组图像作为输入来识别更高级别的概念。具体来说,ACE 将具不同分辨率的图像进行分割,从而捕获不同的纹理、物体部分和物体,然后再将相似的分割片段分组,作为同一概念的示例,最终返回对决策最重要的概念。



对于三种不同的 ImageNet 分类,ACE 的输出结果。


为了测试 ACE 的鲁棒性,该团队使用 Google 的 Inception-V3 图像分类器模型在 ImageNet 数据集上进行训练,并从数据集的 1,000 个类别中选择了 100 个类别的子集来应用 ACE。


测试结果表明,被 ACE 模型标记为重要的概念倾向于遵循人类的直觉,例如,对于警车的图像分类器来说,执法徽标比地面上的沥青更重要。但是,情况并非总是如此。在另一个例子里,对于预测篮球图像的分类器来说,最重要的概念是球员的球衣而不是篮球本身;而当对旋转木马做分类的时候,木马上的灯光比座位和竖杆更可能影响分类的结果。


当然,目前 ACE 还远远不够完美,它难以有效地提取异常复杂或困难的概念。但是研究人员认为,这一研究提出了模型学习关联性的新方法,可能会让机器学习的使用变得更加安全。


“我们通过人类实验验证了这个方法的意义和一致性,并进一步验证了它确实对于模型预测有重要意义。[我们的]方法能够自动将输入的特征分组为高级概念;这些概念作为连续的示例出现,对于正确预测图像中存在的物体非常重要。”研究人员表示。


2019-10-15 12:371749
用户头像
蔡芳芳 InfoQ主编

发布了 804 篇内容, 共 578.5 次阅读, 收获喜欢 2801 次。

关注

评论

发布
暂无评论
发现更多内容

结合融云 WebSDK 了解 WebSocket 基本原理

融云 RongCloud

融云 IM 那些事儿

融云 RongCloud

集成融云 IM 问题总结

融云 RongCloud

图片社区类APP增加评论表情包功能

🙈🙈🙈

极客大学产品经理训练营

重来:更为简单有效的商业逻辑

张老蔫

28天写作

作业5-待完成

YING꯭YING

融云 Web SDK 删除历史消息

融云 RongCloud

使用融云 Web SDK 撤回消息

融云 RongCloud

融云 AMR(Aduio) 播放 AMR 格式 Base64 码音频

融云 RongCloud

(28DW-S8-Day25) 用流程重新定义职位

mtfelix

28天写作

《MySQL》系列 - 小胖要的 MySQL 索引详解(附 20 张图解)

一个优秀的废人

Java MySQL 数据库 索引 B+树

平安智慧社区解决方案,平安社区综合管理平台

13530558032

提醒小程序的产品文档——大作业心得总结

小匚

产品经理 随笔杂谈 产品经理训练营 极客大学产品经理训练营

通过融云 WebSDK 简单了解 WebSocket

融云 RongCloud

有感于最近的一些事件

ES_her0

28天写作 3月日更

集成融云小程序 SDK 遇到的问题

融云 RongCloud

融云 Web 播放声音(AMR 、WAVE)

融云 RongCloud

最高法两会报告聚焦区块链惩治抄袭,区块链在保护网络著作权方面如何作为?

CECBC

法律

什么是 Git? - 探索分布式版本控制工具

码语者

git DevOps

融云发送语音消息

融云 RongCloud

SDK 兼容 JSON

融云 RongCloud

融云 Web 播放声音 — Flash 篇 (播放 AMR、WAV)

融云 RongCloud

融云 IM SDK 发送语音消息

融云 RongCloud

产品经理训练营——大作业

产品经理训练营

区块链版权保护平台--催生版权保护新格局

13530558032

融云 CallLib 集成遇到的问题

融云 RongCloud

加快数字化发展 建设数字中国

CECBC

大数据

融云 Web SDK 如何实现只有一个设备登入

融云 RongCloud

集成融云 Web 音视频通话踩坑之旅

融云 RongCloud

区块链如何走向云端?

CECBC

云技术

中关村软件园与百度飞桨启动AI人才培养计划:AI发展,人才先行

百度大脑

人工智能 百度 人才培养

谷歌联合斯坦福推出可解释AI新方法,揭秘图像分类器到底是如何工作的_AI&大模型_蔡芳芳_InfoQ精选文章