写点什么

语义搜索数据处理,统计重要,模型重要?

  • 2012-08-26
  • 本文字数:1558 字

    阅读完需:约 5 分钟

在 InfoQ 前不久主办的 ArchSummit 全球架构师峰会上,搜狗搜索事业部总经理茹立云做了关于“深层网络搜索核心技术研讨”的演讲,期望解决数据量百倍于表层网络的深层网络(暗网)搜索问题。而昨天,他的一篇旧微博在被多次转发后,又引发了大量讨论,大家就数据处理方式应该重统计还是重模型各抒己见。这条微博的内容是:

语义搜索时代的到来:谷歌推出知识图谱功能,百度结合框计算和百科数据挖掘也正在构建庞大的知识库,预计也会很快推出,而搜狗的本体库也在构建中。搜索将能直接给出解答而不是一段摘要,同时大规模知识库的构建和使用,让搜索行业的门槛越来越高。

搜狗的高级经理张阔指出:

记得我读博士的前两年研究方向就是语义网,但我在第三年转回了传统 ir,因为当时的主要矛盾还在传统的关键词匹配或基于统计的语义搜索上。很多年过去后,当传统 ir 越来越成熟、也逐渐出现瓶颈后,语义网已经可以作为一个不容忽视的补充了。

齐泉–自由的遛遛提到:

基于各种形态 / 各种表述能力的知识的提出,积累是支撑信息理解能力前进的基础。各个公司,各方的研究人员都在这个方向上前进。

中囯中文信息学会常务理事白硕指出:

半结构化的标注数据目前只能通过人肉获得。大公司也罢乌合之众也罢都只能如此。大公司的好处是执行力强,逮住一个标准就死命走下去。乌合之众想就标准达成一致,必须有个 linus 那样神一样的核心人物,否则一定会作鸟兽散。如果 NLP 能上个台阶,让这事儿可以用机器做,就好玩了。

WIKI 是给人看的,人能看懂就行,不需要对标准太在意。但是如果是给机器看的,就必须严格规定标准。但是标准背后是模型,是对知识表示的理解。模型是有高下之分的。

这个问题,不可能过于理想,也不能过于拘泥于现在看得到的资源动员能力。认准一个有价值的领域,认准一个能力有限但应用有效的模型,就可以干下去,更别说现在又有众包这样大规模动员人肉资源的能力了。

模型是有高下之分的。现在让统计来一统天下,简直是恶梦。

清华大学计算机系教授马少平认为:

MIT 的几位大佬认为统计是 AI 误入歧途,不过我并不赞同这个观点。统计至少是途径之一,而且现在看来是有效的。

而白硕的回复是:

我也不认为是误入歧途,而是在简单的问题空间停留时间太长了。统计之所以有效恰恰是因为问题空间简单。只要把目光转向复杂一点的问题空间,统计立马暴露出能力不足。

工具的背后一定有个知识表示的框架模型,这个模型的高下,决定未来的成败。模型之间可否互相转换,决定了未来有没有世界大同。

他又延伸道:

很多搞规则的人不懂得分层近似。萝卜快了不洗泥的一级近似也是大锤。大锤对样本的覆盖程度,有的也可以做到事后追究有概率垫底,但大锤本身未必一定包含概率统计内容。这是不同的两件事。事后用概率解释和当场算概率,是不同的。现在有点狭隘地带着前者的帽子强推后者。这不是必然的。

自然语言文本作为知识库,最要害的问题不在于知识的检索,而在于知识的应用。比如我忘了某个公式,检索它其实是想套用它;我忘了某部文学作品的作者是谁,检索它是为了能在自己的文章里正确地引用它。这些东西活了,网络才真正成为知识库。

IBM 中国研究院的专家潘越提出:

但另一方面规则和逻辑的方法没有大规模的成功。套用 @梁斌 penny 的围棋比喻,还是要看谁在占大场,然后才比局部。

梁斌是清华的博士,他这样阐述他的围棋比喻:

统计粗且糙,乃大锤。规则细而精,乃小锤。先大场后细棋。

机器学习方面的专家张栋提供了一篇参考文档:

“Semantic Search & Knowledge Graph” 是搜索引擎面临的挑战之一:Google 收购 Metaweb 公司,获得了其庞大的数据库,其汇集了各种各样的事物,属性,以及之间的关系等 … 一篇 Semantic Search 的 Survey 在 http://t.cn/zWmHzYy

目前,这篇微博已经有 397 次转发,55 次评论,如果希望了解最新讨论动态,读者不妨直接到相关页面查看。

2012-08-26 21:002442
用户头像

发布了 479 篇内容, 共 167.0 次阅读, 收获喜欢 52 次。

关注

评论

发布
暂无评论
发现更多内容

分享一些常用的开源博客社区网站

兮动人

博客 开源社区

企业号 8 月 PK 榜,火热开启!

InfoQ写作社区官方

热门活动 企业号 8 月 PK 榜

面试官:说出 Java 中的 7 种重试机制

java易二三

编程 程序员 面试 计算机

特性快闪:使用 Databend 玩转 Iceberg

Databend

解析游戏陪练app源码的开发与意义

山东布谷网络科技

游戏 开源代码 APP软件开发

【华秋干货铺】一文轻松搞定PCB叠层和阻抗设计

华秋电子

7月征文活动结果出炉,快来看看有没有你

InfoQ写作社区官方

热门活动 年中技术盘点

直播平台源码开发,信息收发功能搭建

山东布谷科技

软件开发 直播 源码搭建 消息发送 直播平台源码

Spring AOP 中的代理对象是怎么创建出来的?

江南一点雨

Java spring

细数不懂Spring底层原理带来的伤与痛

java易二三

spring 程序员 Spring Boot 计算机 底层原理

零信任体系化能力建设(1):身份可信与访问管理

权说安全

Android 架构模式如何选择

vivo互联网技术

mvc Compose MVVM 解耦 MVI

【实践篇】最全的【DDD领域建模】小白学习手册(文末附资料) | 京东云技术团队

京东科技开发者

架构 DDD 领域建模 企业号 7 月 PK 榜

这次是运行在 Intel AIxBoard™ 开发板上的 TDengine 预测“未来”

爱倒腾的程序员

探索Linux命名空间和控制组:实现资源隔离与管理的双重利器

柠檬汁Code(binbin0325)

Linux 容器 namespace 底层原理 Cgroups

2023 云原生编程挑战赛火热报名中!导师解析 Serverless 冷启动赛题

阿里巴巴云原生

阿里云 Serverless 云原生

在 Go 语言单元测试中如何解决 MySQL 存储依赖问题

江湖十年

golang Web 后端 单元测试 测试 单元测试

RLHF 技术:如何能更有效?又有何局限性?

Baihai IDP

人工智能 强化学习 白海科技 RLHF 大语言模型

飞桨AI Studio可以玩多模态了?MiniGPT4实战演练!

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨 百度飞桨

未来前端框架将持续推进组件化开发

没有用户名丶

火山引擎AB测试:广告实验深度打通巨量引擎,高效测试广告素材

字节跳动数据平台

大数据 A/B测试 对比试验 企业号 7 月 PK 榜 数字化增长

工赋开发者社区 | 面向CPS的制造执行系统(MES)实验平台验证

工赋开发者社区

工赋开发者社区 | 复杂电子装备制造数字化工厂实现逻辑与实施步骤

工赋开发者社区

如何为Spring和Mybatis增加可逆计算支持

canonical

Spring Boot mybatis 低代码 可逆计算 Nop平台

TypeScript 玩转类型操作之字符串处理能力

小乌龟快跑

typescript 面试 前端

竞速榜实时离线对数方案演进介绍 | 京东云技术团队

京东科技开发者

实时数据 企业号 7 月 PK 榜 竞速榜 离线数据

语义搜索数据处理,统计重要,模型重要?_架构_郑柯_InfoQ精选文章