QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

语义搜索数据处理,统计重要,模型重要?

  • 2012-08-26
  • 本文字数:1558 字

    阅读完需:约 5 分钟

在 InfoQ 前不久主办的 ArchSummit 全球架构师峰会上,搜狗搜索事业部总经理茹立云做了关于“深层网络搜索核心技术研讨”的演讲,期望解决数据量百倍于表层网络的深层网络(暗网)搜索问题。而昨天,他的一篇旧微博在被多次转发后,又引发了大量讨论,大家就数据处理方式应该重统计还是重模型各抒己见。这条微博的内容是:

语义搜索时代的到来:谷歌推出知识图谱功能,百度结合框计算和百科数据挖掘也正在构建庞大的知识库,预计也会很快推出,而搜狗的本体库也在构建中。搜索将能直接给出解答而不是一段摘要,同时大规模知识库的构建和使用,让搜索行业的门槛越来越高。

搜狗的高级经理张阔指出:

记得我读博士的前两年研究方向就是语义网,但我在第三年转回了传统 ir,因为当时的主要矛盾还在传统的关键词匹配或基于统计的语义搜索上。很多年过去后,当传统 ir 越来越成熟、也逐渐出现瓶颈后,语义网已经可以作为一个不容忽视的补充了。

齐泉–自由的遛遛提到:

基于各种形态 / 各种表述能力的知识的提出,积累是支撑信息理解能力前进的基础。各个公司,各方的研究人员都在这个方向上前进。

中囯中文信息学会常务理事白硕指出:

半结构化的标注数据目前只能通过人肉获得。大公司也罢乌合之众也罢都只能如此。大公司的好处是执行力强,逮住一个标准就死命走下去。乌合之众想就标准达成一致,必须有个 linus 那样神一样的核心人物,否则一定会作鸟兽散。如果 NLP 能上个台阶,让这事儿可以用机器做,就好玩了。

WIKI 是给人看的,人能看懂就行,不需要对标准太在意。但是如果是给机器看的,就必须严格规定标准。但是标准背后是模型,是对知识表示的理解。模型是有高下之分的。

这个问题,不可能过于理想,也不能过于拘泥于现在看得到的资源动员能力。认准一个有价值的领域,认准一个能力有限但应用有效的模型,就可以干下去,更别说现在又有众包这样大规模动员人肉资源的能力了。

模型是有高下之分的。现在让统计来一统天下,简直是恶梦。

清华大学计算机系教授马少平认为:

MIT 的几位大佬认为统计是 AI 误入歧途,不过我并不赞同这个观点。统计至少是途径之一,而且现在看来是有效的。

而白硕的回复是:

我也不认为是误入歧途,而是在简单的问题空间停留时间太长了。统计之所以有效恰恰是因为问题空间简单。只要把目光转向复杂一点的问题空间,统计立马暴露出能力不足。

工具的背后一定有个知识表示的框架模型,这个模型的高下,决定未来的成败。模型之间可否互相转换,决定了未来有没有世界大同。

他又延伸道:

很多搞规则的人不懂得分层近似。萝卜快了不洗泥的一级近似也是大锤。大锤对样本的覆盖程度,有的也可以做到事后追究有概率垫底,但大锤本身未必一定包含概率统计内容。这是不同的两件事。事后用概率解释和当场算概率,是不同的。现在有点狭隘地带着前者的帽子强推后者。这不是必然的。

自然语言文本作为知识库,最要害的问题不在于知识的检索,而在于知识的应用。比如我忘了某个公式,检索它其实是想套用它;我忘了某部文学作品的作者是谁,检索它是为了能在自己的文章里正确地引用它。这些东西活了,网络才真正成为知识库。

IBM 中国研究院的专家潘越提出:

但另一方面规则和逻辑的方法没有大规模的成功。套用 @梁斌 penny 的围棋比喻,还是要看谁在占大场,然后才比局部。

梁斌是清华的博士,他这样阐述他的围棋比喻:

统计粗且糙,乃大锤。规则细而精,乃小锤。先大场后细棋。

机器学习方面的专家张栋提供了一篇参考文档:

“Semantic Search & Knowledge Graph” 是搜索引擎面临的挑战之一:Google 收购 Metaweb 公司,获得了其庞大的数据库,其汇集了各种各样的事物,属性,以及之间的关系等 … 一篇 Semantic Search 的 Survey 在 http://t.cn/zWmHzYy

目前,这篇微博已经有 397 次转发,55 次评论,如果希望了解最新讨论动态,读者不妨直接到相关页面查看。

2012-08-26 21:002410
用户头像

发布了 479 篇内容, 共 165.4 次阅读, 收获喜欢 52 次。

关注

评论

发布
暂无评论
发现更多内容

让企业知识触手可及,乐享基于腾讯云ES的RAG应用实践

腾讯云大数据

ES

软件测试学习笔记丨JUnit5动态测试创建

测试人

软件测试 自动化测试 测试开发 junit5

软件测试学习笔记丨测试开发体系介绍

测试人

软件测试 测试开发

在 KubeSphere 上快速安装和使用 KDP 云原生数据平台

智领云科技

开源 大数据平台 KubeSphere KDP

X-ObjectMount: 对象存储访问接入的新选择

XSKY星辰天合

对象存储 软件定义存储 XSKY

和鲸“101”计划领航!和鲸科技携手北中医,共话医学+AI 实验室建设及创新人才培养

ModelWhale

人工智能 大数据 健康医疗

Mint Blockchain 正式发布 Public Mainnet,面向社区开放网络!

NFT Research

blockchain NFT\ Layer 2

用海外云手机养TikTok账号稳定吗?安全吗?

Ogcloud

云手机 海外云手机 tiktok云手机 云手机海外版 tiktok运营

解决网络问题,多平台同步海外直播带货

Ogcloud

海外直播专线 海外直播 tiktok直播专线 海外直播网络 TikTok跨境直播

中台框架模块开发实践-用 Admin.Core 代码生成器生成通用代码生成器的模块代码

不在线第一只蜗牛

Java 架构 中台架构

数业智能进入全球应用算法模型大赛50强

心大陆多智能体

智能体 AI大模型 心理健康 数字心理

如何通过 1688 商品详情的 API 接口获取商品的详细信息

Noah

简单剖析 HTTP 请求方法

Liam

程序员 前端 Web 后端 HTTP

场景化解决方案|AR远程协作之——远程维修

AR玩家

AR Rokid Vision pro 炬目AR AR远程协作

语义搜索数据处理,统计重要,模型重要?_架构_郑柯_InfoQ精选文章