快手、孩子王、华为等专家分享大模型在电商运营、母婴消费、翻译等行业场景的实际应用 了解详情
写点什么

百度技术沙龙第 5 期回顾:现代搜索核心技术(含资料下载)

  • 2010-08-19
  • 本文字数:1564 字

    阅读完需:约 5 分钟

在上周六举行的百度技术沙龙活动上,来自百度搜索技术部的研究员殷庆轩和去哪儿网站的搜索技术负责人何伟平,分享了如何提高搜索引擎的时效性,以及数据库在现代搜索技术中的应用。本文对这次活动的内容做简要总结,并提供了演讲用幻灯片下载

殷庆轩在题为“搜索引擎的时效性需求满足”演讲中,主要介绍了时效性问题的定义、需求分析,以及包括收录、排序和系统等相关的技术点。比如结合当前的热点事件对突发时效性的难点进行了分析,在目前每天全球新增或者修改的网页数量以数十亿为量级的海量数据下,要在几秒或者几分钟内提供准确而详细的信息,是非常困难的。这也就要求搜索引擎具备“全、准、快、新”的特点,其中“全”即对数据的收录详细程度,”准“为对相关数据进行排序,而”快“则是确保系统能够以最快的速度响应用户的需求。现场参会者周志奇对这个话题也做了简单总结:

百度索引中提供检索的数据只有百亿条,而现在每天增加的数据量已是 2-3 亿条,现在每一天增加的数据量是 2003 年一年数据的增长量。对于如此强势的增长,要对数据进行全部索引并在 200-300 个毫秒级返回检索结果几乎是不可能的,所以就要对数据进行优化。 数据是有时效性的,索引可以为分最新最常使用的、不常使用的、很少使用的和很老又不用的等。所以可以多几个索引库,并对数据进行整理,对于时效性不强的可以向后面的索引里转移,检索时对这几个索引并发检索,最后将结果合并后返回用户。对于不用的数据只是一个保存,而不提供检索,或是在检索结果很少的情况下,再多增加一个链接"点击查看更多",点击后就去查找老而全的库。虽然返回时间可能会很长,但是用户体验的感受是不会降低的。

来自去哪儿的工程师和搜索技术负责人何伟平,在活动现场分享了”数据库在现代搜索技术中的应用“。在加入去哪儿之前,何伟平在雅虎中国研发中心从事网页搜索相关工作,并且是 PostgreSQL 数据库研究人员和中文文档维护人员,在数据库技术领域有自己的见解。在他的演讲中,他先是介绍了数据库的演变史,而后重点介绍了数据库和现代搜索的关系,比如 SQL 数据库并没有过时,SQL 数据库也有强大的扩展能力,用好了也可以拥有很好的性能。他也提到对于中等业务规模,访问量也不是非常巨大,而对需求要求灵活的网站,选择 SQL 数据库是比较理想的。在谈到使用 SQL 数据库来做搜索的优缺点时,他提到:

简而言之,用 SQL 数据库来做搜索,其有点是简单、方便、通用,而且易于维护;不足之处是需要比较强的专业知识,而且可能需要额外的编码等。

最后他以下拉提示、相关推荐、站内搜索和垂直引擎等几个案例分享了他对现代搜索技术的看法。在提问环节,有参会者问道”去哪儿网站在抓取航班数据的时候如何确保时效性“,何伟平解释说:

这个问题和刚才百度朋友提到的时效性挺像的,我们最头疼的地方也是时效和 Cache(缓存)之间的关系,我们采取的是比较短的时间 Cache 策略,这是(系统)比较长时间运行出来的经验,一般也就几秒钟就足够了。比如热门的航线,比如京沪,我们几乎是实时地去抓,但也不是真的实时,因为用户的使用习惯是一旦查到一个结果后都会再刷好几次,它刷的这几次就需要坚决地不去影响后面的网站或者航信系统。我们一般是这样考虑的!

也有参会者在会后记录了自己参会的一些感触,比如来自凤凰网的孙立,在他的”实时搜索之微博“博客中提到”这也是我第一次参加 InfoQ 的聚会,感觉非常不错,不但免费,而且内容质量非常高,活动形式也非常的好,不幸的是回来后感冒发烧了。“他还记录了在现场活动的 OpenSpace“每一个人都是讲师”环节自己小组所讨论的主要内容,如果构建一个基于微博的实时搜索系统。网上的一些图文报道见“图文大亮相~~ 百度技术沙龙第 5 期”。

关于两位演讲嘉宾的更多细节内容,请下载他们的演讲幻灯片,随后 InfoQ 中文站还会发布他们的演讲视频,敬请期待。

2010-08-19 00:354981

评论

发布
暂无评论
发现更多内容

2024反电诈重点:打击帮信罪&掩隐罪

芯盾时代

金融 反欺诈

十分不错的乐谱编辑工具Crescendo Music Notation Editor注册版

理理

鸿蒙? 车载?Flutter? React Native? 为什么我劝你三思,说点不一样的

AntDream

flutter 鸿蒙 kotlin React android jetpack

Python数据处理之导入导出excel数据

AntDream

Python 人工智能 大数据 数据分析 数据处理

【CVPR2024】阿里云人工智能平台PAI图像编辑算法论文入选CVPR2024

阿里云大数据AI技术

人工智能 阿里云 算法 CVPR

跨平台的SQL 编辑器、数据库查询工具RazorSQL

理理

GPT-4o 只是对话式 Al 的冰山一角,背后隐藏了哪些新机会?(内含福利) | 编码人声

声网

vm虚拟机破解版下载 VMware Fusion Pro 13完整版图文安装教程

Rose

IBM SPSS Statistics 26 mac完美中文破解资源及详细安装教程

Rose

革命性加密Meme项目 AI PEPE2.0空投预售进入倒计时

科技热闻

人工智能 | 大模型之提示词工程:零样本提示

测试人

人工智能 软件测试 ChatGPT

ON1 Photo RAW 2024 功能强大的RAW照片编辑器 mac软件

理理

Lightroom Classic 2024中文激活版 专业级的照片编辑和管理软件

Rose

IDEA 2023下载安装教程 IntelliJ IDEA 2023 for mac最新永久激活码

Rose

IRC客户端 Textual for Mac v7.2.3免激活版

理理

爆赞!GitHub首本前端开发实战Vue.js3,标星果然百万名不虚传

Geek_12490f

编程 程序员 前端 #Github VUE 3.0 源码解析

TinkerTool System v8.93免激活版 Mac系统维护工具

理理

KeyKey — Typing Practice for mac(易于管理的打字辅导工具)

理理

适用于 Mac 平台的矢量图形编辑软件 Boxy SVG

理理

专为macOS开发的系统还原工具:Deep Freeze mac版

Rose

ON1 Photo RAW MAX 2024 RAW图像编辑器 兼容性更强!

理理

Topaz Video AI下载安装 地表最强视频无损放大修复工具

理理

Android面试题之Kotlin协程一文搞定

AntDream

面试 kotlin 协程 协程原理 android jetpack

win版Enscape (3D渲染器) v4.1特别版

iMac小白

创新探索:数业智能心大陆推出心理评估数据集(MMPsy)

心大陆多智能体

人工智能 AI 大模型 心理健康 数字心理

数字化车间能为工厂带来哪些改变?

万界星空科技

数字化转型 数字化 mes 数字化车间

百度技术沙龙第5期回顾:现代搜索核心技术(含资料下载)_数据库_霍太稳@极客邦科技_InfoQ精选文章