AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

Pallas-- 唯品会统一检索平台的演进和探索

  • 2019-09-14
  • 本文字数:916 字

    阅读完需:约 3 分钟

Pallas--唯品会统一检索平台的演进和探索

ArchSummit深圳2018大会上,薛珂讲师做了《Pallas–唯品会统一检索平台的演进和探索》主题演讲,主要内容如下。


演讲简介


电商系统存在大量适用于“检索”的场景,比如商品搜索、订单搜索、分表分库检索、慢查询替代,ElasticSearch 作为优秀的开源检索引擎,但是接入、管理、运维成本高昂。


如何有效地管理大规模 ElasticSearch 集群,降低接入门槛;如何将不同数据源同步到检索引擎,并保证数据一致性;如何实现跨 IDC 高可用,无人值守升级,在线性能调优,并做到统一监控告警、平滑扩容、检索服务治理(超时,重试,路由,鉴权,限流,隔离)等等,这些问题的探索和解决,最终形成了唯品会统一检索平台 Pallas。


本次分享将带来唯品会在统一检索平台建设过程中对这些问题的思考、解决思路,以及踩过的坑。

演讲提纲

一、问题的提出


  • 检索平台典型场景

  • ElasticSearch 优势缺陷分析

  • 业务团队痛点

  • 运维痛点


二、统一检索平台全面剖析


  1. 总体架构介绍

  2. Search 代理层核心问题及解决思路:

  3. ES 检索服务如何实现同城/异地多活

  4. 大集群、小集群如何取舍,公共集群如何实现业务隔离

  5. 检索服务治理之鉴权,限流,超时,重试的实现方案

  6. 索引数据同步若干关键技术和架构:

  7. E 索引数据同步方案架构

  8. E 如何保证数据一致性、正确性、实时性

  9. E 如何将多个数据源汇聚至单一索引

  10. 平台管理核心问题分析及黑科技:

  11. EES 管理工具推荐和整合

  12. E 如何管理动态模板,简化使用门槛


三、检索性能调优的方法和干货分享


四、ES 插件动态方案实现原理及黑科技:


如何做到无人值守升级,降低 ES 运维成本


五、Pallas 成果及 2018 规划

听众受益

  • 了解检索平台的适用场景和选型建议;

  • 获得 ElasticSearch 检索性能调优的一些经验分享;

  • 听众自行搭建检索平台可能遇到的问题及解决思路。


讲师介绍


薛珂


唯品会 高级架构师


互联网技术爱好者,曾参与主导多个大型互联网产品的整体架构;2016 加入唯品会,现任基础架构团队和技术开源委员会核心成员;技术兴趣集中在分布式设计,高可用架构,任务调度,搜索引擎,优雅设计,高性能服务等领域;目前主导唯品会两项基础平台:弹性任务调度平台 Saturn 和统一检索平台 Pallas 的研发,推广以及开源社区的维护。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:111384

评论

发布
暂无评论
发现更多内容

你的聊天室该升级啦!融云平滑迁移方案助你「无感换乘」

融云 RongCloud

通讯

十五年,始吾心

博睿数据

可观测性 智能运维 博睿数据 15周年 品牌历史

京东前端二面常考手写面试题(必备)

helloworld1024fd

JavaScript 前端

墨天轮2022年度数据库获奖名单

墨天轮

数据库 opengauss TiDB oceanbase 国产数据库

Unity 荣膺 2022 鲸鸣奖“影响力出海品牌”及“新势力出海服务商”两项大奖

极客天地

假如面试官要你手写一个promise

helloworld1024fd

JavaScript 前端

技术写作的“坎”

码猿外

程序员 写作

自动化测试工具加入黑科技带来新纪元

石臻臻的杂货铺

人工智能

基于开源IM即时通讯框架MobileIMSDK:RainbowChat-iOS端v6.2版已发布

JackJiang

网络编程 即时通讯 IM

手写一个react,看透react运行机制

goClient1992

React

IoT生态构建:AIoT认证设备中心——实践类

阿里云AIoT

阿里云 物联网 IoT

深入React源码揭开渲染更新流程的面纱

goClient1992

React

云原生消息队列Pulsar浅析——实践类

阿里云AIoT

阿里云 物联网 IoT

深度分析React源码中的合成事件

goClient1992

React

从源码角度看React-Hydrate原理

flyzz177

React

一次配置,设备就可实现毫秒级的全球就近接入——实践类

阿里云AIoT

阿里云 物联网 IoT

架构作业-8

梁山伯

BNB Chain 2023年40佳DAPP评选,Zebec赫然在列

鳄鱼视界

极光笔记 | 极光PUSH服务助力企业提升抢单速度

极光JIGUANG

技术干货 移动推送 智能推送

从recat源码角度看setState流程

flyzz177

React

从react源码看hooks的原理

flyzz177

React

一文读懂Vue开发小程序的技术原理

没有用户名丶

滴滴前端一面常考手写面试题整理

helloworld1024fd

JavaScript 前端

从零手写react-router

helloworld1024fd

JavaScript 前端

从深度学习框架到开发工具,百度飞桨携最新成绩单亮相 GTC

飞桨PaddlePaddle

英伟达 百度飞桨 GTC

OpenMLDB SQL 与标准 SQL 的主要差异

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

DockQuery 天狼 v1.2.0 正式发布

BinTools图尔兹

#数据库

Pallas--唯品会统一检索平台的演进和探索_ArchSummit_薛珂_InfoQ精选文章