写点什么

Pallas-- 唯品会统一检索平台的演进和探索

  • 2019-09-14
  • 本文字数:916 字

    阅读完需:约 3 分钟

Pallas--唯品会统一检索平台的演进和探索

ArchSummit深圳2018大会上,薛珂讲师做了《Pallas–唯品会统一检索平台的演进和探索》主题演讲,主要内容如下。


演讲简介


电商系统存在大量适用于“检索”的场景,比如商品搜索、订单搜索、分表分库检索、慢查询替代,ElasticSearch 作为优秀的开源检索引擎,但是接入、管理、运维成本高昂。


如何有效地管理大规模 ElasticSearch 集群,降低接入门槛;如何将不同数据源同步到检索引擎,并保证数据一致性;如何实现跨 IDC 高可用,无人值守升级,在线性能调优,并做到统一监控告警、平滑扩容、检索服务治理(超时,重试,路由,鉴权,限流,隔离)等等,这些问题的探索和解决,最终形成了唯品会统一检索平台 Pallas。


本次分享将带来唯品会在统一检索平台建设过程中对这些问题的思考、解决思路,以及踩过的坑。

演讲提纲

一、问题的提出


  • 检索平台典型场景

  • ElasticSearch 优势缺陷分析

  • 业务团队痛点

  • 运维痛点


二、统一检索平台全面剖析


  1. 总体架构介绍

  2. Search 代理层核心问题及解决思路:

  3. ES 检索服务如何实现同城/异地多活

  4. 大集群、小集群如何取舍,公共集群如何实现业务隔离

  5. 检索服务治理之鉴权,限流,超时,重试的实现方案

  6. 索引数据同步若干关键技术和架构:

  7. E 索引数据同步方案架构

  8. E 如何保证数据一致性、正确性、实时性

  9. E 如何将多个数据源汇聚至单一索引

  10. 平台管理核心问题分析及黑科技:

  11. EES 管理工具推荐和整合

  12. E 如何管理动态模板,简化使用门槛


三、检索性能调优的方法和干货分享


四、ES 插件动态方案实现原理及黑科技:


如何做到无人值守升级,降低 ES 运维成本


五、Pallas 成果及 2018 规划

听众受益

  • 了解检索平台的适用场景和选型建议;

  • 获得 ElasticSearch 检索性能调优的一些经验分享;

  • 听众自行搭建检索平台可能遇到的问题及解决思路。


讲师介绍


薛珂


唯品会 高级架构师


互联网技术爱好者,曾参与主导多个大型互联网产品的整体架构;2016 加入唯品会,现任基础架构团队和技术开源委员会核心成员;技术兴趣集中在分布式设计,高可用架构,任务调度,搜索引擎,优雅设计,高性能服务等领域;目前主导唯品会两项基础平台:弹性任务调度平台 Saturn 和统一检索平台 Pallas 的研发,推广以及开源社区的维护。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:111338

评论

发布
暂无评论
发现更多内容

CEF | CEF浏览器客户端功能扩展:实现与JS交互的功能

YOLO.

qt 10月月更 C++

Windows Server 2008 R2将tomcat添加进系统服务

我爱娃哈哈😍

tomcat windows 服务器运维

OpenYurt v1.0 正式发布!一文了解三大社区 SIG 重点更新

阿里巴巴云原生

阿里云 开源 云原生 openyurt 版本升级

嵌入式 Linux 入门(一、Linux 基本介绍及文件结构)

矜辰所致

Linux 10月月更 文件结构

区服分析丨更透彻的游戏营运数据解读,助力高效增长

HarmonyOS SDK

分析

以开发之名|斗罗大陆:创造一个尽情探险的开放式游戏世界

HarmonyOS SDK

华为 HMS Core

如何利用Java在Word中创建表格

Geek_249eec

Java word 表格

观测云获亚马逊云科技年度 DevOps 合作伙伴奖

观测云

火力全开-Precision 7670触顶性能天花版

科技热闻

MASA MAUI Plugin (四)条形码、二维码扫描功能

MASA技术团队

MASA MAUI MASA Blazor

Qt | QList的removeAt、takeAt的区别

YOLO.

qt 10月月更 C++

Kubernetes 安全专家(CKS)考试技巧

HummerCloud

Kubernetes 云原生 考试经验 CKS 10月月更

软件测试 | 测试开发 | 校招面试真题 | 面试官必问面试题之你有什么想问我的?

测吧(北京)科技有限公司

测试

基金营销存量博弈时代,数字内容小程序化助力破局

Speedoooo

小程序 基金 数字内容 小程序容器 买方投顾

软件测试校招面试真题 | 面试官必问面试题之你有什么想问我的?

测试人

探究线程与进程的区别这一问题

C++后台开发

线程 多线程 进程 linux开发 C++开发

EMQ走进富士康,探讨新生态模式下智能制造与智能汽车基础架构的未来

EMQ映云科技

车联网 物联网 IoT emqx 10月月更

Qt|使用QDialog窗口调用exec时崩溃解决问题

中国好公民st

c++ qt 10月月更

训练营 | 如何成为一名开源社区贡献者?

阿里巴巴云原生

阿里云 开源 云原生 KubeVela

技术贴 | 走进 PostgreSQL 行级安全策略

KaiwuDB

时序 #数据库

数据结构学习,稀疏矩阵(三元组和十字链)

IC00

学习 数据结构 算法 学习笔记 10月月更

C# TreeView控件方法属性学习

IC00

C# 学习 程序员 上位机 10月月更

【云安全】云安全产品有哪些?哪个品牌好?

行云管家

云计算 网络安全 安全 云安全

Linux 各个Namespace 的作用

忙着长大#

linux namespace

峰会回顾 | 基于StarRocks,百草味如何通过数据赋能快消品行业

StarRocks

#数据库

uniapp实现国际化多语言切换

源字节1号

软件开发

校招面试真题 | 和面试官聊的很 high,但就是拿不到 offer,怎么办?

霍格沃兹测试开发学社

如何在 SAP Business Application Studio 里创建 SAP UI5 应用并部署到 BTP 平台上

汪子熙

云原生 云平台 SAP 10月月更

云管理工具是干什么的?有哪些?哪个品牌好?

行云管家

云计算 云管理 云工具

StartDT奇点云邀您参加2022云栖大会,11月3-5日杭州见

奇点云

云栖大会 奇点云

小白必看——台式机选购指南

科技热闻

Pallas--唯品会统一检索平台的演进和探索_ArchSummit_薛珂_InfoQ精选文章