FinOps有望降低企业50%+的云成本! 了解详情
写点什么

从 BAT 到 TMD,现在国内外一线架构师都在做什么?

  • 2018-04-19
  • 本文字数:3462 字

    阅读完需:约 11 分钟

最近几年,耳熟能详的"BAT"都在大谈基础设施转型,例如百度的 Apollo 自动驾驶平台,例如提供计算和数据处理能力的阿里云,例如定位为合作伙伴提供连接一切能力的微信。但当看似“BAT”的体量与技术能力达到了中国互联网的上限时,后起之秀如"TMD"(头条美团滴滴)以各自深耕多年的技术底蕴和业务体系也成了一方巨擘。

国外呢?近期 Apple 在西雅图扩展机器学习中心, Google DeepMind 在欧洲开设了第一个研究基础 AI 的实验室,而 Facebook ,听证会上的扎克伯格宣布会开发更多的人工智能工具,帮助消除歧视与假新闻等等。

可以看出无论国内还是国外,大企业的技术实践难度都在扩大,而时代的快速发展也不断地倒逼技术人去摸索和实践,具体在做什么,聚焦在架构上,我们以 ArchSummit 深圳站 的分享为例:

Google:推荐系统、Go 语言、TensorFlow

ArchSummit 深圳站邀请了 Google 研究院资深研发工程师 Dekun Zou,以及 Go 项目组战略及产品负责人Steve Francia前来分享。

深度学习在大规模推荐系统中的应用与 TensorFlow 最佳实践

Dekun Zou 届时有两场分享,作为 Android 应用商店、Google 广告排名等基于深度神经网络推荐系统的负责人,会由浅入深介绍如何构建基于深度学习的推荐系统,以及分享 TensorFlow 的最佳实践,其中推荐系统分享简要大纲如下:

  • 信号类别分类:场景信号、用户信号、物件信号
  • 两步定制化推荐:深度挖掘、生成候选人列表、混合人工生成的候选人、最终排序
  • 选择模型训练模式:离线、在线
  • user vector, item vector
  • 损失函数的构造

Go,一个正在全球化的现象

在全球范围内,拥抱 Go 语言的开发者越来越多,Go 语言的爱好者人数已经超过一百万,并正在呈指数级增长。而且,当今多数流行的开源项目都是用 Go 语言构建的,例如 Kubernetes, Hugo 和 Docker。

对于目前很受关注的云计算公司如 Microsoft、Google、Dropbox 等来说,Go 语言同样至关重要。此外,Go 还在很多跨领域方面提供创新机会。

本次 Steve Francia 的分享会简单介绍 Go 语言的历史,快速发展的推动力,以及未来 Go 语言会有哪些新动作和方向的内容。

Facebook:信息安全和商业诚信、大规模时空数据处理

ArchSummit 深圳站邀请了 Facebook Business Integrity 机器学习团队和机器平台架构团队负责人徐斌,以及 GeoAPI 组技术领导宾理涵前来分享。

机器学习技术在安全性和完整性方面的探索

信息安全和商业诚信问题不断增加,Facebook 面对每天超过PB 级的不平衡和模糊大数据,实时机器学习和解决方案面临着巨大的挑战。这样的要求在各个领域越来越多,促发了许多突破性的研究成果和应用。

徐斌会在分享过程中快速浏览一些安全问题,然后讲述机器学习平台建设,重点讲解当下棘手问题的相关先进技术和解决方案,以及真实的应用效果。最后会分享几个最近机器学习在安全应用上的特别案例。

万亿级混合复杂时空数据的处理决策

大规模空间数据除了在规模上的挑战以外,还有独特的问题需要解决:例如经纬度,直线距离和弧面距离的区别,以及同样的经纬度差在两极和赤道的面积差等。这些特性既是挑战也是性能优化上的机遇。

随着越来越多的移动设备、物联网设备产生海量的时空数据,如何有效存储、检索、实时的 k-nearest 查询、关联性排序,如何高效地解决在离线大规模空间数据分析中常用到的 Spatial Join 都是要解决的问题。

Facebook Location Infrastructure 团队处理大规模时空数据过程中,在内部技术和开源技术之间采取折中而务实的办法。宾理涵将会分享涵盖经过验证的,在处理每天万亿级混合复杂操作的时空数据背后的多个设计决策,和架构选型内容(包括在线和面向分析的用户案例)。

Netflix、IBM 微服务最佳实践

ArchSummit 深圳站邀请了 Netflix 首席软件工程师Yunong Xiao,以及 IBM 高级委员会成员、Istio 核心贡献者Lin Sun前来分享。

Netflix:FaaS 最佳实践

FaaS 变革像风暴一般拓展到全球。事实上,因为企业都喜欢 FaaS 所带来的 No-Ops,或者说在工程效率上的突出表现。所以,FaaS 所带来的变革可以在一线开发者领域迅速扩展,能够帮助工程师们更快速的将代码部署到产品上。

在 Netflix,这些功能特性对于 Netflix API 平台来说简直是完美符合,工程师们用 JavaScript 来写代码并部署到 tier-1 服务层,整个过程不是完全必须要去管理基础架构设施或者运维。

然而,还是有很多权衡之处需要考虑,传统的 FaaS 理念或者做法在今天看来,更适合那些对延迟要求不高的任务。但是,对于延迟很敏感,对可靠性以及可弹性扩展要求较高的任务来说,FaaS 还需要再优化。

Yunong Xiao 将会介绍 Netflix FaaS 平台的架构和内部构成,帮助各位在 FaaS 基础上可以很好地将功能部署成为隔离、可靠、低延时的产品服务。

Istio- 构造、守护、监控微服务的守护神

Istio 作为用于微服务服务聚合层管理的新锐项目,是 Google、IBM、Lyft 首个共同联合开源的项目,提供了统一的连接,安全,管理和监控微服务的方案。

Istio 将流量管理添加到微服务中,并为增值功能(如安全性,监控,路由,连接管理和策略)创造了基础,称之为 Service-Mesh(服务网格)。

Lin Sun 会讲解 Service-Mesh 如何帮助微服务项目进行过渡,如何授权给运维团队,如何采用安全的最佳实践等等,同时也会分享 Istio 项目的进展和生态效果。

image

一些核心架构分享:微信、菜鸟、滴滴

这里简单介绍微信、菜鸟、滴滴等资深架构师的现场分享。

微信百亿消息万级机器背后的管理者 Yard 平台

微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。

与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。

腾讯微信技术架构部专家工程师文杰将阐述微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

菜鸟网络下一代分布式体系架构的理念与演进

黄浩,目前是阿里巴巴资深技术专家,17 年工作经验,TOGAF 认证架构师,菜鸟程序员联合会首任主席,现为菜鸟仓储技术部及自动化技术团队负责人。

黄浩将前来 ArchSummit 与大家全面回顾一二十年来整个分布式系统架构的演进(从 C/S-B/S- 分布式系统 - 网格计算 - 云计算,包括目标、定位、场景).

另外还会介绍菜鸟下一代分布式系统架构如何设计规划,结合传统云计算 PaaS/BaaS 以及边缘计算,如何应用在全球多域体系,简易提纲:

  • 二十年来分布式系统架构的发展与优劣势对比
  • 目前主流分布式架构体系的构成域思考
  • 菜鸟乃至阿里巴巴系统架构面临的问题与下一步的思考
  • 下一代分布式系统架构的设计理念、核心构成与关键技术挑战
  • 菜鸟的实践-全球多域基于混合云的分布式系统架构

滴滴出行平台地图引擎架构实践和 AI 技术应用

滴滴已成为日成交订单千万量级的全球最大出行平台,作为中台三个最核心引擎之一的地图引擎是整个平台的基石,重度参与了线上业务流程的几乎每一个环节。业务要求赋予了滴滴地图超出传统地图之外的新使命:除确保导航、底图展示等功能体验外,还需要通过与接驾、派单、预估价等业务场景结合并精细打磨带来平台整体效率的提升。

本次滴滴地图事业部高级专家朱智青将会阐述在滴滴当下的业务场景中地图的核心价值,同时重点介绍在服务迭代过程中面对的全新技术挑战(业务高性能要求与严苛的效果约束,经典地图算法与 AI 的结合等),以及在挑战下滴滴地图团队做出的努力和取得的成果。通过本次分享,大家会对出行场景中的地图服务有一个系统认识,并拥有一些技术领域交叉的思路。


更多国内外架构实践,点击了解全部

除上述分享之外,ArchSummit 深圳站还有诸多国内外架构分享:

  • 腾讯:QUIC 协议在腾讯的实践和优化
  • 阿里:使用标准的 ANSI SQL 驱动大数据流计算
  • 华为:边缘计算 IoT 云服务应用实践
  • 微博:AI 时代精准的个性化推荐
  • 唯品会:统一检索平台的演进和探索
  • 今日头条:大型直播互动系统的设计与实践
  • 微众银行:金融业务中区块链技术架构解析
  • 菜鸟网络:全球跨域 RPC 架构设计
  • 网易严选:售后服务架构演变实践
  • eBay:QE 团队向工程效率团队转型的实践之路
  • Pinterest:大数据平台的过去与未来
  • 前 Tesla 深度深度学习负责人:自动驾驶中的计算机视觉技术

目前 ArchSummit 限时 8 折报名,可联系票务 小助手豆包 获取更多优惠(微信:aschina666,或致电 010-84780850)。

image

2018-04-19 07:109061

评论

发布
暂无评论
发现更多内容

龙蜥产品生态总监做客 InfoQ:后 CentOS 时代,国产操作系统能否扛起大旗?

OpenAnolis小助手

centos InfoQ 迁移 国产操作系统 龙蜥社区

骨灰级技术大牛左耳朵耗子(陈皓)突发心梗离世。

福大大架构师每日一题

福大大

如何使用Go语言实现ISP原则

Jack

PoseiSwap缘何成DEX赛道新宠?POSE价值分析

西柚子

PoseiSwap缘何成DEX赛道新宠?POSE价值分析

EOSdreamer111

MySQL 8.0不再担心被垃圾SQL搞爆内存

GreatSQL

MySQL MySQL 数据库 greatsql greatsql社区

面试官:断网了,还能 ping 通 127.0.0.1 吗?

Java你猿哥

Java 架构 ssm ping

Django笔记二十九之中间件介绍

Hunter熊

Python django 中间件 middleware

首个支持RWA交易的订单簿DEX-PoseiSwap,即将开启IEO

BlockChain先知

PoseiSwap缘何成DEX赛道新宠?POSE价值分析

股市老人

Java字节码 - ByteBuddy原理与使用(下)

骑牛上青山

Java bytebuddy 字节码

解密 Golang 哈希算法:深入了解 MD5、SHA-1 和 SHA-256

Java你猿哥

Java golang 算法 哈希算法 Go 语言

Nautilus Chain 或成未来最好的链上隐私生态

EOSdreamer111

首个支持RWA交易的订单簿DEX-PoseiSwap,即将开启IEO

西柚子

大数据之光:Apache Spark 实用指南 大数据实战详解【上进小菜猪大数据】

上进小菜猪

上进小菜猪

Java数据库项目之满汉楼

timerring

Java

Java字节码 - ByteBuddy原理与使用(上)

骑牛上青山

Java JVM bytebuddy 字节码

局域网内使用的多人协同编辑文档的软件哪个好?对比5款主流平台

PingCode

Confluence PingCode 文档管理工具

Nautilus Chain 或成未来最好的链上隐私生态

鳄鱼视界

2023-05-15:对于某些非负整数 k ,如果交换 s1 中两个字母的位置恰好 k 次, 能够使结果字符串等于 s2 ,则认为字符串 s1 和 s2 的 相似度为 k。 给你两个字母异位词 s1

福大大架构师每日一题

Go 算法 rust 福大大

在 Python 中如何使用并发模型编程

江湖十年

Python 并发编程 多线程 协程 多进程

对不起,您的访问次数已用尽!

为自己带盐

.net core 限流 AspNetCoreRateLimit

首个支持RWA交易的订单簿DEX-PoseiSwap,即将开启IEO

EOSdreamer111

PoseiSwap缘何成DEX赛道新宠?POSE价值分析

石头财经

Nautilus Chain 或成未来最好的链上隐私生态

股市老人

首个支持RWA交易的订单簿DEX-PoseiSwap,即将开启IEO

石头财经

古鱼、恐龙和大众,相逢在百度百科的“彩虹桥”

脑极体

百科

Last Week in Milvus

Zilliz

非结构化数据 Milvus Zilliz 向量数据库

首个支持RWA交易的订单簿DEX-PoseiSwap,即将开启IEO

股市老人

C语言编程-基本语法

向阳逐梦

Nest.js JWT 验证授权管理

程序员海军

Node JWT nest

  • 需要帮助,请添加网站小助手,进入 InfoQ 技术交流群
从BAT到TMD,现在国内外一线架构师都在做什么?_架构_David_InfoQ精选文章