写点什么

关注数据:百度首届技术沙龙总结 (含资料下载)

  • 2010-04-13
  • 本文字数:1477 字

    阅读完需:约 5 分钟

4 月 10 日 InfoQ 中文站和百度合作举办了首届百度技术沙龙,邀请了百度 Web 开发高级工程师和豆瓣网系统程序员刘洪清分享了他们对数据交互的理解,本文简单总结了他们演讲的内容并提供了演讲资料下载。更多图文报道请参见百度技术沙龙专题

据介绍,这次是百度第一次深入社区,通过线下活动的形式和业界技术人员交流。从整个活动的策划和准备,可以看出百度已经将与社区的交流提上了议事日程。在和百度讲师黄方荣、百度产品市场经理郑昊的沟通中,他们也提到虽然百度内部经常有类似的交流活动,但和外界的交流还是比较少,这次活动是一次尝试,如果效果不错,以后会继续和 InfoQ 联合举办类似的活动。

在黄方荣的演讲中,他主要介绍了数据在 Web 发展中的重要性,即“数据交互推动着 Web 的发展”,介绍的内容点包括:

  • Server 数据推送
  • 域服务器数据交互
  • 异域网面跨帧数据交互
  • 客户端网页跨浏览器数据交互
  • 数据的压缩处理
  • WEB 前后端交互的数据格式
  • 数据交互推动着 WEB 的发展

在每个技术点中,黄方荣都列举了多个解决方案进行类比。比如在介绍 Server 数据推送时,他提到了轮询、长连接、伪长连接等不同的应用及各自特点。而对于数据的压缩处理,他则介绍了 YUI Compressor 和 GZIP 不同的应用场景。最后,他总结说在 Web2.0 时代,Ajax 大行其道,为网站提供了酷炫的交互界面,而在 Web3.0 时代,数据的交互将会更加人性化和简便。根据与会者的反馈,美中不足的是黄方荣在介绍数据交互的应用场景时,并没有比较多地涉及这些技术是如何在百度产品上使用的,这让许多慕名而来的技术人员有些失望。

刘洪清是豆瓣网的系统程序员,同时也是豆瓣开源数据存储系统 BeansDB ,这次他主要介绍了如何应用 BeansDB 来解决三千多万豆瓣用户持续增长的数据需求。豆瓣现在有超过 3800 万的用户,有 15 万个小组,430 万条目,300 万评论等,换算成后台的数据,则是 200G 结构化数据,800G 文本数据,10T 图片,6T 音乐等等。要保证这些数据 24 小时的稳定性,安全性和可用性,并不是一件易事。豆瓣采取的措施就是将数据进行分类,比如将用户信息、好友关系等归为结构化数据类型,将文本内容、图片等归为小文件类型,而日志和备份数据归为大文件类型。然后采用不同的技术来解决问题,比如结构化数据用 MySQL,小文件用 BeansDB,大文件用 MooseFS 等。

在问答环节,有读者对豆瓣广播的实现方式很感兴趣,刘洪清介绍说:

豆瓣的广播跟 twitter 等微博客收件箱的实现思路不太一样,是只保持一分广播副本, 在用户浏览的时候实时合并,依靠精巧的缓存和数据流设计,能够在用户可接受的时间范围内完成复杂的广播合并。这种方式可以大大减少数据库中的数据量和压力, 也与我们产品的某些特性配合得比较好。这种实现方式可行的前提是,用户的关注数是有限的,一般在一百左右,对社会网络的相关研究也是类似的结论。

对于 MySQL 的双 Master 如何实现,以及如何避免诸如自增 ID 等可能的数据冲突等问题,刘洪清也介绍了豆瓣的做法:

豆瓣目前的双 Master 主要是处于切换的便利性考虑,数据读写方面其实是 Master-Slave 结构,通过运维的方式来控制,同时只有一个 Master 是可写的,比如修改帐号权限等,这样就没有数据冲突的问题了。

本次百度技术沙龙的演讲资料现在已经可以下载,链接为: Web 数据交互的艺术、豆瓣数据存储实践资料下载

本次活动原计划 80 人到场,结果有 400 多人报名,近 300 人到场,组织者不得不加急调整了一个大的会议室人到场。有读者开玩笑说,百度在开拓技术社区方面开了个头彩。我们也希望类似百度这样的国内大公司能够更多地关注社区,和社区分享他们的开发经验,让信息在社区内流动起来。

2010-04-13 23:148481

评论

发布
暂无评论
发现更多内容

技术干货丨Inspire Cast 如何避免自动网格划分失败?

Altair RapidMiner

人工智能 仿真 智能制造 altair Inspire

牛客网Java面试题及答案整理(2024年最新版,持续更新)

采菊东篱下

编程 java面试

甘特图与项目管理:深入了解两种项目管理方式

爱吃小舅的鱼

项目管理 甘特图

掌握项目管理的流程:实现项目目标的系统步骤

爱吃小舅的鱼

项目管理流程

SpringBoot实战:AI大模型+亮数据代理高效获取视频资源

阿Q说代码

智能助手 AI模型 spring-boot

CentOS安装mariadb

百度搜索:蓝易云

深入了解测试开发与DevOps体系

测试人

软件测试

StarRocks Summit Asia 2024 全部议程公布!

StarRocks

14.策略者模式设计思想

杨充

简单聊聊微前端

快乐非自愿限量之名

前端

浅谈低代码平台助力企业数字化转型

EquatorCoco

低代码

哪些项目管理工具最适合远程团队?10款推荐

爱吃小舅的鱼

项目管理工具

从 Beacon Chain 到 Beam Chain,速读 Justin 的以太坊共识层新提案

TechubNews

CCF - 网易雷火基金项目成果:基于大小模型协同的低资源标注技术|CNCC 2024 演讲实录

网易伏羲

人工智能 网易伏羲 cncc

5.7 与 8.0 对相同文件的 LOAD DATA 语句结果不同

GreatSQL

数据库

框图是什么,如何制作?10个框图模板推荐!

职场工具箱

职场 IT 在线白板 绘图软件 线框图软件

鸿蒙NEXT应用示例:切换图片动画

zhongcx

鸿蒙

为什么DDoS攻击如此普遍?

网络安全服务

黑客 流量 DDoS AI人工智能 DDoS 攻击

如何快速开发一款AI小程序?基于微信云开发的实战指南

申公豹

小程序

「人眼视觉不再是视频消费的唯一形式」丨智能编解码和 AI 视频生成专场回顾@RTE2024

声网

Kubernetes的重要概念

百度搜索:蓝易云

编译Redis时报错: jemalloc/jemalloc.h: No such file or directory

百度搜索:蓝易云

微短剧出海大升级:窄带高清降本,极致播放体验,海外合规更安心

阿里云视频云

人工智能 AIGC 窄带高清 视频翻译 短剧出海

苹果电脑可以玩《GTA5》吗?MacBook玩GTA5教程

阿拉灯神丁

游戏 MacBook gta5 苹果电脑 CrossOver Mac下载

Java使用HttpClient实现远程服务调用

百度搜索:蓝易云

Greptime 空降深圳|「从云原生到 AI 时代,全栈可观测性的实践与演进」 Meetup 圆满结束

Greptime 格睿科技

云原生 活动 可观测

微博热搜榜数据:免费API调用与市场洞察

幂简集成

API 微博热搜 微博

鸿蒙NEXT开发案例:年龄计算

zhongcx

鸿蒙

鸿蒙Navigation入门使用

龙儿筝

鸿蒙

Hi,认识一下!斑头雁「Yeah客服」来了

BetterYeah AI

人工智能 AI agent 企业 AI 应用 Agent智能体

springboot redisTemplate.opsForValue().setIfAbsent返回null原理

百度搜索:蓝易云

关注数据:百度首届技术沙龙总结(含资料下载)_数据库_霍太稳@极客邦科技_InfoQ精选文章