大数据
讲述数据获取、存储、管理、分析的方方面面，关注软件、实践、生态，挖掘最新的前沿技术，同时也思考大数据与AI和云计算的深度结合。
- 全部
- DataOps
- 数据集成
- DataMesh
- 数据编织
- 数据湖仓
- 在离线混部
- 实时计算
- 其他
第二届隐语开源社区嘉年华活动报名开始
探索 AI 时代下，数据要素的无限可能。
揭秘 JDQ 限流架构：实时数据链路的多维动态带宽管控|京东零售技术实践
在数字化转型的浪潮席卷之下，大数据和云计算技术已成为企业创新和发展的关键驱动力。尤其是以京东为代表的电商平台为例，其日常运营中持续生成海量数据，涵盖实时交易记录、点击曝光统计及用户行为轨迹等，这些数据对精准业务决策、深化用户体验优化等方面具有重要意义。
智能体的未来：一家公司只需要一个 CEO？
AI Agent，给了谁新出路？
2024 腾讯云大数据年度干货合集
腾讯云大数据 2024 年度技术合集强势来袭！从 RAG 到数据湖仓，再到 BI 引擎，热门技术应有尽有。更有零售、教育、金融等行业的精选案例，以及权威的资质认证。
降本增效神器？Lakehouse 是怎么在大厂里火起来的
Lakehouse 会是数据分析的新标配吗？
“卷王”一次上架百余款大模型，改写游戏规则
新产品与技术的更新不应是“拿着锤子找钉子”，而是去繁就简，实用至上。
亚马逊云科技三大 AI 产品线齐更新：颠覆性变革成为新常态，快速创新是生存法则
亚马逊云科技大动作🤖！AI 飞跃！
生成式 AI 项目越来越多，但数据管理要怎么才能高效进行？
未来 5 到 10 年，所有应用都会是 AI 驱动的应用。
零售银行全渠道营销策略设计与平台架构实践
银行如何构建无缝的客户体验？
Cloudflare 支持短期 SSH 访问，无需生成 SSH 凭证
本文提到了 Cloudflare 集成 BastionZero，支持短期 SSH 访问，用临时证书替代长期密钥，简化管理并增强安全性，实现像管理应用程序一样的 SSH 访问控制。
字节跳动开源云原生数据仓库 ByConity 有奖众测，邀你体验完整的数仓能力
为了让更多的开发者深入了解并体验 ByConity bsp 模式的能力，InfoQ 和 ByConity 社区联合举办“ByConity 有奖众测活动”，邀请广大开发者参与 ByConity bsp 模式在离线数仓场景的实际测试，通过亲身实践来感受其带来的高效与便捷。
Meta 利用强化学习优化数据中心的可持续性
本文提到了 Meta 使用强化学习优化数据中心环境控制，减少能源和水消耗，应对气候变化。试点地区实现能耗降低 20%，用水量降低 4%。
存算分离的过去、现在和未来
存算分离架构，作为数据处理领域的一个重要概念，从其最初的雏形到如今广泛应用，经历了多次迭代和变革。
兼顾高性能与低成本，浅析 Apache Doris 异步物化视图原理及典型场景
面对有限的计算资源，成本及性能如何平衡，严格的资源管控也显得尤为重要
AI 造脸“一眼真”，身份验证难上加难，技术可以用魔法打败魔法吗？
生成式 AI 带来全新挑战，眼见不一定为真。
AI 时代的数据底座，StarRocks 2024 年度技术峰会带你探索湖仓架构
阿里集团、Snowflake、腾讯音乐、小红书、Shopee 等 30+ 行业标杆企业联袂呈现，共话 AI 时代下的湖仓技术创新与未来
生成式 AI 项目，数据管理的“坑”和“诀窍” ｜InfoQ《极客有约》
生成式 AI 项目越来越多，数据管理的难度也跟着升级！怎样在合规和隐私保护的同时，保持高效？如何优化数据质量，让模型表现更靠谱？
Podman Desktop 1.13 发布，支持 Hyper-V
Podman Desktop 1.13 发布，支持 Hyper-V 管理 Podman 机器，集成镜像搜索功能，更新空白状态页，优化 Kubernetes 导航，新增镜像层浏览器扩展，修复错误并提升用户体验。
数据湖系列之四 | 数据湖存储加速方案的发展和对比分析
我们期望本文能够帮助读者对大数据和 AI 场景下的「数据湖存储加速」这个主题建立一个整体把握，为选出适合自己业务的方案提供参考。
资源节省 81%，作业帮 MySQL 千表入湖仓实践
23 年我们完成了日志采集入湖，整体运行效果很好。为解决上述问题。我们决定将 Mysql 采集由入 Hive 改为 Iceberg。
Apache Doris 和 SelectDB 精选案例集（2024 版）
为提升企业使用体验、提高选型效率并降低实施风险，飞轮科技推出 Apache Doris 和 SelectDB 精选案例集（2024 版）。该案例集汇集 4 大领域、8+ 分析场景、26+ 标杆企业的成功案例与实践经验。以行业为划分标准，辅以使用场景标签，旨在为读者提供一个高度整合、全面涵盖、分类清晰且易于查阅的学习资源库。
优步完成了主要 MySQL 集群组的升级，提升了性能和安全性
本文提到了优步将 MySQL 数据库从 5.7 升级到 8.0，提升性能和安全性，耗时一年多，涉及 2100 多个集群和 16000 个节点，实现了高并发下显著的性能提升。
中国存储厂，杀入顶分桌
成立于 2016 年前后的存储企业，即将迈过十周年的门槛，变得不再年轻。而随生成式 AI 的发展而诞生的新兴存储企业，正逐步进入市场主流视野。
寻找 AI 最佳实践，InfoQ 2024 中国技术力量年度榜单开启
让 AI 的力量被看见！
OceanBase 4.3.3 发布，面向 AI 时代升级向量能力
AI 时代，需要怎样的数据库？
腾讯音乐：从 Elasticsearch 到 Apache Doris 内容库升级，统一搜索分析引擎，成本直降 80%
为满足更严苛数据分析的需求，腾讯音乐借助 Apache Doris 替代了 Elasticsearch 集群，统一了内容库数据平台的内容搜索和分析引擎。
谷歌建议在 SQL 中增加管道语法
本文提到谷歌提出在 SQL 中引入管道语法以提高灵活性和易用性，目前已在 GoogleSQL 和 ZetaSQL 中实现，但社区反馈不一。新语法旨在简化 SQL 查询编写，提高开发效率。
是时候刷新数据部门在券商的存在感了
数据工作的现状与时代赋予的愿景差距大，如何弥合沟壑？
Apache Doris 3.0 里程碑版本｜存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始，Apache Doris 开始支持存算分离模式，用户可以在集群部署时选择采用存算一体模式或存算分离模式。
优化故障影响分析和变更发布流程
本文讨论了优化故障影响分析和变更发布流程，强调预防、最小化影响、快速检测和恢复，建议建立沙盒环境、严格代码评审、高测试覆盖率、自动化回滚以减少生产环境错误。
