大数据
讲述数据获取、存储、管理、分析的方方面面，关注软件、实践、生态，挖掘最新的前沿技术，同时也思考大数据与AI和云计算的深度结合。
- 全部
- DataOps
- 数据集成
- DataMesh
- 数据编织
- 数据湖仓
- 在离线混部
- 实时计算
- 其他
开源云原生数据仓库 ByConity 实测，开启开启数据仓库的新篇章
通过合理调整 distributed_max_parallel_size 和 max_memory_usage 的值，用户可以在保证查询性能的同时，避免资源过度消耗和查询失败的风险。ByConity 非常推荐，原生数据仓库搭建，ByConity 你值得拥有。
重磅！云器数据平台即日起免费开放，通用增量计算引擎首次面向全行业试用
2025 年 1 月 15 日，云器科技举行了云器 Lakehouse 产品开放注册发布会。这标志着这家专注于数据基础设施的科技公司，正式向全球用户开放体验其创新的云湖仓产品。
深入了解 ByConity 的 BSP 模式：云原生数据仓库的创新实践
ByConity 的设计理念是简化联邦查询的复杂性，通过开源的方式提供一个灵活、高效的解决方案。同时，它与现有的开源大数据生态系统（如 Apache Arrow、Apache Iceberg）紧密集成，增强了其易用性和扩展性
Apache Doris 创始人：何为“现代化”的数据仓库？
Apache Doris 目前 GitHub Stars 已近 13,000，社区的贡献者达到近 670 名，平均每月活跃贡献者超过 120 名。这一成就使其超越了 Spark、Kafka 等项目。
AI 信创与湖仓一体化，2024 年数据库 & 湖仓发展与展望
展望未来，我意识到，尽管数据库行业正面临明显的瓶颈，湖仓领域却蕴藏着无尽的潜力，而 AI 的崛起将进一步提高从业门槛。
Apache Iceberg 赢得未来：2025 年如何前进
数据工程的未来已经到来，而它正是 Iceberg。
共探数据可信流通时代的密态新算力｜走进隐语年度嘉年华精彩现场
第二届隐语开源社区嘉年华成功举办，其聚焦数据可信流通，会上发布社区年度报告，其规模与影响力增长显著。各方探讨密态计算等技术，强调数据安全合规及隐私计算应用，还分享了金融等领域成果与人才培养经验，推动数据要素技术创新发展。
ByConity ：深入探讨 ELT 和 bsp 模式应用实例
ByConity 是一个先进的数据集成与处理平台，专注于提供高效、灵活的 ELT（Extract, Load, Transform) 能力。它致力于通过简化数据管道设计和优化数据处理流程，帮助企业应对复杂的大数据处理需求，实现更快的数据传输速度、更高的处理能力以及更低的运维成本。
ByConity ELT 实战：云原生数据仓库的高效数据处理与性能优化探索
随着大数据技术的发展，实时数据仓库和离线数据仓库在企业数据分析中的重要性日益增加。为了满足企业对数据处理性能和效率的多样化需求，ByConity 作为一款开源云原生数据仓库，提供了一个高效的解决方案，特别是在 ELT（Extract, Load, Transform） 任务的执
ByConity BSP 解锁数据仓库新未来
在现代数据分析场景中，实时数仓与离线数仓各有侧重：实时数仓注重低延迟的数据入库与即时分析能力，而离线数仓则强调复杂任务的稳定执行及高效的内存管理。为满足用户多样化的数据需求，ByConity 作为一款开源云原生数据仓库，提供了全新的 BSP 模式，大幅提
从 CephFS 到 JuiceFS：同程旅行亿级文件存储平台构建之路
同程旅行因 CephFS 运维难度大，转向 JuiceFS 构建存储平台，覆盖多场景，规模可观。文章介绍了 JuiceFS 选型原因、平台化建设、高可用集群部署、落地收益、挑战与优化，还提及未来展望，包括开发分布式 KV 存储系统等。
数据处理不再是“脏活累活”，听听开发者们怎么说？
一直以来，数据处理都被视作“脏活累活”，从数据的收集、清洗、转换，再到存储、分析，每个步骤都可能遇到各种挑战，繁琐且耗时。
Apache Doris 创始人：何为“现代化”的数据仓库？
Apache Doris 创始人 & PMC 成员马如悦在开场演讲中，围绕“现代化数据仓库”这一主题，指出 3.0 版本是 Apache Doris 研发路程中的重要里程碑，他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”，
数势科技指标平台， 让数据产生最大价值。
近来，指标体系和指标平台的重要性正被越来越多的业界同仁所认可。作为行业领先的数据智能产品提供商，数势科技最早推出了统一指标开发管理平台这一突破性产品（2021 年获得软著），并首家完成了中国信通院数据指标管理平台技术要求专项测试，此外还出版了行业首本指标体系与指标平台的专著，并在三年之间内成功交付了众多行业头部客户，积累了丰富的产品落地经验，成功交付的客户量为业内最多。
京东大数据治理探索与实践 | 京东零售技术实践
在当今的数据驱动时代，数据作为关键生产要素之一，其在商业活动中的战略价值愈加凸显，京东也不例外。
第二届隐语开源社区嘉年华活动报名开始
探索 AI 时代下，数据要素的无限可能。
揭秘 JDQ 限流架构：实时数据链路的多维动态带宽管控|京东零售技术实践
在数字化转型的浪潮席卷之下，大数据和云计算技术已成为企业创新和发展的关键驱动力。尤其是以京东为代表的电商平台为例，其日常运营中持续生成海量数据，涵盖实时交易记录、点击曝光统计及用户行为轨迹等，这些数据对精准业务决策、深化用户体验优化等方面具有重要意义。
智能体的未来：一家公司只需要一个 CEO？
AI Agent，给了谁新出路？
2024 腾讯云大数据年度干货合集
腾讯云大数据 2024 年度技术合集强势来袭！从 RAG 到数据湖仓，再到 BI 引擎，热门技术应有尽有。更有零售、教育、金融等行业的精选案例，以及权威的资质认证。
降本增效神器？Lakehouse 是怎么在大厂里火起来的
Lakehouse 会是数据分析的新标配吗？
“卷王”一次上架百余款大模型，改写游戏规则
新产品与技术的更新不应是“拿着锤子找钉子”，而是去繁就简，实用至上。
亚马逊云科技三大 AI 产品线齐更新：颠覆性变革成为新常态，快速创新是生存法则
亚马逊云科技大动作🤖！AI 飞跃！
生成式 AI 项目越来越多，但数据管理要怎么才能高效进行？
未来 5 到 10 年，所有应用都会是 AI 驱动的应用。
零售银行全渠道营销策略设计与平台架构实践
银行如何构建无缝的客户体验？
Cloudflare 支持短期 SSH 访问，无需生成 SSH 凭证
本文提到了 Cloudflare 集成 BastionZero，支持短期 SSH 访问，用临时证书替代长期密钥，简化管理并增强安全性，实现像管理应用程序一样的 SSH 访问控制。
字节跳动开源云原生数据仓库 ByConity 有奖众测，邀你体验完整的数仓能力
为了让更多的开发者深入了解并体验 ByConity bsp 模式的能力，InfoQ 和 ByConity 社区联合举办“ByConity 有奖众测活动”，邀请广大开发者参与 ByConity bsp 模式在离线数仓场景的实际测试，通过亲身实践来感受其带来的高效与便捷。
Meta 利用强化学习优化数据中心的可持续性
本文提到了 Meta 使用强化学习优化数据中心环境控制，减少能源和水消耗，应对气候变化。试点地区实现能耗降低 20%，用水量降低 4%。
存算分离的过去、现在和未来
存算分离架构，作为数据处理领域的一个重要概念，从其最初的雏形到如今广泛应用，经历了多次迭代和变革。
兼顾高性能与低成本，浅析 Apache Doris 异步物化视图原理及典型场景
面对有限的计算资源，成本及性能如何平衡，严格的资源管控也显得尤为重要
