数据湖仓
关注数据湖仓的发展趋势和一线技术实践
ByConity 基础使用测试及反馈
在实际业务中,用户会基于不同的产品分别构建实时数仓和离线数仓。其中,实时数仓强调数据能够快速入库,且在入库的第一时间就可以进行分析,低时延的返回分析结果。而离线数仓强调复杂任务能够稳定的执行完,需要更好的内存管理。
基于开源云原生数据仓库 ByConity 多场景测试
ByConity 是一款开源云原生数据仓库,可以满足用户的多种数据分析场景。ByConity 增加了 bsp 模式:可以进行 task 级别的容错;更细粒度的调度;基于资源感知的调度。希望通过 bsp 能力,把数据加工(T)的过程转移到 ByConity 内部,能够一站式完成数据接入、
基于开源云原生数据仓库 ByConity 的 23 次测试
很高兴能参加 开源云原生数据仓库 ByConity 的测试。接下来我会从以下几个方面来讲述 ByConity 的测试:ByConity 简介、ByConity 原理、ByConity 测试
初见 ByConity
最近也在学习数据处理方面的知识,发现随着数据量越来越大,数据也变得越来越复杂。好多企业都开始用上 OLAP(联机分析处理)引擎来对付大规模数据了,还能立马给出分析结果,挺牛的。之前只了解过 ClickHouse,这次又看到社区众测 ByConity,也就来试试,目前
开源云原生数据仓库 ByConity 测试
今天来了解一下 ByConity,这是字节跳动开源的一个超厉害的数据仓库。它采用了一种叫计算 - 存储分离的架构哦,还有好多关键的功能特性,像计算存储分离呀、能弹性扩缩容呀、租户资源可以隔离,而且数据读写还有很强的一致性呢。为了让读写性能更好,ByConity
Apache Doris 创始人:何为“现代化”的数据仓库?
Apache Doris 目前 GitHub Stars 已近 13,000,社区的贡献者达到近 670 名,平均每月活跃贡献者超过 120 名。这一成就使其超越了 Spark、Kafka 等项目。
AI 信创与湖仓一体化,2024 年数据库 & 湖仓发展与展望
展望未来,我意识到,尽管数据库行业正面临明显的瓶颈,湖仓领域却蕴藏着无尽的潜力,而 AI 的崛起将进一步提高从业门槛。
Apache Iceberg 赢得未来:2025 年如何前进
数据工程的未来已经到来,而它正是 Iceberg。
Apache Doris 创始人:何为“现代化”的数据仓库?
Apache Doris 创始人 & PMC 成员马如悦在开场演讲中,围绕“现代化数据仓库”这一主题,指出 3.0 版本是 Apache Doris 研发路程中的重要里程碑,他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”,
降本增效神器?Lakehouse 是怎么在大厂里火起来的
Lakehouse 会是数据分析的新标配吗?
存算分离的过去、现在和未来
存算分离架构,作为数据处理领域的一个重要概念,从其最初的雏形到如今广泛应用,经历了多次迭代和变革。
兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景
面对有限的计算资源,成本及性能如何平衡,严格的资源管控也显得尤为重要
AI 时代的数据底座,StarRocks 2024 年度技术峰会带你探索湖仓架构
阿里集团、Snowflake、腾讯音乐、小红书、Shopee 等 30+ 行业标杆企业联袂呈现,共话 AI 时代下的湖仓技术创新与未来
数据湖系列之四 | 数据湖存储加速方案的发展和对比分析
我们期望本文能够帮助读者对大数据和 AI 场景下的「数据湖存储加速」这个主题建立一个整体把握,为选出适合自己业务的方案提供参考。
资源节省 81%,作业帮 MySQL 千表入湖仓实践
23 年我们完成了日志采集入湖,整体运行效果很好。为解决上述问题。我们决定将 Mysql 采集由入 Hive 改为 Iceberg。
腾讯音乐:从 Elasticsearch 到 Apache Doris 内容库升级,统一搜索分析引擎,成本直降 80%
为满足更严苛数据分析的需求,腾讯音乐借助 Apache Doris 替代了 Elasticsearch 集群,统一了内容库数据平台的内容搜索和分析引擎。
统一存储、缩短链路,快手从 Clickhouse 到 Apache Doris 实现湖仓分离向湖仓一体的升级
快手通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
完整的数仓能力,ByConity 1.0 版本发布!
2024 年 8 月,ByConity 1.0 正式发布,翻开了 ByConity 新的一页。
作业帮在多云环境下的高可用双活架构优化实践
目前,作业帮是多云架构(阿里云、百度云、腾讯云),并同时使用 MySQL、Redis-Cluster、MongoDB、Elastisearch、TiDB 、OceanBase 这几款数据库。
单集群 QPS 超 10w,存储成本降低 70%!招联金融基于 Apache Doris 数仓升级实践
在竞争激烈的消费金融市场中,有效利用海量数据、提升业务运营效率是赢得市场的关键。
GitHub 遭遇全球宕机,Copilot 也瘫痪了!开发者:今天可以光明正大摸鱼了
开发者失望吐槽:太不靠谱,是时候逃离了
小米在 Open Data Catalog For AI 的实践
如何使用 Gravitino 和 Fileset 来管理 AI 数据资产?
图灵奖数据库大师 Stonebraker 师徒对数据库近 20 年发展与展望的 2 万字论文
数据库近 20 年总结与展望:“历史总是不断轮回”
离产业最近的人工智能才是未来!腾讯宣布模型全矩阵产品升级
作为新一轮科技革命和产业变革的重要驱动力量,人工智能被认为是发展新质生产力的主要阵地。
章文嵩、蒋晓伟、李飞飞、张凯巅峰对谈:大模型时代的数据智能新趋势 | QCon
AI 与数据,它们的生产关系是不是发生了变化?
从 Data Infra“卷”到 AI Infra!星环科技推出知识平台 TKH,全面统筹算力、语料、模型与应用
AIGC 时代,得数据者得天下。
从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践
目前 Apache Doris 在无锡锡商银行已经接入数百张实时表、上百数据服务接口 、接口 QPS 达到数百万级别。
新增 300 多项功能,Oracle Database 23ai 正式发布!年近 50 岁的数据库巨头正迈入 AI 时代
值得一提的是,这款数据库的曾用名是 Database 23c,后来由于数据库中添加了一些 AI 功能而变更为现在的名称。
Apache Doris 基于 Workload Group 的负载隔离能力解读
Workload Group 是通过对工作负载进行分组管理,实现对内存和 CPU 资源的精细化管控。
OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?
列式存储引擎,秒级实时分析,OceanBase 4.3 打造超强 TP/AP 一体化数据库。