数据湖仓

关注
收录了数据湖仓频道下的 1700 篇内容
关注数据湖仓的发展趋势和一线技术实践
  • 全部
  • 文章
  • 视频
  • 话题
  • 电子书
AI时代的数据底座,StarRocks 2024 年度技术峰会带你探索湖仓架构
AI 时代的数据底座,StarRocks 2024 年度技术峰会带你探索湖仓架构

阿里集团、Snowflake、腾讯音乐、小红书、Shopee 等 30+ 行业标杆企业联袂呈现,共话 AI 时代下的湖仓技术创新与未来

数据湖系列之四 | 数据湖存储加速方案的发展和对比分析

我们期望本文能够帮助读者对大数据和 AI 场景下的「数据湖存储加速」这个主题建立一个整体把握,为选出适合自己业务的方案提供参考。

资源节省 81%,作业帮 MySQL千表入湖仓实践
资源节省 81%,作业帮 MySQL 千表入湖仓实践

23 年我们完成了日志采集入湖,整体运行效果很好。为解决上述问题。我们决定将 Mysql 采集由入 Hive 改为 Iceberg。

腾讯音乐:从 Elasticsearch 到 Apache Doris 内容库升级,统一搜索分析引擎,成本直降 80%
腾讯音乐:从 Elasticsearch 到 Apache Doris 内容库升级,统一搜索分析引擎,成本直降 80%

为满足更严苛数据分析的需求,腾讯音乐借助 Apache Doris 替代了 Elasticsearch 集群,统一了内容库数据平台的内容搜索和分析引擎。

统一存储、缩短链路,快手从 Clickhouse 到 Apache Doris 实现湖仓分离向湖仓一体的升级
统一存储、缩短链路,快手从 Clickhouse 到 Apache Doris 实现湖仓分离向湖仓一体的升级

快手通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。

完整的数仓能力,ByConity 1.0 版本发布!
完整的数仓能力,ByConity 1.0 版本发布!

2024 年 8 月,ByConity 1.0 正式发布,翻开了 ByConity 新的一页。

作业帮在多云环境下的高可用双活架构优化实践
作业帮在多云环境下的高可用双活架构优化实践

目前,作业帮是多云架构(阿里云、百度云、腾讯云),并同时使用 MySQL、Redis-Cluster、MongoDB、Elastisearch、TiDB 、OceanBase 这几款数据库。

单集群 QPS 超 10w,存储成本降低 70%!招联金融基于 Apache Doris 数仓升级实践
单集群 QPS 超 10w,存储成本降低 70%!招联金融基于 Apache Doris 数仓升级实践

在竞争激烈的消费金融市场中,有效利用海量数据、提升业务运营效率是赢得市场的关键。

GitHub遭遇全球宕机,Copilot也瘫痪了!开发者:今天可以光明正大摸鱼了
GitHub 遭遇全球宕机,Copilot 也瘫痪了!开发者:今天可以光明正大摸鱼了

开发者失望吐槽:太不靠谱,是时候逃离了

小米在Open Data Catalog For AI的实践
小米在 Open Data Catalog For AI 的实践

如何使用 Gravitino 和 Fileset 来管理 AI 数据资产?

图灵奖数据库大师 Stonebraker 师徒对数据库近 20 年发展与展望的 2 万字论文
图灵奖数据库大师 Stonebraker 师徒对数据库近 20 年发展与展望的 2 万字论文

数据库近 20 年总结与展望:“历史总是不断轮回”

离产业最近的人工智能才是未来!腾讯宣布模型全矩阵产品升级
离产业最近的人工智能才是未来!腾讯宣布模型全矩阵产品升级

作为新一轮科技革命和产业变革的重要驱动力量,人工智能被认为是发展新质生产力的主要阵地。

章文嵩、蒋晓伟、李飞飞、张凯巅峰对谈:大模型时代的数据智能新趋势 | QCon
章文嵩、蒋晓伟、李飞飞、张凯巅峰对谈:大模型时代的数据智能新趋势 | QCon

AI 与数据,它们的生产关系是不是发生了变化?

从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践
从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践

目前 Apache Doris 在无锡锡商银行已经接入数百张实时表、上百数据服务接口 、接口 QPS 达到数百万级别。

新增300多项功能,Oracle Database 23ai正式发布!年近50岁的数据库巨头正迈入AI时代
新增 300 多项功能,Oracle Database 23ai 正式发布!年近 50 岁的数据库巨头正迈入 AI 时代

值得一提的是,这款数据库的曾用名是 Database 23c,后来由于数据库中添加了一些 AI 功能而变更为现在的名称。

Apache Doris 基于 Workload Group 的负载隔离能力解读
Apache Doris 基于 Workload Group 的负载隔离能力解读

Workload Group 是通过对工作负载进行分组管理,实现对内存和 CPU 资源的精细化管控。

OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?
OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?

列式存储引擎,秒级实时分析,OceanBase 4.3 打造超强 TP/AP 一体化数据库。

致敬数据库大师,有28岁英年早逝,有80岁还重新创业
致敬数据库大师,有 28 岁英年早逝,有 80 岁还重新创业

从 1960s 到现在,数据库技术经历了多层变革,这里面是很多数据库领域工程师的深厚沉淀,也涌现了很多图灵奖的大师。

钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离
钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离

Apache Doris 跨集群复制(CCR) 功能的引入,为钱大妈带来了显著的收益。

数据传输效率实现百倍飞跃,Apache Doris现已支持 Arrow Flight SQL 协议
数据传输效率实现百倍飞跃,Apache Doris 现已支持 Arrow Flight SQL 协议

为提供更高效的数据传输方案,Apache Doris 在 2.1 版本中基于 Arrow Flight SQL 协议实现了高速数据传输链路,使得数据传输性能实现百倍飞跃。

小米下一代 Data AI 资产管理实践
小米下一代 Data AI 资产管理实践

7 个数据平台,1 套元数据体系,小米基于 Gravitino 的下一代资产管理实践

云原生数据库下一站:像 MySQL 一样流行
云原生数据库下一站:像 MySQL 一样流行

随着数据的爆发式增长和业务多元化发展,传统集中式数据库已无法满足应用场景需求。

硬件成本降低80%、OceanBase在58同城的落地实践
硬件成本降低 80%、OceanBase 在 58 同城的落地实践

因为业务种类繁多,很难找到一款数据库同时满足所有业务场景的要求,这是不少企业在数据库选型时的痛中之痛。

OceanBase在网易游戏的技术实践
OceanBase 在网易游戏的技术实践

网易游戏引入 OceanBase 已近半年,总体表现非常稳定,未出现任何性能抖动和同步延迟问题,有效解决了业务痛点。

Apache Doris 如何基于自增列满足高效字典编码等典型场景需求
Apache Doris 如何基于自增列满足高效字典编码等典型场景需求

自增列的实现,使得 Apache Doris 可以在处理大规模时展示出更高的稳定性和可靠性。

兼容 Presto、Trino、ClickHouse、Hive 近 10 种 SQL 方言,Doris SQL Convertor 解读及实操
兼容 Presto、Trino、ClickHouse、Hive 近 10 种 SQL 方言,Doris SQL Convertor 解读及实操

越来越多用户与企业开始将 Apache Doris 作为统一的数据分析产品,以解决多组件带来的数据冗余、架构复杂、分析时效性低、运维难度大等问题。

CDO 解决ETL“不可能三角”的新思路:做“轻”数仓
CDO 解决 ETL“不可能三角”的新思路:做“轻”数仓

反范式的 ETL 加工会导致数据仓库中的数据链条变得越来越长、越来越复杂

15 年云数据库老兵:数据库圈应告别“唯性能论”
15 年云数据库老兵:数据库圈应告别“唯性能论”

最成功的数据库公司,不是靠性能快过竞争对手而成功。

    走向虚实融合、协同的工业元宇宙
    走向虚实融合、协同的工业元宇宙

    唐荣兴 | 亮风台 联合创始人 & COO

    立即下载
    云原生跨域大数据架构落地实践

    吴维伟 | 京东 大数据架构师

    立即下载
    美团 AdHoc 统一查询引擎实践

    吴彪 | 美团 数据科学与平台部/技术专家

    立即下载