12月10日，《火山引擎ByteHouse云数仓居品白皮书》在线上发布。

在数字经济蕃昌发展的今天，企业濒临着数据量爆炸性增长、数据分析需求日益复杂的双重挑战。传统的数据仓库贬责决议仍是难以欢娱企业对数据处理速率和生动性的高条目。为了应付这些挑战，火山引擎于2021年认真推出ByteHouse——专为云原生环境瞎想的高性能数据仓库居品。早在2022岁首，ByteHouse在抖音集团里面的部署限制已特出1万8000台，最大的集群限制在 2400 余个节点，照顾总和据量特出700PB，况兼依然在阻挡增长，对外也经过游戏、汽车、泛互联网等边远行业，数百个诈欺场景和数万用户查验，

本次发布《火山引擎ByteHouse云数仓居品白皮书》从瞎想理念、居品架构、中枢才调、场景上风等多维度先容ByteHouse在OLAP领域的居品和技能先进性，以及怎样兑现高性能、高褂讪、高安全。不单是聚焦OLAP领域，通过集成向量检索、全文检索、GIS等功能，ByteHouse捏续拓展才调范畴，并成立涵盖集成、设备、诈欺的高下流生态。除此除外，基于SSB 和 TPC-DS 门径测试集，白皮书也公开了ByteHouse在OLAP、ELT等场景下的最新性能扬弃。在诈欺场景方面，白皮书则从OLAP中台成立、步履分析、车联网IoT三个场景为企业提供数据分析最好执行参考。

据先容，ByteHouse云数仓版具备“快”“稳”“省”三个中枢特色，不仅能保险高效处理海量数据，即时反应复杂查询，还能责怪多系统的多样冗余和复杂度，进步举座褂讪性，并兑现资源、运维本钱最优。

有多快？公布门径测试集下性能最新扬弃

在数据处理和分析的领域，进步查询效率永久是一项要津挑战。在采选OLAP引擎时，性能是伏击臆测要素。高性能的OLAP具有快速的数据处理才调，并缩小反适时代，提供更好的用户体验，使数据分析和查询愈加运动和浮浅。

SSB 和 TPC-DS 是常用于测试分析型数据库/数据仓库的数据集，被平常诈欺于数据仓库领域。在白皮书中，通过汲取以上数据集，ByteHouse展示了OLAP、ELT、湖仓一体场景中，与行业同类居品比拟的性能施展。

在OLAP场景中，以TPC-DS数据集测试为例，通过将模拟生成的 1000G 数据导入测试居品，在 99 个查询中，ByteHouse 对比行业某主流开源居品D*，举座查询性能达到该居品 1.16 倍。在ELT场景中，BSP方式下ByteHouse 对比某主流开源居品 S* ，举座查询性能达到该居品 6.05 倍。在湖仓一体场景中，ByteHouse 对比开源居品 S*，Hive Parquet外在查询(冷读)，举座查询性能达到该居品 1.18 倍。

TPC-DS 1TiB: ByteHouse云数仓(2.2) 228s, 开源居品D(2.1.1) 264s，超越16%

除此除外，在Vector及GIS分析场景中，ByteHouse对比行业同类居品也有光显性能上风。这意味着，ByteHouse让企业在享受极致性能的同期，无需引入其他架构，就能使用翰墨检索、地舆空间分析、向量检索才调。企业只需用一套架构就能欢娱多元化分析需求，量入制出企业资源东谈主力本钱，进步数据遵循。

ByteHouse技能各人强大月也在发布会上揭秘了性能进步的要津技能。在OLAP性能进步方面，ByteHouse从RBO(基于章程的优化才调)、CBO(基于代价的优化才调)、散播式盘算生成方面推出了自研优化器，大要准确的筹备出效率最大化奉行旅途，大幅度责怪用户查询时代。同期，ByteHouse也通过高并发点查贬责索引筹备笨重、点查读放大严重、奉行链路冗长、锁竞争好坏等问题，进一步进步数据处理效率。

能多稳？将任务告捷率进步至100%

数据在加载干涉数据仓库之前，往往要经过复杂的数据清洗和逶迤过程，由此需要引入外部引擎，导致架构相对复杂，而ByteHouse全面复旧Extract-Load-Transform (ELT)的才调，把数据加工的过程滚动到ByteHouse里面，用户只需将数据导入，用自界说SQL语句进行数据逶迤，责怪多系统的多样冗余和复杂度，进步用户体验，并进一步增长了系统褂讪性。

据先容，为了简化数据链路、进步任务并行度，ByteHouse在传统的MPP疏通模子除外，新增了BSP疏通模子(Bulk Synchronous Parallel)，通过各个stage逐层疏通、数据写盘，使得每个阶段和任务齐愈加颓丧，责怪了任务失败的概率，并提高了资源使用的效率。除此除外，ByteHouse还在离线任务加工中的任务级重试功能，当功课的某个任务失败时，无需悉数这个词功课再行奉行，仅重试失败任务，显赫责怪了重试的本钱，进步了功课的告捷率。针对业务数据过去更新的特色，ByteHouse对写入历程进行了大宗优化。通过并行化最耗时的数据写入部分，并在写入过程中记号需要后续去重功课的数据，兑现高效的数据更新。

ByteHouse技能各人游致远以某数字文娱公司例如，该公司通过引入ByteHouse来构建一体化数仓，从2024年10月15日、16日、17日数据来看，任务的告捷率在分辨提高了6.6%、4.4%和2.9%，举座告捷率为100%。通过对要津大表加多并行度，该公司的离线任务举座内存峰值责怪了约40%，灵验减少了内存溢出的风险，举座进步了数据处理的及时性和褂讪性。

怎样省？打造新一代“弹性”云数仓

当下企业的业务流量往往具有很大的概略情趣。例如，电商平台在 “618”“双 11” 等促销行径时代，窥探量会呈爆发式增长，可能是平时的十倍致使百倍，导致系统无法承载如斯高负载而崩溃。这就条目底层数据库具备“弹性”机制，能字据流量情况自动伸缩资源，在欢娱业务波峰需求同期量入制出本钱。

而弹性恰是云原生架构的中枢脾气。ByteHouse云原生弹性才调允许企业字据实质需求动态诊疗资源，只在需要的时候分拨资源，兑现随开随用，不使用时自动暂停，暂停时代不收取任何筹备层用度，从而责怪了本钱。

ByteHouse自动启停政策，匡助用户本钱从简20%+

在白皮书发布会上，ByteHouse居品司理孔柏林先容到，在存储层面， ByteHouse汲取 Serverless 架构，具有低本钱、无穷彭胀的才调。在筹备层面，ByteHouse则基于PaaS 方式，通过容器化兑现无情状或弱情状，将悉数这个词筹备组包装成田户和诈欺呈现给用户，保证田户之间不会发生资源征用突破或性能劣化，让筹备资源在秒级内兑现弹性拉起和弹性扩缩容。恰是由于汲取筹备资源汲取PaaS 表情，ByteHouse能让用户灵验幸免不模范 SQL 形成的过多资源阔绰，且计价方式汲取资源用量(CPU)表情，确保用户对账单可预期。

以中国某著名游戏厂商为例，该厂商基于ByteHouse构建了一体化及时数仓平台，具备及时数据接入、及时 ETL 数据加工、及时维表关系和及时数据就业等才调，不仅能复旧20万+QPS高并发点查，性能提高2倍以上，在资源用量上，比之前架构减少了30%本钱。

蔼然字节特出数据平台微信公众号kaiyun.com，菜单栏「精选内容-白皮书」即可领取《ByteHouse云数仓居品白皮书》白皮书原文。