Doris为数据分析而生的olap数据库：数据模型和数据分区使用详解

原创

已于 2022-04-04 22:08:17 修改 · 5.1k 阅读

标签

#实时大数据 #数据库

于 2022-04-04 22:04:49 首次发布

Apache Doris 是一个高性能的分析型数据库，支持亚秒级查询响应。其数据模型包括明细、聚合和唯一主键三种模型，适用于不同场景的数据分析。在建表时，用户需明确Key和Value列，以及聚合类型。数据分区分为Partition和Bucket两层，Partition按Range划分，Bucket按Hash划分，可以根据查询需求和数据量进行合理设计。动态分区功能简化了分区管理。

Apache Doris是一个现代化的MPP分析性数据库产品。是一个由百度开源，在2018年贡献给Apache基金会，成为有顶级开源项目。仅需要亚秒级响应时间即可获得查询结果，可以有效地支持实时数据分析。Apache Doris可以满足多种数据分析需求，如数仓T+1模式固定历史报表，实时数据分析等。

数据模型：

Doris中的字段类型：

TINYINT	1字节	范围：-2^7 + 1 ~ 2^7 - 1
SMALLINT	2字节	范围：-2^15 + 1 ~ 2^15 - 1
BIGINT	8字节	范围：-2^63 + 1 ~ 2^63 - 1
LARGEINT	16字节	范围：-2^127 + 1 ~ 2^127 - 1
FLOAT	4字节	支持科学计数法
DOUBLE	12字节	支持科学计数法
DECIMAL[(precision, scale)]	16字节	保证精度的小数类型。默认是 DECIMAL(10, 0) precision: 1 ~ 27 scale: 0 ~ 9 其中整数部分为 1 ~ 18 不支持科学计数法
DATE	3字节	范围：0000-01-01 ~ 9999-12-31
DATETIME	8字节	范围：0000-01-01 00:00:00 ~ 9999-12-31 23:59:59
CHAR[(length)]		定长字符串。长度范围：1 ~ 255。默认为1
VARCHAR[(length)]		变长字符串。长度范围：1 ~ 65533
HLL	1~16385个字节	hll列类型，不需要指定长度和默认值、长度根据数据的聚合程度系统内控制，并且HLL列只能通过配套的hll_union_agg、Hll_cardinality、hll_hash进行查询或使用
BITMAP		bitmap列类型，不需要指定长度和默认值。表示整型的集合，元素最大支持到2^64 - 1
agg_type	聚合类型，如果不指定，则该列为 key 列。否则，该列为 value 列

最低0.47元/天解锁文章