Clickhouse的部署及使用指南

原创

于 2025-05-23 09:36:14 发布 · 1w 阅读

标签

#flask #python #后端 #clickhouse

一、ClickHouse 概述

1.1 什么是ClickHouse

ClickHouse是（战斗民族）俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS）GitHub地址GitHub - ClickHouse/ClickHouse: ClickHouse® is a real-time analytics database management system，使用 C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。

1.2 什么是列式存储

在传统的行式数据库系统中，数据按如下顺序存储：

Id	Name	Age
1	张三	18
2	李四	22
3	王五	34

采用行式存储时，数据在磁盘上的组织结构为：

好处是想查某个人所有的属性时，可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时，需要不停的查找，或者全表扫描才行，遍历的很多数据都是不需要的。

而采用列式存储时，数据在磁盘上的组织结构为：

这时想查所有人的年龄只需把年龄那一列拿出来就可以了。

1.3Clickhouse的SQL引擎和向量化

支持SQL
ClickHouse支持基于SQL的声明式查询语言，该语言大部分情况下是与SQL标准兼容的。支持的查询包括 GROUP BY，ORDER BY，IN，JOIN以及非相关子查询。不支持窗口函数和相关子查询。

向量引擎
为了高效的使用CPU，数据不仅仅按列存储，同时还按向量(列的一部分)进行处理，这样可以更加高效地使用CPU。

二、为什么使用ClickHouse

2.1特性

2.1.1 DBMS 的功能

几乎覆盖了标准 SQL 的大部分语法，包括 DDL 和 DML，以及配套的各种函数，用户管

理及权限管理，数据的备份与恢复。

2.1.2 多样化引擎

ClickHouse 和 MySQL 类似，把表级的存储引擎插件化，根据表的不同需求可以设定不同

的存储引擎。目前包括合并树、日志、接口和其他四大类 20 多种引擎。

2.1.3 高吞吐写入能力

ClickHouse 采用类 LSM Tree的结构，数据写入后定期在后台 Compaction。通过类 LSM tree

的结构，ClickHouse 在数据导入时全部是顺序 append 写，写入后数据段不可更改，在后台

compaction 时也是多个段 merge sort 后顺序写回磁盘。顺序写的特性，充分利用了磁盘的吞

吐能力，即便在 HDD 上也有着优异的写入性能。

官方公开 benchmark 测试显示能够达到 50MB-200MB/s 的写入吞吐能力，按照每行

100Byte 估算，大约相当于 50W-200W 条/s 的写入速度。

2.1.4 数据分区与线程级并行

ClickHouse 将数据划分为多个 partition，每个 partition 再进一步划分为多个 index

granularity(索引粒度)，然后通过多个 CPU核心分别处理其中的一部分来实现并行数据处理。

在这种设计下，单条 Query 就能利用整机所有 CPU。极致的并行处理能力，极大的降低了查

询延时。

所以，ClickHouse 即使对于大量数据的查询也能够化整为零平行处理。但是有一个弊端

就是对于单条查询使用多 cpu，就不利于同时并发多条查询。所以对于高 qps（每秒钟的查询次数）的查询业务， ClickHouse 并不是强项。

功能丰富：

友好的SQL：ClickHouse具有用户友好的SQL查询，并具有许多内置分析功能。除了大多数DBMS中可以找到的常用功能外，ClickHouse还提供了许多特定的功能。
高效管理非规范化数据：ClickHouse的面向列性质允许每个表具有数百或数千列，而不会减慢SELECT查询的速度。通过利用广泛的数据组织选项，例如数组，元组和嵌套数据结构，可以打包更多数据。
连接分布式或共置数据：ClickHouse提供了用于联接表的各种选项。联接既可以是本地群集，也可以访问存储在外部系统中的数据。还有一个外部字典支持，它提供了另一种更简单的语法，用于从外部源访问数据。
近似查询处理：用户可以控制结果准确性和查询执行时间之间的权衡，这在处理多个TB或PB的数据时非常方便。 ClickHouse还提供了概率数据结构，可快速有效地计算基数和分位数

可靠：

ClickHouse一直在管理PB级数据，这些数据为俄罗斯领先的搜索提供商，欧洲最大的IT公司之一Yandex的大量高负载大众受众服务提供服务。自2012年以来，ClickHouse一直为公司的网络分析服务，比较电子商务平台，公共电子邮件服务，在线广告平台，商业智能工具和基础架构监视提供强大的数据库管理。
ClickHouse可以配置为位于独立节点上的纯分布式系统，而没有任何单点故障。
软件和硬件故障或配置错误不会导致数据丢失。 ClickHouse不会删除“损坏的”数据，而是将其保存或询问您在启动前该怎么做。每次对磁盘或网络进行读取或写入之前，所有数据均经过校验和。几乎不可能意外删除数据，因为即使存在人为错误，也有保护措施。
ClickHouse提供了对查询复杂性和资源使用情况的灵活限制，可以通过设置对其进行微调。可以同时为多个高优先级低延迟请求和一些具有后台优先级的长时间运行的查询提供服务。

何时使用ClickHouse：

用于分析结构良好且不可变的事件或日志流，建议将每个此类流放入具有预连接维度的单个宽表中。

何时不使用ClickHouse：

不适合事务性工作负载（OLTP）、高价值的键值请求、Blob或文档存储。

性能感人，来自官网截图（相对查询处理时间，越低越好）:

Most results are for single server setup with the following configuration: two socket Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz; 128 GiB RAM; md RAID-5 on 8 6TB SATA HDD; ext4.

Some additional results (marked as x2, x3, x6) are for clustered setup for comparison. These results are contributed from independent teams and hardware specification may differ.