linux环境docker-compose部署Clickhouse 集群

原创 于 2026-06-29 08:30:00 发布 · 320 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#clickhouse #linux #docker

服务器配置

💻 服务器配置参考（每台）

硬件资源最小可运行开发/测试 (可用)推荐配置 (生产环境)
CPU2 核，支持 SSE 4.24 核16 核或以上
内存4 GB8 GB64 GB 或以上
磁盘20 GB SSD50 GB+ SSDNVMe SSD 或高性能云盘
网络1 Gbit/s1 Gbit/s10 Gbit/s

说明：

  • 4GB 内存可以完成 ClickHouse 的安装、启动和基础功能验证，但仅限功能验证，无法承载任何数据加载或查询负载。
  • 8GB 内存可满足开发测试和小规模数据加载，但需对默认配置进行调优（降低缓存、减少并行度等）。
  • 生产环境磁盘容量需根据数据量和保留策略规划，建议内存与存储空间比例 1:100 ~ 1:130。
  • 如果每台服务器运行 2 个 ClickHouse 实例，内存需按实例数累加。

🦒 ZooKeeper / ClickHouse Keeper 配置参考

硬件资源最小可运行开发/测试推荐配置 (生产环境)
CPU1 核2 核4 核或以上
内存1 GB4 GB8 GB 或以上
磁盘10 GB HDD20 GB SSDNVMe SSD
实例数1 个1 个3 个

注意：如果资源充足，强烈建议将 ZooKeeper / ClickHouse Keeper 部署在独立的服务器上，与 ClickHouse 数据节点分离，避免资源竞争。

💎 总结

  • 最小可运行：4GB 内存即可安装启动，适合做功能验证和"能不能跑起来"的测试。
  • 开发/测试：8GB 内存可以执行简单查询和小规模数据加载。
  • 生产环境：建议 64GB 以上内存，具体规格需根据数据量、查询复杂度和并发量综合评估。

准备工作

每台服务器运行 2 个 ClickHouse 实例 + 1 个 ZooKeeper 节点，使用 host 网络模式
在每台服务器上配置host：

cat >> /etc/hosts << EOF
192.168.50.6 server01
192.168.50.157 server02
192.168.50.110 server03
EOF

1. 整体设计

  • 服务器规划（与原文一致）

    IP主机名服务
    192.168.50.6server01ZooKeeper (myid=1), ch-main, ch-sub (副本)
    192.168.50.157server02ZooKeeper (myid=2), ch-main, ch-sub (副本)
    192.168.50.110server03ZooKeeper (myid=3), ch-main, ch-sub (副本)

  • 网络模式：全部使用 host，避免端口映射和跨容器通信问题。

2. 前置准备（每台服务器）

2.1 创建目录结构

mkdir -p /usr/soft/zookeeper/{data,datalog,logs,conf}
mkdir -p /usr/soft/clickhouse-server/{main,sub}/{data,conf,log}
# 任何用户都能写入
chmod -R 777 /usr/soft/clickhouse-server/main/{data,log}
chmod -R 777 /usr/soft/clickhouse-server/sub/{data,log}

2.2 准备 ZooKeeper 配置文件

在 每台服务器 的 /usr/soft/zookeeper/conf/zoo.cfg 中写入相同内容（注意 IP 改为您实际环境）：

dataDir=/data
dataLogDir=/datalog
tickTime=2000
initLimit=5
syncLimit=2
clientPort=2181
autopurge.snapRetainCount=3
autopurge.purgeInterval=0
maxClientCnxns=60

server.1=192.168.50.6:2888:3888
server.2=192.168.50.157:2888:3888
server.3=192.168.50.110:2888:3888

2.3 准备 ClickHouse 配置文件

(1) 获取基础配置（任选一台执行）
docker run --rm -d --name=temp-ch docker.1ms.run/clickhouse/clickhouse-server:26.4
docker cp temp-ch:/etc/clickhouse-server/ /etc/
docker rm -f temp-ch

然后将 /etc/clickhouse-server 复制到 /usr/soft/clickhouse-server/main/conf 和 /usr/soft/clickhouse-server/sub/conf。

# 复制配置到 main
cp -r /etc/clickhouse-server/* /usr/soft/clickhouse-server/main/conf/
# 复制配置到 sub
cp -r /etc/clickhouse-server/* /usr/soft/clickhouse-server/sub/conf/

# 将配置分发到 server02 和 server03或者手动复制
scp -r /usr/soft/clickhouse-server/main/ server02:/usr/soft/clickhouse-server/main/
scp -r /usr/soft/clickhouse-server/main/ server03:/usr/soft/clickhouse-server/main/
scp -r /usr/soft/clickhouse-server/sub/ server02:/usr/soft/clickhouse-server/sub/
scp -r /usr/soft/clickhouse-server/sub/ server03:/usr/soft/clickhouse-server/sub/
(2) 修改 config.xml

/usr/soft/clickhouse-server/main/conf/config.xml 中添加或修改以下内容（其他保持默认）：

<listen_host>0.0.0.0</listen_host>
<timezone>Asia/Shanghai</timezone>
<!-- 删除原有 <remote_servers> 节点，并添加以下配置（与 <remote_servers> 同级） -->
<remote_servers incl="clickhouse_remote_servers" />
<include_from>/etc/clickhouse-server/metrika.xml</include_from>
<zookeeper incl="zookeeper-servers" optional="true" />
<macros incl="macros" optional="true" />

默认配置中可能还有 <listen_host>::</listen_host>（IPv6）或其他 listen_host 节点。建议：只保留一个 <listen_host>0.0.0.0</listen_host>，将其他的都注释掉或删除，避免配置冲突。

  • Sub 实例需额外修改端口（避免与 Main 冲突）：
    /usr/soft/clickhouse-server/sub/conf/config.xml 中除了上述修改外，还需将端口改为：
 <!-- 改为未被占用的端口 -->
<http_port>8124</http_port>
<tcp_port>9001</tcp_port>
<mysql_port>9005</mysql_port>
<postgresql_port>9006</postgresql_port>  
<interserver_http_port>9010</interserver_http_port>
(3) 创建 metrika.xml

在 main/conf 和 sub/conf 中创建metrika.xml 。

vi /usr/soft/clickhouse-server/main/conf/metrika.xml
vi /usr/soft/clickhouse-server/sub/conf/metrika.xml

除了 <macros> 节点外，其余内容完全一致。下面列出 所有实例的 macros 值：

服务器实例layershardreplica
server01ch-main0101cluster01-01-1
server01ch-sub0102cluster01-02-2
server02ch-main0102cluster01-02-1
server02ch-sub0103cluster01-03-2
server03ch-main0103cluster01-03-1
server03ch-sub0101cluster01-01-2

完整 metrika.xml 模板（除 macros 外相同，请复制到所有实例的配置目录）：

<yandex>
    <clickhouse_remote_servers>
        <cluster_3s_1r>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server01</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server03</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server02</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server01</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server03</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server02</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
        </cluster_3s_1r>
    </clickhouse_remote_servers>

    <zookeeper-servers>
        <node index="1">
            <host>192.168.50.6</host>   
            <port>2181</port>
        </node>
        <node index="2">
            <host>192.168.50.157</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>192.168.50.110</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

    <macros>
        <layer>01</layer>
        <shard>01</shard>             <!-- 每个实例按上表修改 -->
        <replica>cluster01-01-1</replica>
    </macros>

    <networks>
        <ip>::/0</ip>
    </networks>

    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>
(4) 修改每个main和sub的 /conf/users.d/default-user.xml 配置

如果不设置密码：

<clickhouse>
  <!-- Docs: <https://clickhouse.com/docs/operations/settings/settings_users/> -->
  <users>
    <default>
      <!-- User default is available only locally -->
      <networks>
        <ip>::/0</ip>
      </networks>
    </default>
  </users>
</clickhouse>

如果设置密码：

<clickhouse>
  <users>
    <default>
      <password>你的密码</password> 
      <networks>
        <ip>::/0</ip>
      </networks>
    </default>
  </users>
</clickhouse>

如果设置密码，在每台服务器的 metrika.xml 中，为所有 配置相同的密码，例如123456：

 <clickhouse_remote_servers>
        <cluster_3s_1r>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server01</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server03</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server02</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server01</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server03</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server02</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
        </cluster_3s_1r>
    </clickhouse_remote_servers>

3. 每台服务器的 docker-compose.yml

在每台服务器上创建 /usr/soft/docker-compose.yml（或任意位置），内容如下：

version: '3.8'

services:
  zookeeper:
    image: docker.1ms.run/library/zookeeper:3.9.5
    container_name: zookeeper_node
    network_mode: host
    restart: always
    environment:
      ZOO_MY_ID: ${ZOO_MY_ID}       # 通过 .env 文件注入
    volumes:
      - /usr/soft/zookeeper/data:/data
      - /usr/soft/zookeeper/datalog:/datalog
      - /usr/soft/zookeeper/logs:/logs
      - /usr/soft/zookeeper/conf:/conf

  ch-main:
    image: docker.1ms.run/clickhouse/clickhouse-server:26.4
    container_name: ch-main
    network_mode: host
    restart: always
    hostname: ${HOSTNAME}           # 必须与 /etc/hosts 中的名称一致
    extra_hosts:
      - "server01:192.168.50.6"
      - "server02:192.168.50.157"
      - "server03:192.168.50.110"
    ulimits:
      nofile:
        soft: 262144
        hard: 262144
    volumes:
      - /usr/soft/clickhouse-server/main/data:/var/lib/clickhouse:rw
      - /usr/soft/clickhouse-server/main/conf:/etc/clickhouse-server:rw
      - /usr/soft/clickhouse-server/main/log:/var/log/clickhouse-server:rw
    depends_on:
      - zookeeper

  ch-sub:
    image: docker.1ms.run/clickhouse/clickhouse-server:26.4
    container_name: ch-sub
    network_mode: host
    restart: always
    hostname: ${HOSTNAME}
    extra_hosts:
      - "server01:192.168.50.6"
      - "server02:192.168.50.157"
      - "server03:192.168.50.110"
    ulimits:
      nofile:
        soft: 262144
        hard: 262144
    volumes:
      - /usr/soft/clickhouse-server/sub/data:/var/lib/clickhouse:rw
      - /usr/soft/clickhouse-server/sub/conf:/etc/clickhouse-server:rw
      - /usr/soft/clickhouse-server/sub/log:/var/log/clickhouse-server:rw
    depends_on:
      - zookeeper

4. 环境变量文件（.env）

在 /usr/soft/ 下创建 .env 文件，每台服务器内容不同：
vi /usr/soft/.env
server01

ZOO_MY_ID=1
HOSTNAME=server01

server02

ZOO_MY_ID=2
HOSTNAME=server02

server03

ZOO_MY_ID=3
HOSTNAME=server03

5. 启动集群

  1. 确保 /etc/hosts 已配置三台服务器的 IP 和主机名（与 extra_hosts 一致）。
  2. 进入 Compose 文件所在目录，执行：
cd  /usr/soft/
docker-compose up -d
  1. 检查状态：
docker-compose ps
  1. 进入任意 ClickHouse 容器验证集群：
# 无密码
docker exec -it ch-main clickhouse-client 
# 已设置密码是123456
docker exec -it ch-main clickhouse-client --password 123456

6. 测试分布式表（示例）

在任一实例上执行（集群名称 cluster_3s_1r 需与 metrika.xml 一致）：

CREATE TABLE test_new ON CLUSTER cluster_3s_1r
(
    id UInt32,
    name String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/test_new', '{replica}')
ORDER BY id;

# 创建分布式表（用于查询所有分片）
CREATE TABLE test_new_all ON CLUSTER cluster_3s_1r
AS test_new
ENGINE = Distributed(cluster_3s_1r, default, test_new, rand());

# 插入测试数据 在任意一个节点上执行
INSERT INTO test_new VALUES (1, 'Alice'), (2, 'Bob'), (3, 'Charlie');
# 查询分布式表（验证数据是否跨节点可见）期望结果应返回全部 3 行数据。
SELECT * FROM test_new_all ORDER BY id;
# 查询每个节点本地表，验证数据副本同步。分别在各个节点上执行，应都能看到全部数据。
 SELECT * FROM test_new

在这里插入图片描述

为方便参考各节点配置，已做分享：
夸克：
链接：https://pan.quark.cn/s/ac5aa6dcdbd6
提取码：uzMX
百度：
链接：https://pan.baidu.com/s/1v_9Ia85uF1INODvC2Aub9A?pwd=qe1m
提取码：qe1m

Win Docker ClickHouse 数据卷挂载方案：解决本地目录写入权限与Inode限制
weixin_30955617的博客
03-29 420
本文详细解析了Windows系统下Docker部署ClickHouse时遇到的本地目录挂载权限与Inode限制问题，并提供了数据卷挂载的解决方案。通过对比绑定挂载与数据卷的优劣，给出了docker-compose.yml的完整配置及日常管理命令，帮助用户高效部署和优化ClickHouse数据库性能。
Sentry 自托管实战：Docker Compose 部署与常见问题解析
weixin_28842269的博客
02-21 368
本文详细解析了使用Docker Compose自托管部署Sentry的完整实战流程。从服务器环境准备、Docker安装，到核心部署步骤与常见网络超时问题的解决方案，再到部署后的运维、升级与故障排查指南，旨在帮助开发者高效、稳定地在自有服务器上搭建企业级错误监控平台，实现数据自主与成本控制。
Docker快速搭建Clickhouse数据库服务
09-28 941
本文介绍了如何在linux中通过docker来搭建clickhouse数据库服务，并远程连接使用，让我们拿下它。
Docker利用docker-compose 实现项目的一键部署(支持多项目bu‘shu部署)
java菜鸟的博客
08-19 465
使用 docker-compose 部署项目大致流程分享
ClickHouse+Docker实战：如何用数据卷替代本地目录挂载解决写入问题
ujm567890的博客
02-20 894
本文深入探讨了在Windows环境下使用Docker部署ClickHouse时，因文件系统不匹配导致本地目录挂载失败的根源，并提供了使用Docker数据卷的解决方案。通过对比数据卷与绑定挂载的优势，并结合详细的Docker Compose配置示例，指导用户如何构建稳定、高性能且易于维护的ClickHouse生产环境部署架构。
5分钟完成TSBS环境搭建：Linux与Docker部署方案对比
gitblog_00465的博客
02-22 1129
Time Series Benchmark Suite（TSBS）是一款强大的时间序列数据库性能测试工具，能够帮助开发者对比和评估不同数据库的性能表现。本文将为你详细介绍两种快速部署TSBS的方案，让你在5分钟内完成环境搭建，轻松开始时间序列数据库的性能测试工作。 ## 📋 准备工作 在开始部署TSBS之前，请确保你的系统满足以下基本要求： - Linux操作系统（推荐Ubuntu 18.
Langfuse 自托管本地安装指南（Docker Compose）
最新发布
beiduofen2011的专栏
06-25 331
mystu 项目采用接收 Agent 链路追踪数据（见本文从零讲解：需要装什么、怎么装、装完如何拿到 API Key 并接到 mystu 的.env。，适合本地开发、内网测试与中小规模部署；生产高可用请另看。
Windows Docker下ClickHouse数据卷挂载避坑指南：为什么本地目录写入失败？
weixin_28826545的博客
03-03 233
本文深入解析了在Windows Docker环境下部署ClickHouse时，因文件系统不兼容导致本地目录挂载写入失败的根源，并提供了根本解决方案。文章指出，问题核心在于Windows NTFS/WSL2与Linux文件系统（如ext4）的inode管理差异，而非简单的权限问题。我们强烈推荐使用Docker数据卷替代本地目录绑定挂载，以彻底规避兼容性障碍，确保ClickHouse稳定运行和最佳性能。
ClickHouse在Windows Docker中的最佳实践：为什么数据卷比本地挂载更靠谱？
theta的博客
02-19 198
本文深入探讨了在Windows Docker环境中部署ClickHouse时，为何使用Docker数据卷比挂载本地目录更可靠。文章剖析了Windows（WSL2）与Linux文件系统间的底层冲突，指出数据卷能提供原生Linux文件语义，彻底解决权限错误和性能瓶颈，是保障ClickHouse稳定高效运行的最佳实践。
【脚本整理】docker-compose 部署prometheus + grafana
学亮编程手记
08-22 972
https://blog.csdn.net/miss1181248983/article/details/107496421
Docker快速部署OpenMetadata：5分钟构建企业级元数据平台
gitblog_01083的博客
06-14 329
还在为元数据管理平台的复杂部署而烦恼吗？数据治理团队经常面临环境配置繁琐、依赖冲突、部署耗时等问题，导致数据发现和血缘分析项目迟迟无法上线。本文将为你提供一份完整的OpenMetadata Docker部署指南，让你在5分钟内启动一个功能完整的元数据管理平台，专注于数据治理而不是环境配置。 OpenMetadata是一个开源的元数据管理平台，它提供了统一的数据发现、数据血缘、数据质量监控和业务语
DBX安装教程：5分钟上手轻量级数据库管理工具（桌面端+Docker版）
gitblog_01170的博客
06-06 433
DBX是一款仅15MB大小的轻量级跨平台数据库客户端，支持MySQL、PostgreSQL、SQLite、Redis、MongoDB等多种数据库，让你无需复杂配置即可快速管理各类数据库。本文将详细介绍桌面端和Docker两种安装方式，帮助你在5分钟内完成部署并开始使用。 ## 一、桌面端安装：3步完成极速部署 ### 1.1 获取安装包 访问项目仓库获取最新安装包： ```bash git
docker一键化部署nginx+redis哨兵+mysql环境
qq_41924796的博客
03-05 499
1. 需要一台linux系统的设备 本人系统：cenos7.5 2. 安装docker社区版 1: 安装必要的一些系统工具 yum install -y yum-utils device-mapper-persistent-data lvm2 2: 添加软件源信息 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/...
如何快速部署INFRA开源项目：企业级AI代理的安全沙箱解决方案
gitblog_00418的博客
04-21 737
INFRA是一个强大的开源基础设施项目，专为企业级AI代理提供安全沙箱环境。通过本指南，您将学习如何轻松安装和使用INFRA，快速搭建属于自己的安全沙箱基础设施。 ## 项目简介：INFRA是什么？ INFRA（Infrastructure that's powering E2B Cloud）是一个开源项目，主要功能是为企业级AI代理提供安全沙箱环境。它支持自托管部署，让您能够完全掌控自己的A
docker的安装及常用容器的生成
m0_37635053的博客
04-13 2881
docker的安装及常用容器的生成
DataEase快速上手：3步搞定数据可视化平台部署与使用指南 [特殊字符]
gitblog_00650的博客
03-24 680
DataEase是一款开源的数据可视化分析工具，帮助用户快速分析数据并洞察业务趋势，实现业务改进与优化。这个人人可用的开源BI工具支持丰富的数据源连接，通过拖拉拽方式快速制作图表，并方便地与他人分享。今天，我将为您详细介绍如何快速上手DataEase数据可视化平台。 DataEase 10000星标成就 ## 为什么选择DataEase数据可视化工具？ 🤔 DataEase作为一款开源BI
VoAPI入门指南：如何在5分钟内快速部署你的第一个AI模型接口管理系统
gitblog_00069的博客
06-07 435
🎉 想要快速搭建一个功能强大的AI大模型API聚合分发系统吗？VoAPI正是您需要的终极解决方案！作为一款全新下一代高颜值、高性能、高扩展的智能AI大模型API聚合分发系统，VoAPI能够帮助您在短短5分钟内完成部署，轻松管理多个AI模型的接口服务。无论您是开发者还是企业用户，这款智能AI大模型API管理系统都能为您提供完整的解决方案。 ## 🚀 为什么选择VoAPI智能API管理系统？
从Jupyter Notebook到生产环境的机器学习部署实战
aebe49167的博客
06-17 544
机器学习模型部署（ML Deployment）是连接算法研发与业务价值的关键环节，其核心在于解决Notebook探索性开发与Production系统稳定性、可观测性、可维护性之间的根本矛盾。技术原理上需跨越数据源适配、计算性能压测、API契约定义、运维监控集成四大断层；工程价值体现在降低交付风险、提升模型迭代效率、保障业务SLA；典型应用场景包括信贷风控、个性化推荐、实时反欺诈等需要高可靠预测服务的领域。本文聚焦真实世界（Real World）约束下的落地细节，涵盖FastAPI服务封装、Docker环境固
TinyKVM与Docker对比分析：何时选择硬件虚拟化
gitblog_00022的博客
06-19 321
在当今的云原生和虚拟化领域，**硬件虚拟化**与容器化技术各有千秋。TinyKVM作为一个基于KVM的轻量级用户空间模拟器库，提供了原生性能的硬件虚拟化解决方案。本文将深入对比TinyKVM与Docker，帮助您了解何时选择**硬件虚拟化**技术，何时使用容器化方案。 ## 🔍 技术架构对比 ### TinyKVM：硬件虚拟化的轻量化实现 TinyKVM是一个简单、轻量且专门化的用户空间模
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值