技术博客
目录

ClickHouse 分片与集群部署

本文及后续所有文章都以 21.7.3.14-2 做为版本讲解和入门学习

副本虽然能够提高数据的可用性，降低丢失风险，但是每台服务器实际上必须容纳全量数据，对数据的横向扩容没有解决。

要解决数据水平切分的问题，需要引入分片的概念。通过分片把一份完整的数据进行切分，不同的分片分布到不同的节点上，再通过 Distributed 表引擎把数据拼接起来一同使用。

Distributed 表引擎本身不存储数据，有点类似于 MyCat，成为一种中间件，通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据。

注意：ClickHouse 的集群是表级别的，实际企业中，大部分做了高可用，但是没有用分片，避免降低查询性能以及操作集群的复杂性。

# 集群规划

以下是一个 3 分片 2 副本共 6 个节点

# 写入过程

s 代表分片，r 代表副本.internal_replication (内部复制)，为 false 就是非内部复制，hdp1 不止要写道 s1r1 还要给 d1r2 写一次；为 true 是内部复制，让 s1r1 和 s1r2 之间内部同步。该参数推荐为 true

# 读取过程

# 配置步骤

用三台机器来搭建一个集群，haddop103，haddop104，hadoop113，搭建得结构如下图

以上是一个 2 分片，分片 1 有 2 个副本，分片 2 有 1 个副本。因为 clickhouse 本身的原因，没办法让副本互相拥有。

# 配置分片文件

外部文件配置，新建 shard.xml 在 /etc/clickhouse-server/config.d/ 下，注意配置分片的存储位置的 host 是不能重复的，也就意味着不能把分片相互写。以下先改的是 103 服务器。

<?xml version="1.0"?>
<yandex>
  <remote_servers>
    <!-- 集群名称-->
    <gmall_cluster> 
      <!--集群的第1个分片-->
      <shard> 
        <internal_replication>true</internal_replication>
        <!-- 分片1，副本1 -->
        <replica>
          <host>10.240.30.103</host>
          <port>9000</port>
        </replica>
        <!-- 分片1，副本2 -->
        <replica>
          <host>10.240.30.104</host>
          <port>9000</port>
        </replica>
      </shard>
      <!--集群的第2个分片-->
      <shard> 
        <internal_replication>true</internal_replication>
          <!-- 副本往113写一份-->
          <replica> 
            <host>10.240.30.113</host>
            <port>9000</port>
          </replica>
      </shard>
    </gmall_cluster>
  </remote_servers>
  <!-- zookeeper 集群 -->
  <zookeeper-servers>
    <node index="1">
      <host>10.240.30.113</host>
      <port>2181</port>
    </node>
  </zookeeper-servers>
  <!-- 分片和副本命名 -->
  <macros>
    <!-- 第1个分片 -->
    <shard>01</shard>
    <!-- 第1个分片，第1个副本 -->
    <replica>rep_1_1</replica>
  </macros>
</yandex>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45

修改所创建文件的权限，一般我们都是 root 操作的要改成 clickhouse

chown clickhouse:clickhouse shard.xml
1

到 /etc/clickhouse-server/config.xml 中增加

<zookeeper incl="zookeeper-servers" optional="true" />
<include_from>/etc/clickhouse-server/config.d/shard.xml</include_from>
1
2

把配置分发到其他 ck 种，并修改配置文件 shard.xml 文件，以及权限配置等。

# 104
  <!-- 分片和副本命名 -->
  <macros>
    <!-- 第1个分片 -->
    <shard>01</shard>
    <!-- 第1个分片，第2个副本 -->
    <replica>rep_1_2</replica>
  </macros>
# 113
  <!-- 分片和副本命名 -->
  <macros>
    <!-- 第2个分片 -->
    <shard>02</shard>
    <!-- 第2个分片，第1个副本 -->
    <replica>rep_2_1</replica>
  </macros>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

重新启动 ck 集群，然后用客户端连接进去，查看这个集群是否被加进去

show clusters;
1

在启动第三个集群的时候一直报错，但不影响使用。
2021.11.02 19:52:37.521614 [ 40814 ] {} <Error> ServerErrorHandler: Code: 101, e.displayText() = DB::NetException: Unexpected packet from client, Stack trace (when copying this message, always include the lines below):
如果谁遇到并解决了，希望在这里说下。

# 建表

create table st_order_mt on cluster gmall_cluster (
 id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine
=ReplicatedMergeTree('/clickhouse/tables/{shard}/st_order_mt','{replica}')
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id,sku_id);
1
2
3
4
5
6
7
8
9
10
  • 建表会自动同步到其他 ck 上
  • on cluster 关键词固定的，后面跟配 shard.xml 置文件里面的集群名称
  • ReplicatedMergeTree 副本引擎里面的 '{shard}' 和 '{replica}' 会从 < macros > 读取

DB::Exception: There are two exactly the same ClickHouse instances
意思是你的配置里有两个相同的实例，可以检查配置的 remote_servers 里分片是否有相同 host，ck 不允许有相同 host，因为不允许互相存有分片副本。

成功会显示如下信息，并可以在其他服务器上查询到所创建的表

┌─host──────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
│ 10.240.30.113 │ 9000 │      0 │       │                   2 │                0 │
│ 10.240.30.103 │ 9000 │      0 │       │                   1 │                0 │
│ 10.240.30.104 │ 9000 │      0 │       │                   0 │                0 │
└───────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘
1
2
3
4
5

# 删除集群表

删除集群表语法

drop table default.st_order_mt ON CLUSTER gmall_cluster;
1

在我们删除本地表和分布式表后，立即重建是没有问题的。唯一有问题的就是复制表，因为复制表需要在 zookeeper 上建立一个路径，存放相关数据。clickhouse 默认的库引擎是原子数据库引擎，删除 Atomic 数据库中的表后，它不会立即删除，而是会在 480 秒后删除。由下面这个参数控制：

<database_atomic_delay_before_drop_table_sec>480</database_atomic_delay_before_drop_table_sec>
1

其他解决方案:

  • 使用普通数据库而不是原子数据库。 create database … Engine=Ordinary.
  • 使用 uniq ZK 路径。{uuid}/clickhouse/tables/{shard}-{uuid}/
  • 减少 database_atomic_delay_before_drop_table_sec = 0

# 创建分布式表

create table st_order_mt_all2 on cluster gmall_cluster
(
 id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine = Distributed(gmall_cluster,default, st_order_mt,hiveHash(sku_id));
1
2
3
4
5
6
7
  • on cluster 关键词固定的，后面跟配 shard.xml 置文件里面的集群名称
  • Distributed (集群名称，库名，本地表名，分片键)，分片键必须是整形数字，所以用 hiveHash 函数转换，也可以 rand ()

# 插入数据

insert into st_order_mt_all2 values
(201,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(202,'sku_002',2000.00,'2020-06-01 12:00:00'),
(203,'sku_004',2500.00,'2020-06-01 12:00:00'),
(204,'sku_002',2000.00,'2020-06-01 12:00:00'),
(205,'sku_003',600.00,'2020-06-02 12:00:00');
1
2
3
4
5
6

分布式表不存入数据，插入的数据都是给本地表，也就是创建分布式表之前所创建的表插入数据。

上次更新: 6/11/2025, 4:10:30 PM
ClickHouse 副本配置
ClickHouse Explain及建表优化

← ClickHouse Explain及建表优化→

Theme by Vdoing | Copyright © 2023-2025