Redis 分布式集群操作

标签:Redis首次发布:2024-01-28最近修改:2024-01-28

连接集群

bash
redis-cli -c -p 6380

image-20230612204758257

-c 参数表示 cluster 模式的意思,使用-c 参数时,redis-cli 会自动检测 Redis 集群的配置信息,并将命令路由到正确的节点上执行。

写入数据

单个 key 写入

image-20230612205724867

可以看到当写入 name 的时候 redis 会去计算 name 的 hash 值,hash 值为 5798,对应节点的端口号为 6381,于是自动重定向到 6381 的节点上存储数据。当写入 languages 这个 key 的时候,由于 languages 的 hash 值还在 6381 这个节点上,因此没有发生重定向。

批量 key 操作

image-20230612210259921

当使用 mset 存储多个 key 时很可能会发生错误。这是因为每个 key 的 hash 值不一样,导致可能每个 key 存储在不同的机器上,所以不能一次性同时写入多个 key。要解决这个问题可以使用的方式来一次性存储多个 key。只要为这些 key 指定一个统一的 group,让这个 group 作为计算 slot 的唯一值。

image-20230612210904438

集群查询

查询 key 的 slot

通过 cluster keyslot 可以查询指定 key 的 slot。例如,下面是查询 msg 和 name 的 slot。

image-20230613084639869

查询 slot 中 key 的数量

通过 cluster countkeysinslot 命令可以查看到指定 slot 所包含的 key 的个数。

image-20230613085413510

查询 slot 中的 key

通过 cluster getkeysinslot 命令可以查看到指定 slot 所包含的 key。

image-20230613085632719

故障转移

分布式系统中的某个 master 如果出现宕机,那么其相应的 slave 就会自动晋升为 master。如果原 master 又重新启动了,那么原 master 会自动变为新 master 的 slave。

Master 宕机

通过 cluster nodes 命令可以查看系统的整体架构及连接情况。

image-20230613090609254

可以看到 6380、6381、8382 均为 Master 主机,其中 6380 的 Slave 是 6383;6381 的 Slave 是 6384;6382 的 Slave 是 6385。现在将 6381 关机,再登录 6384 的机器。

image-20230613091327920

可以看到,由于 Master6381 宕机,它的 Slave6384 晋升为 Master 节点。当 6381 重新启动后,6381 会成为 6384 的 Slave。

image-20230613091804544

Master 和 Slave 都宕机

如果某 slot 范围对应节点的 master 与 slave 全部宕机,那么整个分布式系统是否还可以对外提供读服务,就取决于属性 cluster-require-full-coverage 的设置。

image-20230613092221978

该属性有两种取值:

  • yes:默认值。要求所有 slot 节点必须全覆盖的情况下系统才能运行。

  • no:slot 节点不全的情况下系统也可以提供查询服务。

image-20230613093136389

6381 和 6384 现在都关机了。

image-20230613093316893

整个分布式系统已经不能提供服务。

集群扩容

1.启动两个节点

需要添加两个新的节点:端口号为 6386 的节点为 master 节点,其下会有一个端口号为 6387 的 slave 节点。写好相应配置文件以后就能启动。

image-20230613095753565

查询集群的连接情况:

image-20230613101842430

2.添加 master

虽然启动了 6386 和 6387 这两个节点,但是在没有添加到分布式系统之前,它们两个是孤立节点,每个节点与其它任何节点都没有关系。现在需要为 6386 这个 master 分配 slot。通过以下命令:

bash
# 格式:redis-cli --cluster add-node {newHost}:{newPort} {existHost}:{existPort}redis-cli --cluster add-node 192.168.11.10:6386 192.168.11.10:6385

可以将新的节点添加到系统中。其中{newHost}:{newPort}是新添加节点的地址,{existHost}:{existPort}是原系统中的任意节点地址。添加成功后,通过 redis-cli -c -p 6386 cluster nodes 命令可以看到其它 master 节点都分配有 slot,只有新添加的 master 还没有相应的 slot。当然,通过该命令也可以看到该新节点的动态 ID。

image-20230613102754473

3.分配 slot

为新的 master 分配的 slot 来自于其它节点,总 slot 数量并不会改变。所以 slot 分配过程本质是一个 slot 的移动过程。

通过命令:

bash
# 格式:redis-cli --cluster reshard {existIP}:{existPort}redis-cli --cluster reshard 192.168.11.10:6384

开启 slot 分配流程,其中地址{existIP}:{existPort}为分布式系统中的任意节点地址。执行完命令后还要输入需要分配 slot 的数量和分配给谁的 id。

现在要选择要移动 slot 的源节点。有两种方案。如果选择键入 all,则所有已存在 slot 的节点都将作为 slot 源节点,即该方案将进行一次 slot 全局大分配。也可以选择其它部分节点作为 slot 源节点。此时将源节点的动态 ID 复制到这里,每个 ID 键入完毕后回车,然后再复制下一个 slot 源节点动态 ID,直至最后一个键入完毕回车后再键入 done。这里我将 6380 和 6382 这两个机器作为 slot 的源节点,从这两个节点中抽取出 2500 个 slot 给 6386 机器。

其首先会检测指定的 slot 源节点的数据,然后制定出 reshard 的方案。

这里会再进行一次 Q&A 交互,询问是否想继续处理推荐的方案。键入 yes,然后开始真正的全局分配,直至完成。现在查看集群的 slot 分配情况。

可以看到 6386 的 slot 确实分配了,只不过并不是连续的,从 [0~1249] 和 [10923~12172]。总共的 slot 数量:(1249 - 0 + 1) + (12172 - 10923+ 1) = 1250+1250 = 2500。

4.添加 slave

现要将 6387 节点添加为 6386 节点的 slave。当然,首先要确保 6387 节点的 Redis 是启动状态。通过命令:

bash
# 格式redis-cli --cluster add-node {newHost}:{newPort} {existHost}:{existPort} --cluster-slave --cluster-master-id masterIDredis-cli --cluster add-node 192.168.11.10:6387 192.168.11.10:6380 --cluster-slave --cluster-master-id c939dab0c09bb2d28ece43ea3281b31f0ae27fef

可将新添加的节点直接添加为指定 master 的 slave。最后集群连接的结果如下:

image-20230613110743257

集群缩容

下面要将 slave 节点 6387 与 master 节点 6386 从分布式系统中删除。

1.删除 slave 节点

对于 slave 节点,可以直接通过以下命令删除。

bash
# 格式redis-cli --cluster del-node <delHost>:<delPort> delNodeIDredis-cli --cluster del-node 192.168.11.10:6387 0bd67fc99e234126658b1316ccddd7a39f51b6df

image-20230613111425238

2.移出 master 的 slot

在删除一个 master 之前,必须要保证该 master 上没有分配有 slot。否则无法删除。所以,在删除一个 master 之前,需要先将其上分配的 slot 移出。

bash
# 这个IP和端口号必须是分布式系统中存在的IP和端口号redis-cli --cluster reshard 192.168.11.10:6384

接下来就是选择移出的 slot 数量和接收 slot 的机器 ID

image-20230613112252201

What is the receiving node ID?是 6380 这个 master 的机器 ID;ID(c939dab0c09bb2d28ece43ea3281b31f0ae27fef)为 6386 的机器 ID。后面再输入 yes 确认就可以了。整个过程和前面的分配 slot 非常相似。再使用 redis-cli -c -p 6386 cluster nodes 命令查看发现,6386 节点中已经没有 slot 了。

3.删除 master 节点

bash
# 格式redis-cli --cluster del-node <delHost>:<delPort> delNodeIDredis-cli --cluster del-node 192.168.11.10:6386 c939dab0c09bb2d28ece43ea3281b31f0ae27fef

此时再查看集群,发现已经没有了 6386 节点。

image-20230613113302988