0%

redis集群

作为目前最为火爆的缓存数据库,redis本身提供了事务、主从、哨兵、集群等各种能力来提高其高并发高可用性,今天咱们就来聊聊redis集群。最基本的,先把集群搭建起来,特此记录!

一、介绍

  1. Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。

  2. Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

    • 节点 A 包含 0 到 5500号哈希槽.
    • 节点 B 包含5501 到 11000 号哈希槽.
    • 节点 C 包含11001 到 16384号哈希槽.

    这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

  3. 为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用,所以集群使用了主从复制模型,每个节点都会有N-1个复制品.在我们例子中具有A,B,C三个节点的集群,在没有复制模型的情况下,如果节点B失败了,那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.然而如果在集群创建的时候(或者过一段时间)我们为每个节点添加一个从节点A1,B1,C1,那么整个集群便有三个master节点和三个slave节点组成,这样在节点B失败后,集群便会选举B1为新的主节点继续服务,整个集群便不会因为槽找不到而不可用了.不过当B和B1 都失败后,集群是不可用的.

二、手动搭建

  1. 下载redis源码,安装
  2. 创建集群目录 mkdir 7000 7001 7002 7003 7004 7005
  3. 创建配置文件redis.conf,添加以下内容
1
2
3
4
5
6
7
8
9
10
11
12
# 端口号,每个目录都不同
port 700X
# 开启集群模式
cluster-enabled yes
#节点超时实际,单位毫秒
cluster-node-timeout 5000
#集群内部配置文件(默认为 nodes.conf)
cluster-config-file nodes.conf
# 启动 AOF
appendonly yes
# 后台运行
daemonize yes
  1. 复制配置文件到每个目录下 cp redis.conf 700X/redis.conf
  2. 启动每个节点 cd 700x && redis-server redis.conf,会生成appendonly.aof和nodes.conf
  3. 关联所有节点 redis-cli -p 7000,然后依次执行 cluster meet 127.0.0.1 7001/2/3/4/5
  4. 分配slot
1
2
3
redis-cli -p 7000 cluster addslots {0..5461}
redis-cli -p 7001 cluster addslots {5462..10922}
redis-cli -p 7002 cluster addslots {10923..16383}
  1. 查看节点状态 redis-cli -p 7000 cluster nodes
1
2
3
4
5
6
aaa6ee613e3dcd71b8fed855b21bb024756aee3d 127.0.0.1:7000@17000 myself,master - 0 1566358053000 1 connected 0-5461
bbbecb53837913721b76742f4004ca76c36167c1 127.0.0.1:7001@17001 master - 0 1566358052406 4 connected 5462-10922
43eebc86c309da5d24900b2affa30a62e8c0c5cb 127.0.0.1:7004@17004 master - 0 1566358052000 3 connected
1cd86051e473f5f9527275f816deea3ec224e5e2 127.0.0.1:7002@17002 master - 0 1566358053516 2 connected 10923-16383
b506e1f1ee1919879ca22d589c4ea0ad8ce5f6a1 127.0.0.1:7005@17005 master - 0 1566358052000 0 connected
ccc9a55802e23eb576a69a2f93596e158077cda9 127.0.0.1:7003@17003 master - 0 1566358053415 5 connected
  1. 设置主从复制
1
2
3
redis-cli -p 7003 cluster replicate 7000的NodeID(aaa6ee613e3dcd71b8fed855b21bb024756aee3d)
redis-cli -p 7004 cluster replicate 7001的NodeID(bbbecb53837913721b76742f4004ca76c36167c1)
redis-cli -p 7005 cluster replicate 7002的NodeID(ccc9a55802e23eb576a69a2f93596e158077cda9)
  1. 测试
1
2
3
4
5
6
7
redis-cli -c -p 7000

set name jack
-> Redirected to slot [5798] located at 127.0.0.1:7001

redis-cli -c -p 7001
get name //jack
  • -c:集群模式,不加此选项执行set命令时会报错(error) MOVED 5798 127.0.0.1:700X
  1. 查看集群信息
    • cluster info
    • cluster nodes

三、ruby脚本安装

  1. 下载redis源码并安装
  2. 创建集群目录 mkdir 6380 6381 6382 6383 6384 6385
  3. 创建配置文件redis.conf,添加以下内容
1
2
3
4
5
6
7
8
9
10
11
12
# 端口号,每个目录都不同
port 638x
# 开启集群模式
cluster-enabled yes
#节点超时实际,单位毫秒
cluster-node-timeout 5000
#集群内部配置文件(默认为 nodes.conf)
cluster-config-file nodes.conf
# 启动 AOF
appendonly yes
# 后台运行
daemonize yes
  1. 复制配置文件到每个目录下 cp redis.conf 638X/redis.conf
  2. 启动每个节点 cd 638x && redis-server redis.conf,会生成appendonly.aof和nodes.conf
  3. cd src && ./redis-trib.rb create --replicas 1 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 127.0.0.1:6385
    • 报错WARNING: redis-trib.rb is not longer available!
    • 根据提示执行 redis-cli --cluster create 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 127.0.0.1:6385 --cluster-replicas 1
  4. 停止服务 $redis-cli -h 127.0.0.1 -p port shutdowns
  5. 查看集群信息
    • cluster info
    • cluster nodes