redis集群实现（三）集群删除节点-蒲公英云

redis集群里的节点支持动态删除，但是一般情况下不会这么做，只有在节点软硬件升级的时候才会主动让节点下线。删除节点的方式就是redis-cli客户端连接到服务器，然后执行cluster forget node-id就可以了，如果是删除一个从节点的话，集群仍然是可用状态，如果是删除一个主节点的话，集群的槽位不足，就会变成不可用状态。

下边看下我在自己的虚拟机运行的例子

127.0.0.1:7000> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:8
cluster_my_epoch:7
cluster_stats_messages_sent:2058
cluster_stats_messages_received:1596
127.0.0.1:7000> cluster nodes
930daea84150b5fabd32a95592781b27ceab1b71 192.168.39.153:7001 master - 0 1479044139420 2 connected 5461-10922
8a6707d5b9269b6260315b47f300c1ab599733b7 192.168.39.153:7005 slave bdb62bb6ffce71588961f513c74b0d5a1a7145ea 0 1479044141441 6 connected
bdb62bb6ffce71588961f513c74b0d5a1a7145ea 192.168.39.153:7002 master - 0 1479044139925 3 connected 10923-16383
81c884ebfc919ad293f02d797aff1033025ac27e 192.168.39.153:7004 slave 930daea84150b5fabd32a95592781b27ceab1b71 0 1479044140937 2 connected
099cfc6fbb785449a8bf5369a53d21a9e127fa42 192.168.39.153:7000 myself,slave a8081e97862d9cf76c72d364f9a173187376f215 0 0 1 connected
a8081e97862d9cf76c72d364f9a173187376f215 192.168.39.153:7003 master - 0 1479044140430 7 connected 0-5460

从上边的运行结果可以看出，集群有六个节点，分别是192.168.39.153:7000、192.168.39.153:7001、192.168.39.153:7002、192.168.39.153:7003、192.168.39.153:7004、192.168.39.153:7005。对应的node-id是099cfc6fbb785449a8bf5369a53d21a9e127fa42、930daea84150b5fabd32a95592781b27ceab1b71、bdb62bb6ffce71588961f513c74b0d5a1a7145ea、a8081e97862d9cf76c72d364f9a173187376f215、81c884ebfc919ad293f02d797aff1033025ac27e、8a6707d5b9269b6260315b47f300c1ab599733b7。

然后我们删除从节点192.168.39.153:7004

127.0.0.1:7000> cluster forget 81c884ebfc919ad293f02d797aff1033025ac27e
OK
127.0.0.1:7000> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:5
cluster_size:3
cluster_current_epoch:8
cluster_my_epoch:7
cluster_stats_messages_sent:2403
cluster_stats_messages_received:1941

可以看到，删除了节点后，cluster_known_nodes显示的值就是5，如果我们输入cluster nodes会发现原先的192.168.39.153：7004节点就找不到了，因为他已经从每一个节点的记录中删除了。同事我们也看到cluster_state:ok，说明集群状态仍然是可用的。

那我们尝试着删除主节点192.168.39.153：7001看看。

127.0.0.1:7000> cluster forget 930daea84150b5fabd32a95592781b27ceab1b71
OK
127.0.0.1:7000> cluster info
cluster_state:fail
cluster_slots_assigned:10922
cluster_slots_ok:10922
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:5
cluster_size:2
cluster_current_epoch:8
cluster_my_epoch:7
cluster_stats_messages_sent:2627
cluster_stats_messages_received:2165

删除了192.168.39.153：7001后集群状态就是cluster_state:fail，说明集群此时是不可用的。

我们看看redis源代码，看看forget删除节点是怎么实现的，在redis/cluster.c文件里，客户端传入的forget参数会进入clusterCommand函数

—————————————————————————————————
    } else if (!strcasecmp(c->argv[1]->ptr,"forget") && c->argc == 3) { 
        // argv[2]是NODE-ID，查找 NODE-ID 对应的节点
        clusterNode *n = clusterLookupNode(c->argv[2]->ptr);
        // node-id对应的节点不在集群中，返回错误
        if (!n) {
            addReplyErrorFormat(c,"Unknown node %s", (char*)c->argv[2]->ptr);
            return;
    //不能删除客户端连接到的服务器自己，也不能删除自己的master
        } else if (n == myself) {
            addReplyError(c,"I tried hard but I can't forget myself...");
            return;
        } else if (nodeIsSlave(myself) && myself->slaveof == n) { 
            addReplyError(c,"Can't forget my master!");
            return;
        }    
        // 将节点添加到黑名单
        clusterBlacklistAddNode(n);
        // 从集群中删除这个node
        clusterDelNode(n);
    //删除后的下一个服务器周期检查会执行更新状态，保存当前集群配置的操作
        clusterDoBeforeSleep(CLUSTER_TODO_UPDATE_STATE|
                             CLUSTER_TODO_SAVE_CONFIG);
        addReply(c,shared.ok);
    }
—————————————————————————————————

我们继续看clusterBlacklistAddNode函数是如何把node加入到黑名单的

// 把黑名单中的过期节点删除，把当前node加入到黑名单里
void clusterBlacklistAddNode(clusterNode *node) {   
    dictEntry *de;
    sds id = sdsnewlen(node->name,REDIS_CLUSTER_NAMELEN);
    // 查找过期的节点并删除
    clusterBlacklistCleanup();
    // 把node-id节点添加到黑名单里
    if (dictAdd(server.cluster->nodes_black_list,id,NULL) == DICT_OK) {
        id = sdsdup(id);
    }
    // 设置node的过期时间
    de = dictFind(server.cluster->nodes_black_list,id);
    dictSetUnsignedIntegerVal(de,time(NULL)+REDIS_CLUSTER_BLACKLIST_TTL);
    sdsfree(id);
}

下边是删除节点的关键函数，这个函数首先将所有由这个节点负责的槽位都标记成未分配，然后移除这个节点发送的下线报告，最后释放本节点对这个节点的保存，如果此节点是从节点的话，把此节点的父节点的从节点指针中删除这个节点。

void clusterDelNode(clusterNode *delnode) {
    int j;
    dictIterator *di;
    dictEntry *de;
    //删除所有向这个节点迁移和被迁移的槽，最后标记为未分配
    for (j = 0; j < REDIS_CLUSTER_SLOTS; j++) {
        // 取消从此节点迁移槽
        if (server.cluster->importing_slots_from[j] == delnode)
            server.cluster->importing_slots_from[j] = NULL;
        // 取消向此节点迁移槽
        if (server.cluster->migrating_slots_to[j] == delnode)
            server.cluster->migrating_slots_to[j] = NULL;
        // 将所有这个节点负责的槽设置为未分配
        if (server.cluster->slots[j] == delnode)
            clusterDelSlot(j);
    }
    // 移除此节点发送的下线报告
    di = dictGetSafeIterator(server.cluster->nodes);
    while((de = dictNext(di)) != NULL) {
        clusterNode *node = dictGetVal(de);
        if (node == delnode) continue;
        clusterNodeDelFailureReport(node,delnode);
    }
    dictReleaseIterator(di);
    // 将节点从它的主节点的从节点列表中移除
    if (nodeIsSlave(delnode) && delnode->slaveof)
        clusterNodeRemoveSlave(delnode->slaveof,delnode);
    // 释放节点
    freeClusterNode(delnode);
}