首页 运维干货一个小改进,解决Redis数据在线加载大痛点

一个小改进,解决Redis数据在线加载大痛点

运维派隶属马哥教育旗下专业运维社区,是国内成立最早的IT运维技术社区,欢迎关注公众号:yunweipai
领取学习更多免费Linux云计算、Python、Docker、K8s教程关注公众号:马哥linux运维

作者介绍
顾伟涛,曾任职于百度、奇虎360,现为杭州铭师堂教育资深DBA,擅长数据库监控、备份、高可用架构设计和自动化运维,对Redis和MongoDB方面有深入研究,关注分布式存储、大数据存储、消息队列、搜索引擎等后端技术。

前言

在使用Redis加载数据过程中存在一个问题,就是必须要重启Redis服务,如果是Redis主从复制架构,这样加载数据,是一件很麻烦的事情,笔者根据Redis启动时加载数据的思想,对Redis进行了改进,实现了在线加载数据,在这里和大家一起探讨下。

设计与实现

本文以Redis 3.0.7为例,根据Redis在启动过程中,加载数据的逻辑,为Redis增加了2个命令,分别为LOADAOF和LOADRDB,分别实现在线加载aof和rdb文件。

在执行 LOADAOF aofile时候,调用 loadAppendOnlyFile函数,加载aof文件数据。具体实现如下:

src/aof.c
新增如下函数:

void loadaofCommand(RedisClient *c) {
    if (server.rdb_child_pid != -1) {
        addReplyError(c,"Background save already in progress");
    } else if (server.aof_child_pid != -1) {
        addReplyError(c,"Can't BGSAVE while AOF log rewriting is in progress");
    } else if (c->argc != 2){
        addReply(c,shared.syntaxerr);
        return;
    } else if (loadAppendOnlyFile(c->argv[1]->ptr) == REDIS_OK) {
        addReplyStatus(c,"online loadaof started,Do not repeat!!!");
    } else {
        addReply(c,shared.err);
    }
}

在执行 LOADRDB 时候,调用函数rdbLoad,加载rdb文件。

src/rdb.c
新增如下函数:

void loadrdbCommand(RedisClient *c) {
    if (server.rdb_child_pid != -1) {
        addReplyError(c,"Background save already in progress");
    } else if (server.aof_child_pid != -1) {
        addReplyError(c,"Can't BGSAVE while AOF log rewriting is in progress");
    } else if (c->argc != 2){
        addReply(c,shared.syntaxerr);
        return;
    } else if (rdbLoad(c->argv[1]->ptr) == REDIS_OK) {
        addReplyStatus(c,"online loadrdb started,Do not repeat !!!");
    } else {
        addReply(c,shared.err);
    }
}

src/Redis.c
在函数 struct RedisCommand RedisCommandTable[]

新增如下一行:

{"loadaof",loadaofCommand,2,"ar",0,NULL,0,0,0,0,0},
{"loadrdb",loadrdbCommand,2,"ar",0,NULL,0,0,0,0,0},

src/Redis.h
在 void bgsaveCommand(RedisClient *c); 下面加入如下两行:

void loadrdbCommand(RedisClient *c);
void loadaofCommand(RedisClient *c);

src/help.h
在函数 struct commandHelp
新增如下内容:

  { "LOADAOF",
    "aof filename",
    "load aof file online",
    9,
    "3.0.7"},
    { "LOADRDB",
    "rdb filename",
    "load rdb file online,which can not repeat !!!",
    9,
    "3.0.7"}

执行以下命令编译Redis
# cd Redis-3.0.7
# make && make PREFIX=/usr/local/Redis30 install

测试结果

一个小改进,解决Redis数据在线加载大痛点插图

可以看出,不重启Redis,可以加载数据了。

应用场景

1、线上数据导入到测试Redis
一般开发由类似需求,用于分析问题和测试。

2、恢复数据
如果Redis出现误操作,可以执行在线加载数据,尤其是在sentinel(s)+Redis主从复制架构中,该方法更加渐变。

注意点

1、如果是Redis主从复制,在主库在线加载aofile/rdbfile时,从库上也需要存在这些文件,否则从库报错退出。

2、执行在线加载操作时候,同样的文件内容,不要重复执行,否则从库异常退出。

如果主库重复执行loadrdb 时候,主库也会异常退出。

该方案还存在着不足之处,在这里只做抛砖引玉,希望和大家一起探讨改进,便于DBA的快捷操作。

本文链接:http://www.yunweipai.com/12248.html

网友评论comments

发表评论

邮箱地址不会被公开。

暂无评论

Copyright © 2012-2021 YUNWEIPAI.COM - 运维派 京ICP备16064699号-6
扫二维码
扫二维码
返回顶部