AnthonyZero's Bolg

Redis持久化

Redis 提供了多种不同级别的持久化方式:

  • RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot)
  • AOF 持久化记录服务器执行的所有写操作命令,并在服务器启动时,通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存,新命令会被追加到文件的末尾。 Redis 还可以在后台对 AOF 文件进行重写(rewrite),使得 AOF 文件的体积不会超出保存数据集状态所需的实际大小。
  • Redis 还可以同时使用 AOF 持久化和 RDB 持久化。 在这种情况下, 当 Redis 重启时, 它会优先使用 AOF 文件来还原数据集, 因为 AOF 文件保存的数据集通常比 RDB 文件所保存的数据集更完整。
  • 你甚至可以关闭持久化功能,让数据只在服务器运行时存在

RDB(Redis DataBase)

快照是Redis默认开启的持久化方式。这种方式是就是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb

1. 自动发起快照持久化:

可以对redis.conf文本中进行设置,让它在”N秒内数据集至少有M个改动”这一条件被满足时,自动保存一次数据集,默认如下图:
Alt text
save 900 1: 表示900秒内如果超过1个key被修改,则发起快照保存
save 300 10: 表示300秒超过10个key被修改,发起快照保存
save 60 10000:表示60秒超过10000个key被修改,发起快照保存

2. 手动发起快照持久化:

在redis中,我们也可以手动的发起快照保存,来保存我们的数据,常用的命令如下:
save: 同步保存数据到磁盘(在生产环境很少执行SAVE操作,因为它会阻塞所有客户端)
bgsave:异步保存数据到磁盘
shutdown: 关闭redis服务器并备份数据到磁盘

3.快照的运作方式

当 Redis 需要保存 dump.rdb 文件时, 服务器执行以下操作:
1.Redis 调用 fork() ,同时拥有父进程和子进程。
2.子进程将数据集写入到一个临时 RDB 文件中。
3.当子进程完成对新 RDB 文件的写入时,Redis 用新 RDB 文件替换原来的 RDB 文件,并删除旧的 RDB 文件。
这种工作方式使得 Redis 可以从写时复制(copy-on-write)机制中获益。

需要注意的是,每次快照持久化都是将内存数据完整写入到磁盘一次,并不是增量的只同步脏数据。如果数据量大的话,而且写操作比较多,必然会引起大量的磁盘io操作,可能会严重影响性能。 另外由于快照方式是在一定间隔时间做一次的,所以如果redis意外down掉的话,就会丢失最后一次快照后的所有修改。

4.RDB的优点

  • RDB是一个非常紧凑的文件,它保存了Redis在某个时间点上的数据集。这种方式非常适合备份:比如说你可以在最近的24小时内,每小时备份一次RDB文件,并且在每个月的每一天,也备份一个RDB文件。这样的话,即使遇上问题,也可以随时将数据集还原到不同的版本。
  • RDB非常适用于灾难恢复,它只有一个文件,并且内容都非常紧凑,可以(在加密后)将它传送到别的数据中心,或者亚马逊 S3 中。
  • RDB 可以最大化 Redis 的性能:父进程在保存 RDB 文件时唯一要做的就是fork出一个子进程,然后这个子进程就会处理接下来的所有保存工作,父进程无须执行任何磁盘 I/O 操作。
  • RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。

5.RDB的缺点

  • 如果你需要尽量避免在服务器故障时丢失数据,那么RDB不适合你。虽然Redis允许你设置不同的保存点来控制保存RDB文件的频率,但是,因为RDB文件需要保存整个数据集的状态,所以它并不是一个轻松的操作。因此你可能会至少 5 分钟才保存一次RDB文件。在这种情况下,一旦发生故障停机,你就可能会丢失好几分钟的数据
  • 每次保存快照的时候,Redis都要fork出一个子进程,并由子进程来进行实际的持久化工作。在数据集比较庞大时,fork()可能会非常耗时,造成服务器在某某毫秒内停止处理客户端;如果数据集非常巨大,并且 CPU时间非常紧张的话,那么这种停止时间甚至可能会长达整整一秒。虽然 AOF 重写也需要进行 fork(),但无论 AOF 重写的执行间隔有多长,数据的耐久性都不会有任何损失。

AOF(Append Only File)

快照功能并不是非常耐久的,如果Redis因为某些原因而造成故障停机,那么服务器将丢失最近写入、且仍未保存到快照中的那些数据。尽管对于某些程序来说,数据的耐久性并不是最重要的考虑因素,但是对于那些追求完全耐久能力(full durability)的程序来说,快照功能就不太适用了。

而AOF则是一种完全耐久的持久化方式,它以日志的形式来记录每个写操作,每当Redis执行一个改变数据集的命令时(比如SET),这个命令就会被追加到AOF文件的末尾,当Redis重新启动时,程序就可以通过重新执行AOF文件中的命令来达到重建数据集的目的。

AOF持久化方式是默认关闭的,如果要开启,则在配置文件中修改appendonly no改为yes:
Alt text

1.AOF重写机制

因为AOF的运作方式是不断地将命令追加到文件(默认为appendonly.aof)的末尾,所以随着写入命令的不断增加,AOF文件的体积也会变得越来越大超过设定的阈值(默认为AOF文件大小是上次重写后大小的一倍且大于64M)时。Redis就会启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集,也可以自己手动执行bgrewriteaof命令进行重写。

2.AOF追加频率

Alt text
appendfsync always:每次有新命令就追加到AOF文件,性能最慢,但是保证完全的持久化。
appendfsync everysec:每秒钟fsync一次,在性能和持久化方面最好。
appendfsync no:完全依赖操作系统,更快,也更不安全的选择。

推荐(并且也是默认)的措施为每秒 fsync 一次, 这种 fsync 策略可以兼顾速度和安全性

3.AOF的运作方式

AOF重写和RDB创建快照一样,都巧妙地利用了写时复制机制。
1.Redis 执行 fork() ,现在同时拥有父进程和子进程。
2.子进程开始将新 AOF 文件的内容写入到临时文件。
3.对于所有新执行的写入命令,父进程一边将它们累积到一个内存缓存中,一边将这些改动追加到现有 AOF 文件的末尾: 这样即使在重写的中途发生停机,现有的 AOF 文件也还是安全的。
4.当子进程完成重写工作时,它给父进程发送一个信号,父进程在接收到信号之后,将内存缓存中的所有数据追加到新 AOF 文件的末尾。
5.搞定!现在 Redis 原子地用新文件替换旧文件,之后所有命令都会直接追加到新 AOF 文件的末尾。

4.AOF的优点

  • 使用AOF持久化会让Redis变得非常耐久:AOF的默认策略为每秒钟fsync一次,在这种配置下,Redis 仍然可以保持良好的性能,并且就算发生故障停机,也最多只会丢失一秒钟的数据(fsync会在后台线程执行,所以主线程可以继续努力地处理命令请求)。
  • AOF文件是一个只进行追加操作的日志文件(append only log),因此对AOF文件的写入不需要进行seek , 即使日志因为某些原因而包含了未写入完整的命令(比如写入时磁盘已满,写入中途停机,等等),redis-check-aof 工具也可以轻易地修复这种问题。
  • Redis可以在AOF文件体积变得过大时,自动地在后台对AOF进行重写:重写后的新AOF文件包含了恢复当前数据集所需的最小命令集合。整个重写操作是绝对安全的,因为Redis在创建新AOF文件的过程中,会继续将命令追加到现有的AOF文件里面,即使重写过程中发生停机,现有的AOF文件也不会丢失。而一旦新AOF文件创建完毕,Redis就会从旧AOF文件切换到新AOF文件,并开始对新AOF文件进行追加操作。
  • AOF文件有序地保存了对数据库执行的所有写入操作,这些写入操作以Redis协议的格式保存,因此AOF文件的内容非常容易被人读懂,对文件进行分析(parse)也很轻松。导出(export)AOF 文件也非常简单:举个例子,如果你不小心执行了FLUSHALL命令,但只要AOF文件未被重写,那么只要停止服务器,移除AOF文件末尾的FLUSHALL命令,并重启Redis,就可以将数据集恢复到FLUSHALL执行之前的状态。

5.AOF的缺点

  • 对于相同的数据集来说,AOF文件的体积通常要大于RDB文件的体积。
  • 根据所使用的fsync策略,AOF的速度可能会慢于RDB。在一般情况下,每秒fsync的性能依然非常高,而关闭 fsync可以让AOF的速度和RDB一样快,即使在高负荷之下也是如此。不过在处理巨大的写入载入时,RDB可以提供更有保证的最大延迟时间(latency)。

RDB+AOF

当同时开启rdb+aof持久化方式时,Redis启动时会优先加载appendonly.aof文件,如果人为错误修改了aof文件,则Redis服务启动不成功,这时只需redis-check-aof –fix 进行修复的aof文件

附录

  • ps -ef|grep redis 查看redis服务是否进行
  • redis-server /user/redis/redis.conf 指定配置文件运行redis服务
  • redis-cli -p 6379 开启redis客户端
  • redis命令行下 shutdown关闭redis服务 quit/exit退出redis客户端
  • Redis中文官网