Redis Pipline

Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。一个请求会遵循以下步骤:

  1. 客户端向服务端发送命令分四步(发送命令->命令排队->命令执行->返回结果),并监听Socket返回,通常以阻塞模式等待服务端响应。
  2. 服务端处理命令,并将结果返回给客户端。

上面两个步骤就是Round Trip Time(简称RTT,数据包往返于两端的时间)。

ClientRedisServer发送指令处理命令返回结果发送指令处理命令返回结果ClientRedisServer

如果同时需要执行大量的命令,那么就要等待上一条命令应答后再执行,这中间不仅仅多了RTTRound Trip Time),而且还频繁调用系统IO,发送网络请求,同时需要Redis多次调用read()write() 系统方法,系统方法会将数据从用户态转移到内核态,这样就会对进程上下文有比较大的影响了。

Redis Pipline是什么

Redis Pipline可以一次性发送多个命令给服务端,服务端一次处理完毕后,通过一次响应一次性地将结果返回,通过减少客户端与Redis的通信次数来实现降低往返延迟时间pipline实现原理是队列,先进先出来保证处理的顺序。

ClientClientBufferRedisServer发送命令发送命令发送命令发送命令发送所有命令处理命令返回所有结果ClientClientBufferRedisServer

Redis Pipline是为了解决RTT往返时,将命令打包一次性发送,对整个Redis的执行不造成其他任何影响。使用cat cmd.txt | redis-cli --pipe即可以通过Pipline让Redis批处理cmd.txt内的所有命令。

注意

  • Pipline缓冲的指令只是会依次执行,不保证原子性,如果执行中发生异常,将会继续执行后续指令。
  • 使用Pipline组装的命令个数不能太多,有可能造成客户端阻塞的时间过久,同时服务端也被迫回复一个队列,占用内存提升。

官方是这样说的:客户端使用管道发送命令,但服务器将被迫使用内存排队回复。因此,如果需要使用管道发送大量命令,最好将它们作为包含一定数量命令的分批次发送,例如每批10k个命令,读取回复,然后再发送另外10k个命令,以此类推。速度将几乎相同,但所需的额外内存最多只是为这10k个命令排队回复所需的内存。

Pipeline和原生的批量执行命令的区别

  • 原生批量命令是原子性的(例如:mset,mget),pipline是非原子性的。
  • 原生批量命令一次只能执行一种命令,pipline支持批量执行不同的命令。
  • 原生批量命令是服务端实现的,而pipline需要服务端和客户端共同完成。

和Redis事务的区别

  • 事务具有原子性,Pipline不具有原子性。
  • Pipline一次性将多条命令发送到服务端,事务是一条条的发送,且事务只有在接收到EXEC命令后才会执行。
  • 执行事务的时候会阻塞其他命令的执行,但是Pipline中的命令不会。