Redis Pipline
Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。一个请求会遵循以下步骤:
- 客户端向服务端发送命令分四步(发送命令->命令排队->命令执行->返回结果),并监听Socket返回,通常以阻塞模式等待服务端响应。
- 服务端处理命令,并将结果返回给客户端。
上面两个步骤就是Round Trip Time(简称RTT,数据包往返于两端的时间)。
如果同时需要执行大量的命令,那么就要等待上一条命令应答后再执行,这中间不仅仅多了RTT(Round Trip Time),而且还频繁调用系统IO,发送网络请求,同时需要Redis多次调用read() 和write() 系统方法,系统方法会将数据从用户态转移到内核态,这样就会对进程上下文有比较大的影响了。
Redis Pipline是什么
Redis Pipline可以一次性发送多个命令给服务端,服务端一次处理完毕后,通过一次响应一次性地将结果返回,通过减少客户端与Redis的通信次数来实现降低往返延迟时间。pipline实现原理是队列,先进先出来保证处理的顺序。
Redis Pipline是为了解决RTT往返时,将命令打包一次性发送,对整个Redis的执行不造成其他任何影响。使用cat cmd.txt | redis-cli --pipe
即可以通过Pipline让Redis批处理cmd.txt内的所有命令。
注意:
- Pipline缓冲的指令只是会依次执行,不保证原子性,如果执行中发生异常,将会继续执行后续指令。
- 使用Pipline组装的命令个数不能太多,有可能造成客户端阻塞的时间过久,同时服务端也被迫回复一个队列,占用内存提升。
官方是这样说的:客户端使用管道发送命令,但服务器将被迫使用内存排队回复。因此,如果需要使用管道发送大量命令,最好将它们作为包含一定数量命令的分批次发送,例如每批10k个命令,读取回复,然后再发送另外10k个命令,以此类推。速度将几乎相同,但所需的额外内存最多只是为这10k个命令排队回复所需的内存。
Pipeline和原生的批量执行命令的区别
- 原生批量命令是原子性的(例如:mset,mget),pipline是非原子性的。
- 原生批量命令一次只能执行一种命令,pipline支持批量执行不同的命令。
- 原生批量命令是服务端实现的,而pipline需要服务端和客户端共同完成。
和Redis事务的区别
- 事务具有原子性,Pipline不具有原子性。
- Pipline一次性将多条命令发送到服务端,事务是一条条的发送,且事务只有在接收到
EXEC
命令后才会执行。 - 执行事务的时候会阻塞其他命令的执行,但是Pipline中的命令不会。