redis-避免生产环境使用keys命令

redis踩坑，不要在生产环境使用 keys 命令

redis作为内存数据库, 有着很高的性能, Redis能读的速度是110000次/s, 写的速度是81000次/s;

除了进行持久化操作时, redis采用的是单线程架构, 所以如果我们在开发中不恰当的使用一些命命令, 就很有可能导致意料之外的结果, 比如如果redis中有千万级别的key, 而我们在程序中使用

keys pattern

命令来匹配相关的键, 那么大概率会导致redis的阻塞设置宕机;

测环境中模拟生产环境, 快速生成百万级别的key-value键值对

注意, 下面的命令仅用于测试, 不要再生产环境使用

127.0.0.1:6379> debug populate 2000000
OK
(1.29s)

127.0.0.1:6379> DBSIZE
(integer) 2000001
           

通过上面的命令, 在redis中生成了200万个key, 竟然是测试, 那么执行下

keys *

也无妨, 执行完后, 通过

slowlog get 5

来查看最近5条执行速度慢的命令, 因为redis是单线程的, 所以这命令会导致redis阻塞, 图中也可看出,

KEYS *

输入完并回车等了一段时间, 屏幕上才开始输出结果

使用scan命令代替KEYS

ps: scan命令需要保证redis的版本在2.8以上

SCAN 命令用于迭代当前数据库中的数据库键

SCAN cursor [MATCH pattern] [COUNT count] [TYPE type]

个人觉得SCAN的COUNT参数的设置是比较重要的, 大了, 会导致单次命令执行时间太长; 小了, 会导致需要迭代的次数太多, 导致耗时太久;

下面先通过

slowlog reset

清空慢日志记录, 然后执行

SCAN 0 MATCH 'key:2000*' COUNT 50000

去匹配key, 然后再去查看慢执行日志

127.0.0.1:6379> SLOWLOG reset
OK
127.0.0.1:6379> SCAN 0 MATCH 'key:2000*' COUNT 50000
1) "1623648"
2) 1) "key:200004"
127.0.0.1:6379> SLOWLOG get 1
1) 1) (integer) 18
   2) (integer) 1600503739
   3) (integer) 35363
   4) 1) "SCAN"
      2) "0"
      3) "MATCH"
      4) "key:2000*"
      5) "COUNT"
      6) "50000"
   5) "127.0.0.1:42434"
   6) ""
           

可以看到, 设置了

COUNT

为50000时, slowlog记录了这条命令, 那么再把

COUNT

调小进行测试, 在我的电脑上的将

COUNT

参数设置为12500时, SCAN命令不会出现在slowlog中

C#使用StackExchange.Redis通过SCAN命令来模式匹配KEY

• 建立控制台项目
• 安装nuget包

  StackExchange.Redis

• 代码:

  class Program

  {

  static void Main(string[] args)

  var redis = ConnectionMultiplexer.Connect("localhost, password=123456789");

  var db = redis.GetDatabase();

  var server = redis.GetServer(redis.GetEndPoints(true).FirstOrDefault());

  var sw = new Stopwatch();
      sw.Start();
      var keys = server.Keys(pattern: "key:2000*", pageSize: 5000, database: db.Database);
      sw.Stop();
      Console.WriteLine($"time used: {sw.ElapsedMilliseconds}ms, matched keys: {keys.Count()}");
  
      Console.ReadLine();
  }
             

  }

执行结果

time used: 1ms, matched keys: 111

注意下:

var keys = server.Keys(pattern: "key:2000*", pageSize: 5000, database: db.Database);

这句, 这个方法的

pageSize

参数, 就对应了

SCAN

命令的COUNT参数, 我这边测试下来, 设置为5000时命令不会出现在

slowlog

的记录中

总结

redis中如果要通过模式匹配的方式来查询某个字符串, 有

KEYS

命令和

SCAN

命令, 这两个命令的时间复杂度都是

O(N)

, 而redis又是单线程的设计, 使用不当会导致阻塞严重的话甚至宕机, 所以生产环境如果redis中key的数量在百万或千万级别(如果用户量很大的话, 这个量级应该很容易达到的), 要避免使用

KEYS

命令, 谨慎使用

SCAN

命令; 对于

KEYS

命令, 生产环境中, 它是比较危险的一个命令, 可以将它重命名, 使其无法轻易使用

rename-command KEYS eIiGXix4A2DreBBsQwY6YHkidcDjoYA2DreBBsQ

参考

• Redis危险命令重命名、禁用
• w3cschool-redis手册

作者：Laggage

出处：https://www.cnblogs.com/laggage/p/13696895.html

说明：转载请注明来源