分类：Redis

2020
11-29

Redis分布式锁python-redis-lock使用方法

python-redis-lock多个redis客户端访问同一个redis服务端，控制并发。github：https://pypi.org/project/python-redis-lock/在使用这个库之前，需要安装如下：pipinstallpython-redis-lock使用锁的示例：lock=redis_lock.Lock(conn,"name-of-the-lock")iflock.acquire(blocking=False):print("Gotthelock.")lock.release()else:print("Someoneelsehasthelock.")上面是单独设置锁的方式，还可以单独设置所有redis... 继续阅读 >

2020
11-29

Redis分布式锁python-redis-lock使用方法

python-redis-lock多个redis客户端访问同一个redis服务端，控制并发。github：https://pypi.org/project/python-redis-lock/在使用这个库之前，需要安装如下：pipinstallpython-redis-lock使用锁的示例：lock=redis_lock.Lock(conn,"name-of-the-lock")iflock.acquire(blocking=False):print("Gotthelock.")lock.release()else:print("Someoneelsehasthelock.")上面是单独设置锁的方式，还可以单独设置所有redis... 继续阅读 >

2020
11-25

浅谈Redis的key和value大小限制

今天研究了下将javabean序列化到redis中存储起来，突然脑袋灵光一闪，对象大小会不会超过redis限制？不管怎么着，还是搞清楚一下比较好，所以就去问了下百度，果然没多少人关心这个问题，没找到比较合适的答案，所以决定还是去官网找吧。找到两句比较关键的话，截图如下。结论redis的key和string类型value限制均为512MB。补充知识：Redis获取所有键值通过遍历获取目标键值：importredisredis=redis.Redis(host='192.24.210.2',... 继续阅读 >

2020
11-25

基于redis key占用内存量分析

Redis的指令看不出哪一类型的key，占用了多少内存，不好分析redis内存开销大的情况下，各应用程序使用缓存的占比。借助第3方工具进行分析1、采用2个工具结合redis-rdb-tools+sqlite2、sqlitelinux服务器都会自带，安装redis-rdb-tools使用pip安装pipinstallredis-rdb-tools源码安装gitclonehttps://github.com/sripathikrishnan/redis-rdb-toolscdredis-rdb-toolspythonsetup.pyinstall如果不成功安装yuminstallpython... 继续阅读 >

2020
11-25

Redis有效时间设置以及时间过期处理操作

本文对redis的过期处理机制做个简单的概述，让大家有个基本的认识。Redis中有个设置时间过期的功能，即对存储在redis数据库中的值可以设置一个过期时间。作为一个缓存数据库，这是非常实用的。如我们一般项目中的token或者一些登录信息，尤其是短信验证码都是有时间限制的，按照传统的数据库处理方式，一般都是自己判断过期，这样无疑会严重影响项目性能。一、有效时间设置：redis对存储值的过期处理实际上是针对该值的键（key）处... 继续阅读 >

2020
11-25

Redis原子计数器incr,防止并发请求操作

一、前言在一些对高并发请求有限制的系统或者功能里，比如说秒杀活动，或者一些网站返回的当前用户过多，请稍后尝试。这些都是通过对同一时刻请求数量进行了限制，一般用作对后台系统的保护，防止系统因为过大的流量冲击而崩溃。对于系统崩溃带来的后果，显然还是拒绝一部分请求更能被维护者所接受。而在各种限流中，除了系统自身设计的带锁机制的计数器外，利用Redis实现显然是一种既高效安全又便捷方便的方式。二、incr命令Redis... 继续阅读 >

2020
11-25

redis incr和incrBy的使用说明

最近用incr和incrBy在接口里做了下埋点统计每天请求总数，这两个命令还是挺好用的，先说下这俩命令吧注：redis后台服务是串行的单线程执行，不存在并发，即多线程调用Incr/incrby方法，在redis服务器上仍然是串行的单线程执行，不存在并发，所以这俩命令都是原子自增、线程安全的。1、Incr命令（菜鸟教程）RedisIncr命令将key中储存的数字值增一。如果key不存在，那么key的值会先被初始化为0，然后再执行INCR操作。... 继续阅读 >

2020
11-25

redis统计APP在线人数的实例

最近有个需求，需要统计APP的在线人数，其实以前也统计过，采取的是上线发送一个请求$this->cache->incr()加1，下线的时候$this->cache->decr()减1，可是这样做的后果是，发现在线人数错的离谱，几千人同是在线。why?原来APP端如果卸载的时候，那么就不会发请求，还有如果非正常终止的时候，也不会发送下线请求？于是乎找一个准备的统计方式1：客户端十分钟发送一次请求，带上序列号，服务器端set('前缀.序列号'，过期时间)，... 继续阅读 >

2020
11-25

window环境redis通过AOF恢复数据的方法

首先要启动AOF持久化配置，在redis.windows-server.conf配置文件中做出如下更改................appendonlyyes#Thenameoftheappendonlyfile(default:"appendonly.aof")appendfilename"appendonly.aof".....................................#appendfsyncalwaysappendfsynceverysec#appendfsyncno....................测试加入不小心清空了数据:打开appendonly.aof文件，将flushall命令删除掉,并将这个文件放到red... 继续阅读 >

2020
11-25

基于Redis位图实现系统用户登录统计

项目需求，试着写了一个简单登录统计，基本功能都实现了，日志数据量小。具体性能没有进行测试~记录下开发过程与代码，留着以后改进！1.需求         实现记录用户哪天进行了登录，每天只记录是否登录过，重复登录状态算已登录。不需要记录用户的操作行为，不需要记录用户上次登录时间和IP地址（这部分以后需要可以单独拿出来存储）区分用户类型查询数据需要精确到天2.分析... 继续阅读 >

2020
11-25

使用redis的increment()方法实现计数器功能案例

一直知道redis可以用来实现计数器功能，但是之前没有实际使用过，昨天碰到一个需求：用户扫码当天达到20次即提示：当日扫码次数达到上限！当时就想到使用redis的递增方法increment()来实现计数器功能，一定要注意redisTemplate和stringRedisTemplate的使用首先设置key：该key我使用了用户id和当天日期作为key的一部分，date：xxxx-xx-xx格式，这样一来该用户在第二天扫码的时候又是一个新key，因为日期不同了设置key的过期时间：实... 继续阅读 >

2020
11-25

Redis密码设置与访问限制实现方法

现在用redis缓存热数据越来越常见了，甚至一些配置，开关等等的东西也写到redis里。原因就是redis简单高效。redis里的数据也越来越重要了，例如一些业务的中间数据会暂时存放在redis里，所以限制redis的访问还是很有必要。本文通过几个手段说一下生产环境中redis的访问权限控制。1、绑定网卡bindredis的配置文件redis.conf中对于网络安全部分有这样一段话##################################NETWORK############################... 继续阅读 >

2020
11-25

使用Redis incr解决并发问题的操作

项目背景：1、新增问题件工单，工单中有工单编码字段，工单编码字段的规则为“WT”+yyyyMMdd+0000001。2、每天的工单生成量是30W，所以会存在并发问题解决思路：1、首先乐观的认为redis不会宕机，对应的缓存不会被清除（除非人为操作，人为操作会有独立的补救办法）2、将工单编码存到缓存中（redis）,其值只存“WT”+yyyyMMdd后面的数字部分；对应的key为：key标识+yyyyMMdd，即每天一个key3、每次生成工单编码时，先调用redis的i... 继续阅读 >

2020
11-19

Docker容器使用宿主机上的mongod/redis等服务详解

我们在本地的开发中为了保证大家都开发环境一直,PHP的扩展,版本保持一致,我们使用了docker.但是由于redis/mongodb在宿主机上,所以通过127.0.0.1是连接不上的前提说明这个是在docker运行容器时使用的桥接模式(默认)时才会发生以上问题.如果使用host模式就没有.所以,我们就是要把是docker的网络模式设置为host模式.具体实现~dockerrun--networkhostphp56补充说明使用了host模式后,则表示宿主机与容器共享宿... 继续阅读 >

2020
11-19

scrapy redis配置文件setting参数详解

scrapy项目setting.py#Resis设置#使能Redis调度器SCHEDULER='scrapy_redis.scheduler.Scheduler'#所有spider通过redis使用同一个去重过滤器DUPEFILTER_CLASS='scrapy_redis.dupefilter.RFPDupeFilter'#不清除Redis队列、这样可以暂停/恢复爬取#SCHEDULER_PERSIST=True#SCHEDULER_QUEUE_CLASS='scrapy_redis.queue.PriorityQueue'#默认队列，优先级队列#备用队列。#SCHEDULER_QUEUE_CLASS='scrapy_redis.queue.FifoQueu... 继续阅读 >

2020
11-19

详解Scrapy Redis入门实战

简介scrapy-redis是一个基于redis的scrapy组件，用于快速实现scrapy项目的分布式部署和数据爬取，其运行原理如下图所示。Scrapy-Redis特性分布式爬取你可以启动多个共享同一redis队列的爬虫实例，多个爬虫实例将各自提取到或者已请求的Requests在队列中统一进行登记，使得Scheduler在请求调度时能够对重复Requests进行过滤，即保证已经由某一个爬虫实例请求过的Request将不会再被其他的爬虫实例重复请求。分布式数据处理将scrapy爬... 继续阅读 >