读缓存 先读取缓存中的数据, 没有才会读取数据库中的数据解决数据库读取压力方式 cache aside 具体读写操作交给应用完成read through 具体读写操作交给缓存层完成, 即使后期修改存储方案, 业务代码不需要修改, 有利于项目的重构和架构升级写缓存 先写入缓存, 再写入数据库解决数据库的写入压力方式 write through 具体写操作交给缓存层完成, 立即更新数据库write behind caching 具体读操作交给缓存层完成, 定时异步更新数据库实现思路 将数据操作保存到消息队列(redis/rabbitMQ等)中, celery作为消费者异步执行转载于:https:/……
# 用户搜索历史列表 user:<用户id>:search_history zset [{value:关键词, score:搜索时间}, {}, {}] # 用户阅读历史列表 user:<用户id>:read_history zset [{value:文章id, score:阅读时间}, {}, {}] # 所有用户的作品数量 # user:<用户id>:art_count string 13 incr/decr user:all:art_count zset [{value: 用户id, score:作品数量}, {}, ] # 所有文章的……
缓存更新 问题 mysql和redis是两个独立的系统, 在并发环境下, 无法保证更新的一致性解决办法 设计分布式锁(redis-setnx)/使用消息队列串行处理 缺点 并发能力差更新数据时, 先写入mysql, 再删除缓存 facebook 主要用于 数据对象 (更新少)数据集合主要还是更新缓存 (更新多, 频繁查询成本高)缓存穿透 问题 黑客会主动访问数据库不存在的数据, 缓存会被穿透, 直接访问数据库, 导致数据库的的访问压力变大解决办法 对于数据库中不存在的数据, 也对其在缓存中设置默认值 一般过期时间会比较短可以设置一些过滤规则, 如布隆过滤器(算法, 用于判断数据是否包含在集合中……
标签：数据库 python
缓存淘汰 (重点) LRU least recently use 优先淘汰最近没有使用的数据LFU least frequently use 优先淘汰使用率最低的数据采用了定期衰减的机制, 防止旧数据始终无法删除缺点 需要每条数据维护一个使用计数 还需要定期衰减面试问题 mysql中有100万数据, 要求redis中保留20万热点数据设置redis内存最大存储空间, 并且设置缓存策略为LFU淘汰配置maxmemory # 最大使用内存数量 如服务器内存10G, 最多给redis分配9G maxmemory-policy volatile-lru # 淘汰策略 转载于:https://www……
过期策略 作用 节省空间实现数据的弱一致性过期策略 定时过期 效率太低, 每个数据都需要设置定时器进行计数惰性过期 查询时, 才去检查数据的有效期, 如果过期, 则返回nil, 并删除过期数据定期过期 每隔100ms, 随机取出一部分数据进行过期校验, 如果过期, 删除数据redis的选择 惰性过期定期过期(每100ms对设置了过期时间的数据随机查询并删除过期数据)转载于:https://www.cnblogs.com/oklizz/p/11420225.html
缓存介绍 作用 减小数据库的访问压力, 提高并发能力多级缓存缓存粒度 缓存某个数值 一个键只保存一个值, 性价比较低, 使用率低场景 验证码缓存数据对象 数据库记录对应的具体数据优点 可以多次复用场景 用户/文章数据缓存数据集合 数据库查询对应的结果集场景 文章/关注列表可以和数据对象配合使用, 方便数据对象的重用缓存视图响应 视图返回的响应数据缺点 复用性比较差项目中主要对 数据集合数据对象 进行缓存, 优点 复用性强, 节省内存数据格式 (重点) 数值 类型 string数据对象 hash 可以直接更新某个字段, 不需要格式转换占用的空间比较多结构化string (json字符串) 更新字……
标签：json 数据库 前端
开源接口管理平台 YApi：http://yapi.demo.qunar.com/ 转载于:https://www.cnblogs.com/oklizz/p/11420184.html
七牛云介绍 项目初期, 数据量小的情况下, 一般会采用第三方的存储方案, 成本比较低, 而且也安全可靠当数据量达到一定的规模, 第三方存储的费用超过自己搭建文件服务, 才会选择搭建自己文件服务系统对象存储服务 OSS使用细节 要求实名认证创建存储空间默认生成测试域名 有效期为一个月 要长期使用则需要绑定自己的域名交互过程 API封装 -安装pip install qiniu from qiniu import Auth, put_datadef upload_file(file_data):"""七牛云上传:param file_data 上传的二进制数据:ret……
刷新token实现流程特点 访问令牌虽然使用频繁, 但是有效期短, 只有两个小时刷新令牌有效期长, 但是访问次数少, 可以减少泄露的风险登录接口 生成令牌访问控制 对于所有的接口都需要获取认证信息 使用请求钩子实现对于指定的接口进行访问控制 使用装饰器请求钩子和装饰器刷新令牌 接口设计# 刷新令牌接口 /v1_0/authorizations # 请求方式 PUT # 请求参数 刷新token 请求头# 响应形式 json {access_token: "xx" } 代码实现拓展阅读-https https的加密过程 https的机制概述 使用免费证书配置https 禁用……
标签：python json
1. jwt 对比状态保持机制 APP不支持状态保持状态保持有同源策略, 默认无法跨服务器传递(nginx可以处理)JWT不会对数据进行加密, 所以数据中不要存放有阅读价值的数据不可逆加密 md5 sha1 sha256主要用于数据认证, 防止数据被修改消息摘要 MD 通过哈希算法将任意长度内容转为定长内容, 且相同内容的哈希值始终相同, 不同内容的哈希值不同(极小概率出现碰撞)由于其唯一性, 一般将数据的哈希值称为数据的摘要信息, 称为数据的"指纹", 用于检测数据是否被修改代表算法 sha1 sha256 md5缺点 哈希算法是公开的, 如果可以获取到明文, 就可以穷举……
多个节点共同保存数据作用 扩展存储空间提高吞吐量, 提高写的性能和单机的不同点 不再区分数据库, 只有0号库, 单机默认0-15不支持事务/管道/多值操作特点 要求至少 三主三从要求必须开启 AOF持久化自动选择集群节点进行存储默认集成哨兵, 自动故障转移配置# 每个节点分别配置ip/端口bind 127.0.0.1port 6379# 集群配置cluster-enabled yes # 开启集群cluster-config-file nodes-7000.conf # 节点日志文件cluster-node-timeout 15000 # 节点超时时长 15秒# 开启AOF 及相关配置……