🔬
OpenResty 最佳实践
  • 序
  • 入门篇
  • Lua 入门
    • Lua 简介
    • Lua 环境搭建
    • Lua 编辑器选择
    • 基础数据类型
    • 表达式
    • 控制结构
      • if/else
      • while
      • repeat
      • for
      • break,return 和 goto
    • Lua 函数
      • 函数的定义
      • 函数的参数
      • 函数返回值
      • 全动态函数调用
    • 模块
    • String 库
    • Table 库
    • 日期时间函数
    • 数学库函数
    • 文件操作
  • Lua 高阶
    • 元表
    • 面向对象编程
    • 局部变量
    • 判断数组大小
    • 非空判断
    • 正则表达式
    • 虚变量
    • 抵制使用 module() 定义模块
    • 调用代码前先定义函数
    • 点号与冒号操作符的区别
    • module 是邪恶的
    • FFI
    • 什么是 JIT
  • Nginx
    • Nginx 新手起步
    • location 匹配规则
    • 静态文件服务
    • 日志
    • 反向代理
    • 负载均衡
    • 陷阱和常见错误
  • OpenResty
    • 环境搭建
      • Windows 平台
      • CentOS 平台
      • Ubuntu 平台
      • Mac OS X 平台
    • Hello World
    • 与其他 location 配合
    • 获取 uri 参数
    • 获取请求 body
    • 输出响应体
    • 日志输出
    • 简单 API Server 框架
    • 使用 Nginx 内置绑定变量
    • 子查询
    • 不同阶段共享变量
    • 防止 SQL 注入
    • 如何发起新 HTTP 请求
    • 如何完成 bit 操作
      • 一,复习二进制补码
      • 二,复习位运算
      • 三,LuaJIT 和 Lua BitOp Api
      • 四,位运算算法实例
      • 五,Lua BitOp 的安装
  • LuaRestyRedisLibrary
    • 访问有授权验证的 Redis
    • select+set_keepalive 组合操作引起的数据读写错误
    • redis 接口的二次封装(简化建连、拆连等细节)
    • redis 接口的二次封装(发布订阅)
    • pipeline 压缩请求数量
    • script 压缩复杂请求
    • 动态生成的 lua-resty-redis 模块方法
  • LuaCjsonLibrary
    • json 解析的异常捕获
    • 稀疏数组
    • 空 table 编码为 array 还是 object
  • PostgresNginxModule
    • 调用方式简介
    • 不支持事务
    • 超时
    • 健康监测
    • SQL 注入
  • LuaNginxModule
    • 执行阶段概念
    • 正确的记录日志
    • 热装载代码
    • 阻塞操作
    • 缓存
    • sleep
    • 定时任务
    • 禁止某些终端访问
    • 请求返回后继续执行
    • 调试
    • 请求中断后的处理
    • 我的 lua 代码需要调优么
    • 变量的共享范围
    • 动态限速
    • shared.dict 非队列性质
    • 正确使用长链接
    • 如何引用第三方 resty 库
    • 典型应用场景
    • 怎样理解 cosocket
    • 如何安全启动唯一实例的 timer
    • 如何正确的解析域名
  • LuaRestyDNSLibrary
    • 使用动态 DNS 来完成 HTTP 请求
  • LuaRestyLock
    • 缓存失效风暴
  • OpenResty 与 SSL
    • HTTPS 时代
    • 动态加载证书和 OCSP stapling
    • TLS session resumption
  • 测试
    • 代码静态分析
    • 单元测试
    • 代码覆盖率
    • API 测试
    • 性能测试
    • 持续集成
    • 灰度发布
      • 分流引擎设计
      • 控制台开发
      • 向运维平台发展
  • Web 服务
    • API 的设计
    • 数据合法性检测
    • 协议无痛升级
    • 代码规范
    • 连接池
    • C10K 编程
    • TIME_WAIT 问题
    • 与 Docker 使用的网络瓶颈
  • 火焰图
    • 什么是火焰图
    • 什么时候使用
    • 如何安装火焰图生成工具
    • 如何定位问题
    • 拓展阅读
    • FAQ
Powered by GitBook
On this page
Edit on GitHub
  1. LuaRestyRedisLibrary

script 压缩复杂请求

Previouspipeline 压缩请求数量Next动态生成的 lua-resty-redis 模块方法

Last updated 2 years ago

从 章节,我们知道对于多个简单的 Redis 命令可以汇聚到一个请求中,提升服务端的并发能力。然而,在有些场景下,我们每次命令的输入需要引用上个命令的输出,甚至可能还要对第一个命令的输出做一些加工,再把加工结果当成第二个命令的输入。pipeline 难以处理这样的场景。庆幸的是,我们可以用 Redis 里的 script 来压缩这些复杂命令(要求 Redis 2.6.0 版本及以上)。

script 的核心思想 是在 Redis 命令里嵌入 Lua 脚本,来实现一些复杂操作。Redis 中和脚本相关的命令有:

- EVAL            -- 使用内置的 Lua 解释器,可以对 Lua 脚本进行求值。
- EVALSHA         -- 根据给定的 SHA1 校验码,对缓存在服务器中的脚本进行求值。
- SCRIPT DEBUG    -- 开启对脚本的调试 (Redis 3.2.0 版本及以上)。
- SCRIPT EXISTS   -- 检查脚本是否存在于脚本缓存里面。
- SCRIPT FLUSH    -- 清空 Lua 脚本缓存。
- SCRIPT KILL     -- 杀死当前正在运行的 Lua 脚本,当且仅当这个脚本没有执行过任何写操作时,这个命令才生效。
- SCRIPT LOAD     -- 将脚本 script 添加到脚本缓存中,但并不立即执行该脚本。

官网上给出了这些命令的基本语法,感兴趣的同学可以到 查阅。其中 EVAL 的基本语法如下:

EVAL script  numkeys  key [key ...]  arg [arg ...]

参数解析:

  • 第一个参数 script:是一段 Lua 脚本程序。 这段 Lua 脚本不需要(也不应该)定义函数。它运行在 Redis 服务器中。

  • 第二个参数 numkeys:是参数的个数。

  • 第三个参数 key [key ...]:表示在脚本中所用到的那些 Redis 键(key)。 这些键名参数可以在 Lua 中通过全局变量 KEYS 数组,用 1 为基址的形式访问( KEYS[1],KEYS[2],以此类推)。

  • 第四个参数 arg [arg ...]:表示附加参数。 可以在 Lua 中通过全局变量 ARGV 数组访问,访问的形式和 KEYS 变量类似( ARGV[1]、ARGV[2],诸如此类)。

下面是执行 eval 命令的简单例子:

eval "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}" 2 key1 key2 first second
1) "key1"
2) "key2"
3) "first"
4) "second"

OpenResty 中已经对 Redis 的 所有原语操作 进行了封装。下面我们以 EVAL 为例,来看一下如何利用 script 来压缩请求:

# you do not need the following line if you are using
# the ngx_openresty bundle:
lua_package_path "/path/to/lua-resty-redis/lib/?.lua;;";

server {
    location /usescript {
        content_by_lua_block {
            local redis = require("resty.redis")
            local red   = redis:new()

            red:set_timeout(1000) -- 1 sec

            -- or connect to a unix domain socket file listened
            -- by a redis server:
            -- local ok, err = red:connect("unix:/path/to/redis.sock")

            local ok, err = red:connect("127.0.0.1", 6379)
            if not ok then
                ngx.say("failed to connect: ", err)
                return
            end

            -- use scripts in eval cmd
            local id = 1
            local res, err = red:eval([[
                -- 注意在 Redis 执行脚本的时候,从 KEYS/ARGV 取出来的值类型为 string
                local info   = redis.call('get', KEYS[1])
                info         = cjson.decode(info)
                local g_id   = info.gid
                local g_info = redis.call('get', g_id)
                return g_info
            ]], 1, id)

            if not res then
                ngx.say("failed to get the group info: ", err)
                return
            end

            ngx.say(res)

            -- put it into the connection pool of size 100,
            -- with 10 seconds max idle time
            local ok, err = red:set_keepalive(10000, 100)
            if not ok then
                ngx.say("failed to set keepalive: ", err)
                return
            end

            -- or just close the connection right away:
            -- local ok, err = red:close()
            -- if not ok then
            --     ngx.say("failed to close: ", err)
            --     return
            -- end
        }
    }
}

从上面的例子可以看到,我们要根据一个对象的 id 来查询其对应的 gourp 信息,流程如下:

  • 首先,第一个 call 命令从 Redis 中读取 id 为 1(id 的值可以通过参数的方式传递到 script 中)的对象信息,结果一般是 JSON 串;

  • 接着,做一个解码操作,将上面获取到的 JSON 串转换成 Lua 对象;

  • 然后,提取信息中的 groupid 字段;

  • 最后,第二个 call 命令以 groupid 作为 key 查询 groupinfo。

这样我们就可以把两个 get 放到一个 TCP 请求中,做到减少 TCP 请求数量,减少网络延时的效果啦。

pipeline
这里