🔬
OpenResty 最佳实践
  • 序
  • 入门篇
  • Lua 入门
    • Lua 简介
    • Lua 环境搭建
    • Lua 编辑器选择
    • 基础数据类型
    • 表达式
    • 控制结构
      • if/else
      • while
      • repeat
      • for
      • break,return 和 goto
    • Lua 函数
      • 函数的定义
      • 函数的参数
      • 函数返回值
      • 全动态函数调用
    • 模块
    • String 库
    • Table 库
    • 日期时间函数
    • 数学库函数
    • 文件操作
  • Lua 高阶
    • 元表
    • 面向对象编程
    • 局部变量
    • 判断数组大小
    • 非空判断
    • 正则表达式
    • 虚变量
    • 抵制使用 module() 定义模块
    • 调用代码前先定义函数
    • 点号与冒号操作符的区别
    • module 是邪恶的
    • FFI
    • 什么是 JIT
  • Nginx
    • Nginx 新手起步
    • location 匹配规则
    • 静态文件服务
    • 日志
    • 反向代理
    • 负载均衡
    • 陷阱和常见错误
  • OpenResty
    • 环境搭建
      • Windows 平台
      • CentOS 平台
      • Ubuntu 平台
      • Mac OS X 平台
    • Hello World
    • 与其他 location 配合
    • 获取 uri 参数
    • 获取请求 body
    • 输出响应体
    • 日志输出
    • 简单 API Server 框架
    • 使用 Nginx 内置绑定变量
    • 子查询
    • 不同阶段共享变量
    • 防止 SQL 注入
    • 如何发起新 HTTP 请求
    • 如何完成 bit 操作
      • 一,复习二进制补码
      • 二,复习位运算
      • 三,LuaJIT 和 Lua BitOp Api
      • 四,位运算算法实例
      • 五,Lua BitOp 的安装
  • LuaRestyRedisLibrary
    • 访问有授权验证的 Redis
    • select+set_keepalive 组合操作引起的数据读写错误
    • redis 接口的二次封装(简化建连、拆连等细节)
    • redis 接口的二次封装(发布订阅)
    • pipeline 压缩请求数量
    • script 压缩复杂请求
    • 动态生成的 lua-resty-redis 模块方法
  • LuaCjsonLibrary
    • json 解析的异常捕获
    • 稀疏数组
    • 空 table 编码为 array 还是 object
  • PostgresNginxModule
    • 调用方式简介
    • 不支持事务
    • 超时
    • 健康监测
    • SQL 注入
  • LuaNginxModule
    • 执行阶段概念
    • 正确的记录日志
    • 热装载代码
    • 阻塞操作
    • 缓存
    • sleep
    • 定时任务
    • 禁止某些终端访问
    • 请求返回后继续执行
    • 调试
    • 请求中断后的处理
    • 我的 lua 代码需要调优么
    • 变量的共享范围
    • 动态限速
    • shared.dict 非队列性质
    • 正确使用长链接
    • 如何引用第三方 resty 库
    • 典型应用场景
    • 怎样理解 cosocket
    • 如何安全启动唯一实例的 timer
    • 如何正确的解析域名
  • LuaRestyDNSLibrary
    • 使用动态 DNS 来完成 HTTP 请求
  • LuaRestyLock
    • 缓存失效风暴
  • OpenResty 与 SSL
    • HTTPS 时代
    • 动态加载证书和 OCSP stapling
    • TLS session resumption
  • 测试
    • 代码静态分析
    • 单元测试
    • 代码覆盖率
    • API 测试
    • 性能测试
    • 持续集成
    • 灰度发布
      • 分流引擎设计
      • 控制台开发
      • 向运维平台发展
  • Web 服务
    • API 的设计
    • 数据合法性检测
    • 协议无痛升级
    • 代码规范
    • 连接池
    • C10K 编程
    • TIME_WAIT 问题
    • 与 Docker 使用的网络瓶颈
  • 火焰图
    • 什么是火焰图
    • 什么时候使用
    • 如何安装火焰图生成工具
    • 如何定位问题
    • 拓展阅读
    • FAQ
Powered by GitBook
On this page
Edit on GitHub
  1. Web 服务

协议无痛升级

使用度最高的通讯协议,一定是 HTTP 了。优点有多少,相信大家肯定有切身体会。我相信每家公司对 HTTP 的使用都有自己的规则,甚至偏好。这东西没有谁对谁错,符合业务需求、量体裁衣是王道。这里我们想通过亲身体验,告诉大家用好 OpenResty 的一些特性,会给我们带来惊喜。

在产品开发初期,由于其存在极大的不确定性、不稳定性,所以要暴露给开发团队、测试团队完全透明的传输协议,所以我们 1.0 版本就是一个没有任何安全处理的明文版本: HTTP + JSON。但随着产品功能的丰富,质量的逐步提高,具备了一定的交付能力,这时候通讯协议就必须要升级了。

为了更好的安全、效率控制,我们需要支持压缩、防篡改、防重复、简单加密等特性,为此我们设计了全新 2.0 通讯协议。如何让这个协议升级无感知、改动少,并且简单呢?

1.0 明文协议配置

location ~ ^/api/([-_a-zA-Z0-9/]+).json {
    content_by_lua_file /path/to/lua/api/$1.lua;
}

1.0 明文协议引用示例:

# curl http://ip:port/api/hearbeat.json?key=value -d '...'

2.0 密文协议引用示例:

# curl http://ip:port/api/hearbeat.json?key=value&ver=2.0 -d '...'

从引用示例中看到,我们的密文协议主要都是在请求 body 中做的处理。最生硬的办法就是我们在每个业务入口、出口分别做协议的解析、编码处理。如果你只有几个 API 接口,那么直来直去的修改所有 API 接口源码,最为直接,容易理解。但如果你需要修改几十个 API 入口,那就要静下来考虑一下,修改的代价是否完全可控。

最后我们使用了 OpenResty 阶段的概念完成协议的转换。

location ~ ^/api/([-_a-zA-Z0-9/]+).json {
    access_by_lua_file  /path/to/lua/api/protocal_decode.lua;
    content_by_lua_file /path/to/lua/api/$1.lua;
    body_filter_by_lua_file  /path/to/lua/api/protocal_encode.lua;
}

内部处理流程说明:

  • Nginx 中这三个阶段的执行顺序:access --> content --> body_filter;

  • access_by_lua_file:获取协议版本 --> 获取 body 数据 --> 协议解码 --> 设置 body 数据;

  • content_by_lua_file:正常业务逻辑处理,零修改;

  • body_filter_by_lua_file:判断协议版本 --> 协议编码。

刚好前些日子春哥公开了一篇 GitHub 通过引入 OpenResty 解决了 SSL 证书的问题,他们的解决思路和我们差不多。都是利用 access 阶段做一些非标准 HTTP(S)上的自定义修改,但对于已有业务是不需要任何感知的。

我们这个通讯协议的无痛升级,实际上是有很多玩法可以实现,如果我们的业务从一开始有个相对稳定的框架,可能完全不需要操这个心。没有引入框架的原因,一来是现在没有哪个框架比较成熟,二来是从基础开始更容易摸到细节。对于目前 OpenResty 可参考资料少的情况下,我们更倾向于从最小工作集开始,减少不确定性、降低复杂度。

也许在后面,我们会推出自有的开发框架,用来统一规避现在碰到的问题,提供完整、可靠、高效的解决方案,我们正在努力ing,请大家拭目以待。

Previous数据合法性检测Next代码规范

Last updated 2 years ago