🔬
OpenResty 最佳实践
  • 序
  • 入门篇
  • Lua 入门
    • Lua 简介
    • Lua 环境搭建
    • Lua 编辑器选择
    • 基础数据类型
    • 表达式
    • 控制结构
      • if/else
      • while
      • repeat
      • for
      • break,return 和 goto
    • Lua 函数
      • 函数的定义
      • 函数的参数
      • 函数返回值
      • 全动态函数调用
    • 模块
    • String 库
    • Table 库
    • 日期时间函数
    • 数学库函数
    • 文件操作
  • Lua 高阶
    • 元表
    • 面向对象编程
    • 局部变量
    • 判断数组大小
    • 非空判断
    • 正则表达式
    • 虚变量
    • 抵制使用 module() 定义模块
    • 调用代码前先定义函数
    • 点号与冒号操作符的区别
    • module 是邪恶的
    • FFI
    • 什么是 JIT
  • Nginx
    • Nginx 新手起步
    • location 匹配规则
    • 静态文件服务
    • 日志
    • 反向代理
    • 负载均衡
    • 陷阱和常见错误
  • OpenResty
    • 环境搭建
      • Windows 平台
      • CentOS 平台
      • Ubuntu 平台
      • Mac OS X 平台
    • Hello World
    • 与其他 location 配合
    • 获取 uri 参数
    • 获取请求 body
    • 输出响应体
    • 日志输出
    • 简单 API Server 框架
    • 使用 Nginx 内置绑定变量
    • 子查询
    • 不同阶段共享变量
    • 防止 SQL 注入
    • 如何发起新 HTTP 请求
    • 如何完成 bit 操作
      • 一,复习二进制补码
      • 二,复习位运算
      • 三,LuaJIT 和 Lua BitOp Api
      • 四,位运算算法实例
      • 五,Lua BitOp 的安装
  • LuaRestyRedisLibrary
    • 访问有授权验证的 Redis
    • select+set_keepalive 组合操作引起的数据读写错误
    • redis 接口的二次封装(简化建连、拆连等细节)
    • redis 接口的二次封装(发布订阅)
    • pipeline 压缩请求数量
    • script 压缩复杂请求
    • 动态生成的 lua-resty-redis 模块方法
  • LuaCjsonLibrary
    • json 解析的异常捕获
    • 稀疏数组
    • 空 table 编码为 array 还是 object
  • PostgresNginxModule
    • 调用方式简介
    • 不支持事务
    • 超时
    • 健康监测
    • SQL 注入
  • LuaNginxModule
    • 执行阶段概念
    • 正确的记录日志
    • 热装载代码
    • 阻塞操作
    • 缓存
    • sleep
    • 定时任务
    • 禁止某些终端访问
    • 请求返回后继续执行
    • 调试
    • 请求中断后的处理
    • 我的 lua 代码需要调优么
    • 变量的共享范围
    • 动态限速
    • shared.dict 非队列性质
    • 正确使用长链接
    • 如何引用第三方 resty 库
    • 典型应用场景
    • 怎样理解 cosocket
    • 如何安全启动唯一实例的 timer
    • 如何正确的解析域名
  • LuaRestyDNSLibrary
    • 使用动态 DNS 来完成 HTTP 请求
  • LuaRestyLock
    • 缓存失效风暴
  • OpenResty 与 SSL
    • HTTPS 时代
    • 动态加载证书和 OCSP stapling
    • TLS session resumption
  • 测试
    • 代码静态分析
    • 单元测试
    • 代码覆盖率
    • API 测试
    • 性能测试
    • 持续集成
    • 灰度发布
      • 分流引擎设计
      • 控制台开发
      • 向运维平台发展
  • Web 服务
    • API 的设计
    • 数据合法性检测
    • 协议无痛升级
    • 代码规范
    • 连接池
    • C10K 编程
    • TIME_WAIT 问题
    • 与 Docker 使用的网络瓶颈
  • 火焰图
    • 什么是火焰图
    • 什么时候使用
    • 如何安装火焰图生成工具
    • 如何定位问题
    • 拓展阅读
    • FAQ
Powered by GitBook
On this page
  • 设计目标:
  • 1. 完全独立
  • 2. 完全分布式,性能可线性扩容
  • 3. 配置动态化
Edit on GitHub
  1. 测试
  2. 灰度发布

分流引擎设计

分流引擎是整个系统的核心,所有功能实现都依托于这个分流引擎,所以设计上是重中之重,这个系统是否好用的关键因素在这里。

我在设计的时候其实看过几个别人做出来的系统,参考了优缺的。

设计目标:

1. 完全独立

只有完全独立,无第三方依赖的程序才具备高健壮性。除非代码有 bug,否则绝不会因为其他因素而带来故障。

事实上正是这点帮我避规了非常多的风险,我想你们应该知道这个分流引擎 ( Nginx ) 是真正面对一线用户的东西,如果健壮性有问题会多么可怕。 完全独立这个目标也包括可以不依赖控制台独立存在。

当然为了这个目标也需要做到很多额外的设计要求,比如共享内存持久化,需要开发一套分流引擎的接口,和一套控制台的接口,完成数据交互对接。

2. 完全分布式,性能可线性扩容

在设计上,所有功能第一考虑要素是需要支持分布式。

比如限流,我们可以使用 Redis 进行全局精确限流,但是 违背了设计目标 1,目标 2 的可线性扩容也不容易做到。

所以,我在设计上采用 Nginx 共享内存进行限流,用控制台对限流值按权重赋值给每一个 Nginx 。

这样的非精确限流设计,事实上才是合理的,因为前端组件不应该做这种业务级别判断,绝对一致的精确限流应该是后端做的。比如库存扣减。

我们 Nginx 这里只保证放到后端的请求是后端可以承受的,但不保证这一秒放过的请求和下一秒完全一样。

3. 配置动态化

最初春哥的 Lua 模块是不支持 balancer_by_lua 阶段的,所以一开始我是采用 access_by_lua 阶段判断分发的目标集群,保存在一个 Nginx 变量里,然后当集群发生改变时,更新集群配置 reload 的。

我们知道 Nginx 的 reload 是有短暂的并发低谷的,所以在发现支持 balancer_by_lua 阶段后,我第一时间修改逻辑,将所有集群配置和分流规则放共享内存。

结合我前面提到的制作一个共享内存持久化的库就可以保证配置动态,但是又独立存在,以后开发的其他功能也可以复用这个设计模式。

最终一个 server 段的配置就这么简单了,其他配置都是固定不变无需调整。 但是在功能开发上需要 尽量 pcall 执行 代码不要在非关键错误上使 Nginx 报 500。

其实如果你只想简单实现动态分发,只要学习下 balancer_by_lua 这个阶段代码的示例怎么写就可以了。还是非常简单的。

在分发判断逻辑上还是需要好好思考的,要足够灵活又要配置简单,还要执行效率高。

我这里采用的配置结构为:

{
    {
        其他的一些配置项,比如分发目标集群编号,超时时间设置
        ['or] = {
            {条件1},
            {条件2}
        }
        ['and] = {
            {条件1},
            {条件2}
        }
    },
    {
        第二个分流规则
    }
}

相同的判断条件是有执行缓存的,其实说到这里,可以得出一个程序界的 终极法则(两多一少):要想快就要 多用缓存、多传址,少 COPY。

Previous灰度发布Next控制台开发

Last updated 2 years ago