服务器Nginx重载配置时502瞬断处理

# 触发日志文件重新打开（不会重启Worker进程）
kill -USR1 $(cat /var/run/nginx.pid)

# 在nginx.conf的main配置块中添加
events {
    worker_connections 1024;
}

http {
    # 允许旧Worker最多等待60秒完成现有请求
    worker_shutdown_timeout 60s;
}

# 1. 检查配置语法是否正确
nginx -t

# 2. 发送重载信号（新Worker启动后，旧Worker等待60秒退出）
nginx -s reload

# 3. 监控旧Worker退出情况（可选）
ps aux | grep nginx | grep -v "master"

# 目录结构示例
/etc/nginx/
├── conf.d/               # 静态配置（不变）
├── sites-enabled-v1/     # 当前生效配置（蓝色环境）
├── sites-enabled-v2/     # 新配置（绿色环境）

# 1. 加载新配置到绿色环境
cp /etc/nginx/sites-enabled-v1/example.com /etc/nginx/sites-enabled-v2/
vim /etc/nginx/sites-enabled-v2/example.com  # 修改配置
nginx -t -c /etc/nginx/nginx_v2.conf          # 测试绿色环境配置

# 2. 原子化切换（毫秒级）
ln -sfn /etc/nginx/sites-enabled-v2 /etc/nginx/sites-enabled
nginx -s reload

-- 在OpenResty的init_by_lua_block中注册重载钩子
init_by_lua_block {
    local reload_lock = ngx.shared.dict_name:new("reload_lock", {
        timeout = 60  -- 锁超时时间
    })
}

-- 在需要重载时调用
local ok, err = reload_lock:add("reload_in_progress", true, 60)
if ok then
    os.execute("nginx -s reload")
    reload_lock:delete("reload_in_progress")
else
    ngx.log(ngx.ERR, "Reload already in progress: ", err)
end

# 1. 检查Nginx进程状态（应无"defunct"僵尸进程）
ps aux | grep nginx

# 2. 确认所有Worker进程已加载新配置
strace -p $(pgrep -o nginx) -e openat 2>&1 | grep "sites-enabled"

# 3. 检查错误日志（重载后1分钟内应无502记录）
grep "502 Bad Gateway" /var/log/nginx/error.log | tail -10

# 告警规则示例：重载后502错误率突增
groups:
- name: nginx-reload-alert
  rules:
  - alert: High502AfterReload
    expr: increase(nginx_http_responses_total{code="502"}[5m]) > 10 
      and on(instance) changes(nginx_config_last_reload_timestamp_seconds[5m]) > 0
    for: 1m
    labels:
      severity: warning
    annotations:
      summary: "Nginx重载后502错误激增"
      description: "服务器 {{ $labels.instance }} 在重载后5分钟内出现 {{ $value }} 次502错误"

#!/bin/bash
# 查找重载后5分钟内的502错误请求URL
reload_time=$(date -d "5 minutes ago" +%s)
log_file="/var/log/nginx/access.log"

awk -v start=$reload_time '{
    # 假设日志格式包含时间戳（如16/Oct/2023:14:30:00 +0800）
    if ($4 ~ /\[([0-9]{2}\/[a-zA-Z]{3}\/[0-9]{4}:[0-9]{2}:[0-9]{2}:[0-9]{2})/) {
        cmd="date -d \"" $4 "\" +%s 2>/dev/null"
        cmd | getline timestamp
        close(cmd)
        if (timestamp >= start && $9 == "502") {
            print $7  # 输出请求URL
        }
    }
}' "$log_file" | sort | uniq -c | sort -nr | head -10