intel/intel-optimized-nginx

Intel优化Nginx Docker镜像文档

镜像概述和主要用途

Intel优化Nginx Docker镜像是基于Intel asynch_mode_nginx 项目构建的高性能Web服务器解决方案，针对HTTPS加速进行了深度优化。该镜像集成Intel多项加速技术，包括IPP ***graphy库、Intel Multi-Buffer *** for IPsec库（intel-ipsec-mb）和Intel QuickAssist Technology（Intel QAT），通过批处理SSL请求和并行异步处理机制，显著提升HTTPS服务性能。提供两种镜像版本：qathw（硬件加速）和qatsw（软件加速），适用于需要高并发HTTPS处理能力的服务器环境。

核心功能和特性

• Intel优化技术：基于Intel asynch_mode_nginx，支持异步硬件和软件加速
• 多加速库集成：整合IPP ***graphy、intel-ipsec-mb和Intel QAT技术
• 性能优化：实现SSL请求批处理和并行异步处理，提升HTTPS吞吐量
• 双版本支持：提供qathw（依赖QAT硬件加速卡）和qatsw（纯软件加速）两种镜像
• 灵活配置：支持自定义Nginx配置，适配不同性能需求场景

使用场景和适用范围

• 高并发HTTPS Web服务
• 需要提升SSL/TLS处理性能的服务器
• 基于3rd代Intel Xeon Scalable处理器（Ice Lake/Whitley）的服务器环境
• 对HTTPS响应速度和吞吐量有高要求的业务场景（如电商、***、CDN等）

使用方法和配置说明

生成证书

创建TLS密钥和证书以启用HTTPS加密：

注意：替换<path>为证书保存的绝对路径

bash
openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout <path>/key_rsa2048.key -out <path>/cert_rsa2048.crt -subj "/C=US/ST=State/L=Locality/O=Company/OU=Section/CN=company.com"

运行镜像

注意：运行qathw镜像前需完成QAT In-tree Driver配置（详见下文） 注意：替换<path>为证书和密钥文件的保存路径

• qathw（硬件加速）：

bash
sudo docker run -it --cap-add=IPC_LOCK --security-opt seccomp=unconfined $(for i in ls /dev/vfio/*; do echo --device $i; done) -v <path>/key_rsa2048.key:/keys/key_rsa2048.key -v <path>/cert_rsa2048.crt:/certs/cert_rsa2048.crt intel/intel-optimized-nginx:qathw

• qatsw（软件加速）：

bash
sudo docker run -it -v <path>/key_rsa2048.key:/keys/key_rsa2048.key -v <path>/cert_rsa2048.crt:/certs/cert_rsa2048.crt intel-optimized-nginx:qatsw

配置并运行Nginx

Nginx配置文件语法详见http://nginx.org/en/docs/%E5%92%8Chttps://github.com/intel/asynch_mode_nginx#additional-information%E3%80%82%E4%BB%A5%E4%B8%8B%E6%98%AF%E5%90%AF%E7%94%A8QAT%E5%BC%95%E6%93%8E%E7%9A%84%E9%85%8D%E7%BD%AE%E7%A4%BA%E4%BE%8B%EF%BC%9A

1. 在容器内编辑配置文件（如/etc/nginx/nginx.conf）
2. 使用配置文件启动Nginx：nginx -c <配置文件路径>

conf
user root;
worker_processes 4;

# 启用QAT引擎
load_module modules/ngx_ssl_engine_qat_module.so;
ssl_engine {
    use_engine qatengine;
    default_algorithms ALL;
    qat_engine {
        qat_offload_mode async;
        qat_notify_mode poll;
        qat_external_poll_interval 1;
    }
}

worker_rlimit_nofile 1000000;

events {
    use epoll;
    worker_connections 8192;
    multi_accept on;
    accept_mutex on;
}

http {
    ssl_buffer_size 65536;
    include /usr/local/share/nginx/conf/mime.types;
    default_type application/octet-stream;
    sendfile on;
    access_log off;

    server {
        listen 4400 ssl reuseport backlog=131072 so_keepalive=off;
        tcp_nopush on;
        tcp_nodelay on;
        ssl_verify_client off;
        ssl_session_tickets off;
        access_log  off;
        lingering_close off;
        lingering_time 1;

        server_name example.com;
        ssl_asynch on;

        ssl_certificate  /certs/cert_rsa2048.crt;
        ssl_certificate_key /keys/key_rsa2048.key;

        ssl_session_timeout 300s;
        ssl_protocols TLSv1.3;
        ssl_conf_command Ciphersuites TLS_AES_256_GCM_SHA384:TLS_AES_128_GCM_SHA256:TLS_AES_128_CCM_SHA256:TLS_CHACHA20_POLY1305_SHA256;
        ssl_prefer_server_ciphers on;

        location / {
            index index.html index.htm;
        }
    }
}

QAT In-tree Driver设置（适用于4xxx设备）

系统前提条件

• 硬件要求：服务器需配备Intel QAT 4xxx系列设备（如8086:4942或8086:4940）

• 设备检查：

  shell
  lspci -d 8086:4942  # 检查QAT设备
  lspci -d 8086:4940
  

• 固件要求：需存在以下固件文件：

  • /lib/firmware/qat_4xxx.bin 或 /lib/firmware/qat_4xxx.bin.xz
  • /lib/firmware/qat_4xxx_mmp.bin 或 /lib/firmware/qat_4xxx_mmp.bin.xz

  如缺失，可从以下地址下载：

  https://git.kernel.org/pub/scm/linux/kernel/git/firmware/linux-firmware.git/plain/qat_4xxx.bin
  https://git.kernel.org/pub/scm/linux/kernel/git/firmware/linux-firmware.git/plain/qat_4xxx_mmp.bin
  

  下载后更新内核模块：

  shell
  sudo rmmod qat_4xxx
  sudo modprobe qat_4xxx
  sudo dracut --force
  

内核要求

• Linux内核版本：v5.11+（加密功能），v5.17+（压缩功能）
• 操作系统版本：
  • Fedora 34+（压缩功能需36+）
  • RHEL 8.4+（压缩功能需9.0+）

BIOS设置

• 启用Intel VT-d 和 SR-IOV 功能

Grub设置

• Fedora：

  shell
  sudo grubby --update-kernel=DEFAULT --args="intel_iommu=on vfio-pci.disable_denylist=1 iommu=pt default_hugepagesz=2M hugepagesz=2M hugepages=4096"
  

  重启系统

• Ubuntu：

  1. 编辑Grub配置：sudo vim /etc/default/grub
  2. 在GRUB_CMDLINE_LINUX中添加：intel_iommu=on vfio-pci.disable_denylist=1 iommu=pt default_hugepagesz=2M hugepagesz=2M hugepages=4096
  3. 更新Grub：sudo update-grub
  4. 重启系统

安装QATLib

Fedora 34+（通过包管理器）

shell
# 安装QATLib
sudo dnf install -y qatlib-devel

# 将用户添加到qat组（需重新登录生效）
sudo usermod -a -G qat `whoami`
sudo su -l $USER

# 启动并验证QAT服务
sudo systemctl stop qat.service
sudo systemctl enable qat.service
sudo systemctl restart qat.service
sudo systemctl status qat.service

其他发行版（源码构建）

安装依赖

• Fedora：

  shell
  sudo dnf update -y
  sudo dnf install -y gcc systemd-devel automake autoconf libtool openssl-devel zlib-devel yasm
  

• Ubuntu：

  shell
  sudo apt update -y
  sudo apt install -y build-essential cmake g++ pkg-config wget make yasm nasm libboost-all-dev libnl-genl-3-dev zlib1g zlib1g-dev systemd m4 pkg-config libudev-dev libssl-dev autoconf libtool tar git
  

构建与安装

shell
git clone https://github.com/intel/qatlib
cd qatlib
./autogen.sh
./configure --prefix=/usr --enable-service
make -j
sudo make install

# 启动并验证QAT服务
sudo systemctl stop qat.service
sudo systemctl enable qat.service
sudo systemctl restart qat.service
sudo systemctl status qat.service

参考资料

• https://github.com/intel/qatlib/blob/main/INSTALL
• https://github.com/intel/intel-device-plugins-for-kubernetes/blob/main/demo/openssl-qat-engine/Dockerfile
• DPDK QAT设备配置指南
• https://github.com/intel/3rd-party-codes-for-qat-***-base-external-release
• https://github.com/intel/3rd-party-codes-for-qat-***-base-external-release/blob/main/Release.md