深入理解Nginx模块开发与架构解析

一、研究Nginx前的准备工作

1.Nginx特点：更快、高扩展性、高可靠性、低内存消耗、单机支持10万以上的并发连接、热部署、最自由的BSD许可协议

2.退出nginx

nginx -s stop

nginx -s quit

3.日志回滚：nginx -s reopen

二、Nginx的配置

A.运行中的Nginx进程间的关系

一般情况下，worker进程的数量与服务器上的CPU数量相等

B.Nginx服务的基本配置

1.用于调试进程和定位问题的配置项

daemon on off;：是否以守护进程方式运行Nginx，默认on

master_process on off;：是否以master/worker方式工作，默认on

error_log pathfile level;：error日志的设置

debug_points [stopabort]：帮助用户跟踪调试nginx，一般不用

debug_connection [IP CIDR]：仅对指定的客户端输出debug级别的日志，对定位高并发请求下发生的问题有用，需要configure时加入参数--with-debug

worker_rlimit_core size;：限制coredump核心转储文件的大小

working_directory path;：指定coredump文件生成的目录

2.正常运行的配置项

evn VARVAR=VALUE：让用户直接设置操作系统上的环境变量

include pathfile;：嵌入其他配置文件

pid path/file;pid文件的路径

user username [groupname];：Nginx worker进程运行的用户及用户组

worker_rlimit_nofile limit;：指定Nginx worker进程可以打开的最大句柄描述符个数

worker_rlimit_sigpending limit;：限制信号队列

3.优化性能的配置

worker_processes number;：定义worker进程的个数

worder_cpu_affinity cpumask [cpumask...];：绑定worker进程到指定的CPU内核

ssl_engine device;：SSL硬件加速

timer_resolution t;：系统调用gettimeofday的执行频率

worker_priority nice;：worker进程优先级设置

4.事件类配置项

accept_mutex [on off];：是否打开accept锁，可以让多个worker进程轮流地、序列化地与新的客户端建立TCP连接

lock_file path/file;：lock文件的路径

accept_mutex_delay ms;：使用accept锁后到真正建立连接之间的延迟时间

multi_accept on off;：批量建立新连接

use [kqueuertsigepoll/dev/pollselectpolleventport];：选择事件模型

worker_connections number;：每个worker的最大连接数

C.用HTTP核心模块配置一个静态Web服务器

1.虚拟主机与请求的分发

listen address:port[defaultdefault_server[backlog=numrcvbuf=sizesndbuf=sizeaccept_filter=filterdeferredbindipv6only=[onoff]ssl]];：监听端口，配置在server块

server_name name[...];：主机名称，配置在server块

server_names_hash_bucket_size size;：设置每个散列表占用的内存大小，nginx使用散列表来存储server_name

server_names_hash_max_size size;：影响散列表的冲突率，越大消耗的内存越多，但散列key的冲突则会降低，检索速度也快

server_name_in_redirect onoff;：重定向主机名称的处理

location [=~~*^~@]/uri/{...}：根据请求的URI来匹配进入location{}块中的配置来处理用户请求，配置在server块

2.文件路径的定义

root path;：以root方式设置资源路径

alias path;：别名，将uri映射到真实的磁盘文件上，只能在location块中

index file ...;：访问首页

error_page code[code...][==answer-code]uri@named_location：根据HTTP返回码重定向页面

recursive_error_pages [onoff];：是否允许递归使用error_page

try_files path1[path2]uri;：尝试按照顺序访问每一个path

3.内存及磁盘资源的分配

client_body_in_file_only oncleanoff;：HTTP包体只存储到磁盘文件中

client_body_in_single_buffer onoff;：HTTP包体尽量写入到一个内存buffer中

client_header_buffer_size size;：存储HTTP头部的内存buffer大小

large_client_header_buffers number size;：定义了Nginx接收一个超大HTTP头部请求的buffer个数和每个buffer的大小

client_body_buffer_size size;：存储HTTP包体的内存buffer大小

client_body_temp_path dir-path[level1[level2[level3]]];：HTTP包体的临时存放目录

connection_pool_size size;：Nginx对于每个建立成功的TCP连接会预先分配一个内存池，这个配置将指定个内存池的初始大小，用于减少内核对于小块内存的分配次数

request_pool_size size;：Nginx会为每个请求分配一个内存池，配置将指定这个内存池的初始大小

4.网络连接的设置

client_header_timeout time：读取HTTP头部的超时时间

client_body_timeout time：读取HTTP包体的超时时间

send_timeout time;：发送响应的超时时间

reset_timeout_connection onoff;：连接超时后将通过向客户端发送RST包来直接重置连接，这个选项打开后，Nginx将直接向用户发送RST重置包，不再等待用户应答，直接释放缓存

lingering_close offonalways;：控制Nginx关闭用户连接的方式

lingering_time time;：对上传大文件很有用，当超过时间后，不管是否仍在上传，都会关闭连接

ligering_timeout time;：在lingering_close生效后，在关闭连接前，会检测是否有用户发送的数据到达服务器，如果超过时间后还没有数据可读，就直接关闭连接

keepalive_disable [msie6safarinone]...：对某些浏览器禁用keepalive功能

keepalive_timeout time time：keepalive超时时间

keepalive_requests n;：一个keepalive长连接上允许承载的请求最大数

tcp_nodelay onoff;：确定对keepalive连接是否使用TCP_NODELAY选项

tcp_nopush onoff;：在打开sendfile选项时，确定是否开启FreeBSD系统上的TCP_NOPUSH或Linux系统上的TCP_CORK功能

5.MIME类型的设置

type{...};：MIME type与文件扩展的映射

default_type MIME-type;：默认MIME type

types_hash_bucket_size size;：设置散列表占用的内存大小

types_hash_max_size size;：影响散列表的冲突率

6.对客户端请求的限制

limit_except method...{...}：按HTTP方法名限制用户请求

client_max_body_size size;：HTTP请求包体的最大值

limit_rate speed;：对客户端请求限制每秒传输的字节数

limit_rate_after time;：表示nginx向客户端发磅的响应长度超过limit_rate_after后才开始限速

7.文件操作的优化

sendfile onoff;：启用sendfile系统调用来发送文件

aio onoff;：表示是否在FreeBSD或Linux系统上启用内核级别的异步I/O功能，与sendfile是互斥的

directio sizeoff;：在FreeBSD和Linux系统上使用O_DIRECT选项去读取文件，与sendfile互斥

directio_alignment size;：与directio配合，指定directio方式读取文件时的对齐方式

open_file_cache max=N[inactive=time]off;：打开文件缓存

open_file_cache_errors onoff;：是否缓存打开文件错误的信息

open_file_cache_min_uses number;：不被淘汰的最小访问次数，与open_file_cache的inactive配合使用，如果超过了，则不会被淘汰出缓存

open_file_cache_valid time;：检验缓存中元素有效性的频率

8.对客户端请求的特殊处理

ignore_invalid_headers onoff;：忽略不合法的HTTP头部

underscores_in_headers onoff;：HTTP头部是否允许下划线

if_modified_since [offexactbefore];：对If-Modified-Since头部的处理策略

log_not_found onoff;：文件未找到时是否记录到error日志

merge_slashes onoff;：是否合并相邻的/

resolver address...;：废黜DNS名字解析服务器的地址

resolver_timeout time;：DNS解析超时时间

server_tokens onoff;：返回错误页面时是否在Server中注明Nginx版本

D.用HTTP proxy module配置一个反向代理服务器

1.负载均衡的基本配置

upstream name {...}：定义了一个上游服务器的集群，便于反向代理中的proxy_pass使用，配置在http块

server name [weight=number,max_fails=number,fail_timeout=time,down,backup]：指定一台上游服务器的名字，可以是域名、ip地址端口、UNIX句柄等，配置在upstream块中

ip_hash;：根据客户IP地址将请求始终落在固定的一台上游服务器中，与weight配置不可同时使用

2.反向代理的基本配置

proxy_pass URL;：将当前请求反向代理到URL参数指定的服务器上，URL可使用是域名、ip地址端口、UNIX句柄或upstream块，配置在location、if块中

proxy_set_header Host $host;：转发请求中的Host头，默认proxy_pass不转发

proxy_method method;：转发时的协议方法名

proxy_hide_header the_header;：可以指定哪些HTTP头部字段不能被转发

proxy_pass_header the_header;：与proxy_hide_header相反

proxy_pass_request_body onoff;：确定是否向上游服务器发送HTTP包体部分

proxy_pass_request_headers onoff;：确定是否转发HTTP头部

proxy_redirect [defaultoffredirect replacement];：当上游服务器返回重定向或刷新请求时，可以重设HTTP头部的location或refresh字段

proxy_next_upstream [errpo,timeout,invalid_header,http500,http_502,http503,http_504,http_404,off]：当一台上游服务器转发请求出现错误时，继续换一台处理这个请求

三、开发一个简单的HTTP模块

1.整型的封装：ngx_int_t、ngx_uint_t

2.字符串：ngx_str_t

3.链表容器：ngx_list_t

4.key/value对：ngx_table_elt_t

5.缓冲区：ngx_buf_t

6.与ngx_buf_t配合使用的链接结构：ngx_chain_t

四、配置、error日志和请求上下文

五、访问第三方服务

1.upstream可以保证在与第三方服务器交互时（包括三次握手建立TCP连接、发送请求、接收响应、四次握手关闭TCP连接等）不会阻塞Nginx进程处理其他请求

2.subrequest是分解复杂请求的一种设计模式，最终也是基于upstream实现的

3.当我们希望把第三方服务的内容几乎原封不动地返回给用户时，一般使用upstream方式，可以非常高效地透传HTTP；如果访问第三方服务只是为了获取某些信息，再依据这些信息来构造 响应并传送给客户，应该使用subrequest方式

六、开发一个简单的HTTP过滤模块

七、Nginx提供的高级数据结构

八、Nginx基础架构

九、事件模块

十、HTTP框架的初始化

十一、HTTP框架的执行流程

十二、upstream机制的设计与实现

十三、邮件代理模块

十四、进程间的通信机制

十五、变量

十六、slab共享内存