大数据 互联网架构阶段 Nginx的使用
生活随笔
收集整理的這篇文章主要介紹了
大数据 互联网架构阶段 Nginx的使用
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
Nginx
一、情景分析
三、電商項目中nginx的作用
三 、 nginx安裝 與使用
nginx中的配置文件
server {//nginx啟動是加載的虛擬機單位 listen 80; //監聽的端口 server_name manage.jt.com; //監聽的域名location / { //當滿足監聽條件時，location后跟著匹配信息， 開始匹配域名和端口后的內容，proxy_pass http://127.0.0.1:8081; //域名和端口的替換 也就是訪問的真正服務器，直接拼接后續的訪問路徑proxy_connect_timeout 600;proxy_read_timeout 600;}} 根據以上內容，將manage.jt.com/page/index用nginx訪問maven啟動的tomcat 修改hosts文件，manage.jt.com需要和nginx所在服務器地址映射 127.0.0.1補充：幾個簡單的匹配案例location 以 = 開頭表示精確匹配 location = /html{ 匹配過程內容 } /html/ 匹配以html開頭的內容，后續繼續查詢有沒有location匹配的是/html/正則 */d^~ /html/ 匹配html開頭的內容，一旦匹配上，不在搜索下面的正則匹配 和 /html/abc.htmlnginx配置詳解
Nginx的配置文件nginx.conf配置詳解如下：user nginx nginx ;Nginx用戶及組：用戶 組。window下不指定worker_processes 8;工作進程：數目。根據硬件調整，通常等于CPU數量或者2倍于CPU。error_log logs/error.log; error_log logs/error.log notice; error_log logs/error.log info; 錯誤日志：存放路徑。pid logs/nginx.pid;pid（進程標識符）：存放路徑。worker_rlimit_nofile 204800;指定進程可以打開的最大描述符：數目。這個指令是指當一個nginx進程打開的最多文件描述符數目，理論值應該是最多打開文件數（ulimit -n）與nginx進程數相除，但是nginx分配請求并不是那么均勻，所以最好與ulimit -n 的值保持一致。現在在linux 2.6內核下開啟文件打開數為65535，worker_rlimit_nofile就相應應該填寫65535。這是因為nginx調度時分配請求到進程并不是那么的均衡，所以假如填寫10240，總并發量達到3-4萬時就有進程可能超過10240了，這時會返回502錯誤。events{use epoll;使用epoll的I/O 模型。linux建議epoll，FreeBSD建議采用kqueue，window下不指定。補充說明:與apache相類，nginx針對不同的操作系統，有不同的事件模型A）標準事件模型Select、poll屬于標準事件模型，如果當前系統不存在更有效的方法，nginx會選擇select或pollB）高效事件模型Kqueue：使用于FreeBSD 4.1+, OpenBSD 2.9+, NetBSD 2.0 和 MacOS X.使用雙處理器的MacOS X系統使用kqueue可能會造成內核崩潰。Epoll：使用于Linux內核2.6版本及以后的系統。/dev/poll：使用于Solaris 7 11/99+，HP/UX 11.22+ (eventport)，IRIX 6.5.15+ 和 Tru64 UNIX 5.1A+。Eventport：使用于Solaris 10。 為了防止出現內核崩潰的問題， 有必要安裝安全補丁。worker_connections 204800;沒個工作進程的最大連接數量。根據硬件調整，和前面工作進程配合起來用，盡量大，但是別把cpu跑到100%就行。每個進程允許的最多連接數，理論上每臺nginx服務器的最大連接數為。worker_processes*worker_connectionskeepalive_timeout 60;keepalive超時時間。client_header_buffer_size 4k;客戶端請求頭部的緩沖區大小。這個可以根據你的系統分頁大小來設置，一般一個請求頭的大小不會超過1k，不過由于一般系統分頁都要大于1k，所以這里設置為分頁大小。分頁大小可以用命令getconf PAGESIZE 取得。[root@web001 ~]# getconf PAGESIZE4096但也有client_header_buffer_size超過4k的情況，但是client_header_buffer_size該值必須設置為“系統分頁大小”的整倍數。open_file_cache max=65535 inactive=60s;這個將為打開文件指定緩存，默認是沒有啟用的，max指定緩存數量，建議和打開文件數一致，inactive是指經過多長時間文件沒被請求后刪除緩存。open_file_cache_valid 80s;這個是指多長時間檢查一次緩存的有效信息。open_file_cache_min_uses 1;open_file_cache指令中的inactive參數時間內文件的最少使用次數，如果超過這個數字，文件描述符一直是在緩存中打開的，如上例，如果有一個文件在inactive時間內一次沒被使用，它將被移除。}##設定http服務器，利用它的反向代理功能提供負載均衡支持http{include mime.types;設定mime類型,類型由mime.type文件定義default_type application/octet-stream;log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';log_format log404 '$status [$time_local] $remote_addr $host$request_uri $sent_http_location';日志格式設置。$remote_addr與$http_x_forwarded_for用以記錄客戶端的ip地址；$remote_user：用來記錄客戶端用戶名稱；$time_local： 用來記錄訪問時間與時區；$request： 用來記錄請求的url與http協議；$status： 用來記錄請求狀態；成功是200，$body_bytes_sent ：記錄發送給客戶端文件主體內容大小；$http_referer：用來記錄從那個頁面鏈接訪問過來的；$http_user_agent：記錄客戶瀏覽器的相關信息；通常web服務器放在反向代理的后面，這樣就不能獲取到客戶的IP地址了，通過$remote_add拿到的IP地址是反向代理服務器的iP地址。反向代理服務器在轉發請求的http頭信息中，可以增加x_forwarded_for信息，用以記錄原有客戶端的IP地址和原來客戶端的請求的服務器地址。access_log logs/host.access.log main;access_log logs/host.access.404.log log404;用了log_format指令設置了日志格式之后，需要用access_log指令指定日志文件的存放路徑；server_names_hash_bucket_size 128;#保存服務器名字的hash表是由指令server_names_hash_max_size 和server_names_hash_bucket_size所控制的。參數hash bucket size總是等于hash表的大小，并且是一路處理器緩存大小的倍數。在減少了在內存中的存取次數后，使在處理器中加速查找hash表鍵值成為可能。如果hash bucket size等于一路處理器緩存的大小，那么在查找鍵的時候，最壞的情況下在內存中查找的次數為2。第一次是確定存儲單元的地址，第二次是在存儲單元中查找鍵 值。因此，如果Nginx給出需要增大hash max size 或 hash bucket size的提示，那么首要的是增大前一個參數的大小.client_header_buffer_size 4k;客戶端請求頭部的緩沖區大小。這個可以根據你的系統分頁大小來設置，一般一個請求的頭部大小不會超過1k，不過由于一般系統分頁都要大于1k，所以這里設置為分頁大小。分頁大小可以用命令getconf PAGESIZE取得。large_client_header_buffers 8 128k;客戶請求頭緩沖大小。nginx默認會用client_header_buffer_size這個buffer來讀取header值，如果header過大，它會使用large_client_header_buffers來讀取。open_file_cache max=102400 inactive=20s;這個指令指定緩存是否啟用。例: open_file_cache max=1000 inactive=20s; open_file_cache_valid 30s; open_file_cache_min_uses 2; open_file_cache_errors on;open_file_cache_errors語法:open_file_cache_errors on | off 默認值:open_file_cache_errors off 使用字段:http, server, location 這個指令指定是否在搜索一個文件是記錄cache錯誤.open_file_cache_min_uses語法:open_file_cache_min_uses number 默認值:open_file_cache_min_uses 1 使用字段:http, server, location 這個指令指定了在open_file_cache指令無效的參數中一定的時間范圍內可以使用的最小文件數,如果使用更大的值,文件描述符在cache中總是打開狀態.open_file_cache_valid語法:open_file_cache_valid time 默認值:open_file_cache_valid 60 使用字段:http, server, location 這個指令指定了何時需要檢查open_file_cache中緩存項目的有效信息.client_max_body_size 300m;設定通過nginx上傳文件的大小sendfile on;sendfile指令指定 nginx 是否調用sendfile 函數（zero copy 方式）來輸出文件，對于普通應用，必須設為on。如果用來進行下載等應用磁盤IO重負載應用，可設置為off，以平衡磁盤與網絡IO處理速度，降低系統uptime。tcp_nopush on;此選項允許或禁止使用socke的TCP_CORK的選項，此選項僅在使用sendfile的時候使用proxy_connect_timeout 90; 后端服務器連接的超時時間_發起握手等候響應超時時間proxy_read_timeout 180;連接成功后_等候后端服務器響應時間_其實已經進入后端的排隊之中等候處理（也可以說是后端服務器處理請求的時間）proxy_send_timeout 180;后端服務器數據回傳時間_就是在規定時間之內后端服務器必須傳完所有的數據proxy_buffer_size 256k;設置從被代理服務器讀取的第一部分應答的緩沖區大小，通常情況下這部分應答中包含一個小的應答頭，默認情況下這個值的大小為指令proxy_buffers中指定的一個緩沖區的大小，不過可以將其設置為更小proxy_buffers 4 256k;設置用于讀取應答（來自被代理服務器）的緩沖區數目和大小，默認情況也為分頁大小，根據操作系統的不同可能是4k或者8kproxy_busy_buffers_size 256k;proxy_temp_file_write_size 256k;設置在寫入proxy_temp_path時數據的大小，預防一個工作進程在傳遞文件時阻塞太長proxy_temp_path /data0/proxy_temp_dir;proxy_temp_path和proxy_cache_path指定的路徑必須在同一分區proxy_cache_path /data0/proxy_cache_dir levels=1:2 keys_zone=cache_one:200m inactive=1d max_size=30g;#設置內存緩存空間大小為200MB，1天沒有被訪問的內容自動清除，硬盤緩存空間大小為30GB。keepalive_timeout 120;keepalive超時時間。tcp_nodelay on;client_body_buffer_size 512k;如果把它設置為比較大的數值，例如256k，那么，無論使用firefox還是IE瀏覽器，來提交任意小于256k的圖片，都很正常。如果注釋該指令，使用默認的client_body_buffer_size設置，也就是操作系統頁面大小的兩倍，8k或者16k，問題就出現了。無論使用firefox4.0還是IE8.0，提交一個比較大，200k左右的圖片，都返回500 Internal Server Error錯誤proxy_intercept_errors on;表示使nginx阻止HTTP應答代碼為400或者更高的應答。upstream bakend {server 127.0.0.1:8027;server 127.0.0.1:8028;server 127.0.0.1:8029;hash $request_uri;}nginx的upstream目前支持4種方式的分配1、輪詢（默認）每個請求按時間順序逐一分配到不同的后端服務器，如果后端服務器down掉，能自動剔除。2、weight指定輪詢幾率，weight和訪問比率成正比，用于后端服務器性能不均的情況。例如：upstream bakend {server 192.168.0.14 weight=10;server 192.168.0.15 weight=10;}2、ip_hash每個請求按訪問ip的hash結果分配，這樣每個訪客固定訪問一個后端服務器，可以解決session的問題。例如：upstream bakend {ip_hash;server 192.168.0.14:88;server 192.168.0.15:80;}3、fair（第三方）按后端服務器的響應時間來分配請求，響應時間短的優先分配。upstream backend {server server1;server server2;fair;}4、url_hash（第三方）按訪問url的hash結果來分配請求，使每個url定向到同一個后端服務器，后端服務器為緩存時比較有效。例：在upstream中加入hash語句，server語句中不能寫入weight等其他的參數，hash_method是使用的hash算法upstream backend {server squid1:3128;server squid2:3128;hash $request_uri;hash_method crc32;}tips:upstream bakend{#定義負載均衡設備的Ip及設備狀態}{ip_hash;server 127.0.0.1:9090 down;server 127.0.0.1:8080 weight=2;server 127.0.0.1:6060;server 127.0.0.1:7070 backup;}在需要使用負載均衡的server中增加proxy_pass http://bakend/;每個設備的狀態設置為:1.down表示單前的server暫時不參與負載2.weight為weight越大，負載的權重就越大。3.max_fails：允許請求失敗的次數默認為1.當超過最大次數時，返回proxy_next_upstream模塊定義的錯誤4.fail_timeout:max_fails次失敗后，暫停的時間。5.backup： 其它所有的非backup機器down或者忙的時候，請求backup機器。所以這臺機器壓力會最輕。nginx支持同時設置多組的負載均衡，用來給不用的server來使用。client_body_in_file_only設置為On 可以講client post過來的數據記錄到文件中用來做debugclient_body_temp_path設置記錄文件的目錄 可以設置最多3層目錄location對URL進行匹配.可以進行重定向或者進行新的代理 負載均衡##配置虛擬機server{listen 80;配置監聽端口server_name image.***.com;配置訪問域名location ~* \.(mp3|exe)$ {對以“mp3或exe”結尾的地址進行負載均衡proxy_pass http://img_relay$request_uri;設置被代理服務器的端口或套接字，以及URLproxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;以上三行，目的是將代理服務器收到的用戶的信息傳到真實服務器上}location /face {if ($http_user_agent ~* "xnp") {rewrite ^(.*)$ http://211.151.188.190:8080/face.jpg redirect;}proxy_pass http://img_relay$request_uri;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;error_page 404 502 = @fetch;}location @fetch {access_log /data/logs/face.log log404;rewrite ^(.*)$ http://211.151.188.190:8080/face.jpg redirect;}location /image {if ($http_user_agent ~* "xnp") {rewrite ^(.*)$ http://211.151.188.190:8080/face.jpg redirect;}proxy_pass http://img_relay$request_uri;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;error_page 404 502 = @fetch;}location @fetch {access_log /data/logs/image.log log404;rewrite ^(.*)$ http://211.151.188.190:8080/face.jpg redirect;}}##其他舉例server{listen 80;server_name *.***.com *.***.cn;location ~* \.(mp3|exe)$ {proxy_pass http://img_relay$request_uri;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;}location / {if ($http_user_agent ~* "xnp") {rewrite ^(.*)$ http://i1.***img.com/help/noimg.gif redirect;}proxy_pass http://img_relay$request_uri;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;#error_page 404 http://i1.***img.com/help/noimg.gif;error_page 404 502 = @fetch;}location @fetch {access_log /data/logs/baijiaqi.log log404;rewrite ^(.*)$ http://i1.***img.com/help/noimg.gif redirect;}}server{listen 80;server_name *.***img.com;location ~* \.(mp3|exe)$ {proxy_pass http://img_relay$request_uri;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;}location / {if ($http_user_agent ~* "xnp") {rewrite ^(.*)$ http://i1.***img.com/help/noimg.gif;}proxy_pass http://img_relay$request_uri;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;#error_page 404 http://i1.***img.com/help/noimg.gif;error_page 404 = @fetch;}#access_log off;location @fetch {access_log /data/logs/baijiaqi.log log404;rewrite ^(.*)$ http://i1.***img.com/help/noimg.gif redirect;}}server{listen 8080;server_name ngx-ha.***img.com;location / {stub_status on;access_log off;}}server {listen 80;server_name imgsrc1.***.net;root html;}server {listen 80;server_name ***.com w.***.com;# access_log /usr/local/nginx/logs/access_log main;location / {rewrite ^(.*)$ http://www.***.com/ ;}}server {listen 80;server_name *******.com w.*******.com;# access_log /usr/local/nginx/logs/access_log main;location / {rewrite ^(.*)$ http://www.*******.com/;}}server {listen 80;server_name ******.com;# access_log /usr/local/nginx/logs/access_log main;location / {rewrite ^(.*)$ http://www.******.com/;}}location /NginxStatus {stub_status on;access_log on;auth_basic "NginxStatus";auth_basic_user_file conf/htpasswd;}#設定查看Nginx狀態的地址location ~ /\.ht {deny all;}#禁止訪問.htxxx文件}注釋：變量Ngx_http_core_module模塊支持內置變量，他們的名字和apache的內置變量是一致的。首先是說明客戶請求title中的行，例如$http_user_agent,$http_cookie等等。此外還有其它的一些變量$args此變量與請求行中的參數相等$content_length等于請求行的“Content_Length”的值。$content_type等同與請求頭部的”Content_Type”的值$document_root等同于當前請求的root指令指定的值$document_uri與$uri一樣$host與請求頭部中“Host”行指定的值或是request到達的server的名字（沒有Host行）一樣$limit_rate允許限制的連接速率$request_method等同于request的method，通常是“GET”或“POST”$remote_addr客戶端ip$remote_port客戶端port$remote_user等同于用戶名，由ngx_http_auth_basic_module認證$request_filename當前請求的文件的路徑名，由root或alias和URI request組合而成$request_body_file$request_uri含有參數的完整的初始URI$query_string與$args一樣$sheeme http模式（http,https）盡在要求是評估例如Rewrite ^(.+)$ $sheme://example.com$; Redirect;$server_protocol等同于request的協議，使用“HTTP/或“HTTP/$server_addr request到達的server的ip，一般獲得此變量的值的目的是進行系統調用。為了避免系統調用，有必要在listen指令中指明ip，并使用bind參數。$server_name請求到達的服務器名$server_port請求到達的服務器的端口號$uri等同于當前request中的URI，可不同于初始值，例如內部重定向時或使用indexlocation 匹配原則
?已=開頭表示精確匹配如 A 中只匹配根目錄結尾的請求，后面不能帶任何字符串。?^~ 匹配普通字符，不是正則匹配不能用正則表達式?~ 開頭表示區分大小寫的正則匹配;?~* 開頭表示不區分大小寫的正則匹配?/ 通用匹配, 如果沒有其它匹配,任何請求都會匹配到location = / {# 精確匹配 / ，主機名后面不能帶任何字符串[ configuration A ] }location / {# 因為所有的地址都以 / 開頭，所以這條規則將匹配到所有請求# 但是正則和最長字符串會優先匹配[ configuration B ] }location /documents/ {# 匹配任何以 /documents/ 開頭的地址，優先級比較低 [ configuration C ] }location ~ /documents/Abc {# 匹配任何以 /documents/ 開頭的地址，匹配符合以后，還要繼續往下搜索# 只有后面的正則表達式沒有匹配到時，這一條才會采用這一條[ configuration CC ] }location ^~ /images/ {# 匹配任何以 /images/ 開頭的地址，匹配符合以后，停止往下搜索正則，采用這一條。[ configuration D ] }location ~* \.(gif|jpg|jpeg)$ {# 匹配所有以 gif,jpg或jpeg 結尾的請求# 然而，所有請求 /images/ 下的圖片會被 config D 處理，因為 ^~ 到達不了這一條正則[ configuration E ] }location /images/ {# 字符匹配到 /images/，繼續往下，會發現 ^~ 存在[ configuration F ] }location ~* /js/.*/\.js四 、 將項目部署到tomcat集群中 ， 并用Nginx做負載均衡
上傳tomcat解壓安裝（安裝tomcat前要確定已經安裝了JDK）
解壓并改名
[root@bogon software]# tar -xf apache-tomcat-7.0.55.tar.gz [root@bogon software]# mv apache-tomcat-7.0.55 t1修改對應tomcat文件中的配置文件的端口
[root@bogon software]# vim t1/conf/server.xml t1 8080 70行左右，8009 91行左右，8005 22行 t2 8081，8019，8015 t3 8082，8029，8025啟動tomcat
分別到bin目錄下找到start.sh執行
[root@bogon bin]# ./startup.sh部署項目到tomcat中
使用 ps -ef|grep tomcat 命令查看當前進程使用kill命令將進程殺掉
[root@bogon logs]# kill 5393 [root@bogon logs]# kill 5365 [root@bogon logs]# kill 5318將文件改名為ROOT.war 拷貝到三個tomcat中
拷貝到t1,t2,t3的webapps中 [root@bogon Desktop]# cp ROOT.war /home/software/t1/webapps/ [root@bogon Desktop]# cp ROOT.war /home/software/t2/webapps/ [root@bogon Desktop]# cp ROOT.war /home/software/t3/webapps/實現nginx在3個tomcat實例中跳轉工作
在nginx中的配置（nginx安裝目錄下conf/nginx.conf）中
upstream jt1710{ upstream 負載均衡的服務器庫，jt1710自定義名稱server 192.168.40.170:8081 ;server 192.168.40.170:8082 ;server 192.168.40.180:8080 ;}server {listen 80;server_name manage.jt.com;location / {proxy_pass http://jt1710;//從直接訪問本地tocmat變成訪問服務器庫;默認的并排方式排列的服務器就是輪詢proxy_connect_timeout 600;proxy_read_timeout 600;}}可以修改三個tomcat首頁的展示信息 ， 查看輪訓訪問tomcat的效果
[root@bogon ROOT]# vim /home/software/t1/webapps/ROOT/index.jsp [root@bogon ROOT]# vim /home/software/t2/webapps/ROOT/index.jsp [root@bogon ROOT]# vim /home/software/t3/webapps/ROOT/index.jsp四 、 Nginx的負載均衡
權重：根據不同機器性能,計算相對的訪問負載承受,從而使用權重配置負載的量
權重的第一種方式
upstream jt1710{ server 192.168.40.170:8081 ; server 192.168.40.170:8082 ; server 192.168.40.170:8080 ; server 192.168.40.170:8081 ; server 192.168.40.170:8081 ; server 192.168.40.170:8081 ; server 192.168.40.170:8081 ; server 192.168.40.170:8081 ;}權重的第二種方式 ： 權重關鍵字
weight:權重的優先量級;數字越大,訪問次數越多 down;宕機狀態永不訪問; 當服務器宕機不可恢復時,nginx會根據權重或者輪詢配置 繼續訪問,連接超時訪問失敗,但是不會停止訪問, down一定程度的減少了資源的損耗五 、 負載均衡中session中共享的問題
解決session共享數據的問題
session黏著 ：當用戶通過ngnix訪問某一個tomcat后,使用session黏著,保證后續訪問永遠訪問這一臺
1 ip_hash 利用客戶端請求的ip和端口(192.168.40.170:661)獲取其字符串的hash值 String str="192.168.40.160:8080"; str.hashCode();(未必是正值,&Integer.max_value) System.out.println(user1.hashCode()&Integer.MAX_VALUE); System.out.println(user2.hashCode()&Integer.MAX_VALUE); System.out.println(user3.hashCode()&Integer.MAX_VALUE); 獲取到字符串的整數然后對已有的負載均衡服務器庫數量進行取余(三臺為例) 哈希整數N%3=[0,1,2] 如果是4臺呢?對4取余,依次類推 2 url_hash黏著(依賴第三方插件實現) 訪問服務器的url地址字符串做hash取余運算 order.jt.com/*****/***.html 具有某一個固定功能的服務器,固定總結
以上是生活随笔為你收集整理的大数据 互联网架构阶段 Nginx的使用的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 大数据 互联网架构阶段 Redis
- 下一篇： Nginx 应用