如果對壓力測試不熟悉的朋友，可以參考筆者先前分享的文章：「Apache Bench — 壓力測試好夥伴」

大綱
一、了解目前 Server 資源利用率
二、調整 php-fpm 參數
三、調整 nginx 參數增加併發數量

一、了解目前 Server 資源利用率

進入 Server 後，你可以用 top 這個指令來觀察 Server 的各項參數；它所呈現參數是動態的，非常易於理解與判斷。

接下來你可以執行一段 Apache Bench 的指令（建議是 POST），來測試看看他怎麼爆掉的：

ab -n 10000 -c 100 -p post.txt -T application/json -H ‘Authorization: Token your_token’ https://your_test_ip/

上面的指令執行後，可以得到類似下面的報表：

在上面報表中可以看到居然有 50% 的 request fail，可是用 top觀察 Server 的資源時，發現無論是 CPU 、記憶體距離極限還有一段距離，且 idle 都還有剩：

所以下面我教大家調整哪些 php-fpm & nginx 的設定，盡量讓這台 Server 發揮出他的極限。

備註 1：通常 POST 對資源的消耗遠超 GET，如果 API 會修改資料庫內容、進行複雜計算就會消耗更多資源，這些都是要考量進去的。

備註 2：我們的目標是追求承受最大流量，而不是努力把 CPU 和 MEM 耗盡；經實驗，有時把他們耗盡反而會有更多的 request fail，這部分有興趣的讀者可以自己實驗看看。

二、調整 php-fpm 參數

STEP 1：先進入 php-fpm 的 conf 設定檔

sudo vi /etc/php/7.4/fpm/pool.d/www.conf

然後認識以下參數各自有什麼作用：

• pm：預設為「dynamic」，如果設定為「static」下面的參數只有「pm.max_children」會生效。
• pm.max_children：設置子進程最大數值，子進程數量太少會影響處理連線的速度，太多可能會導致資源耗盡。
• pm.start_servers：php-fpm 啟動起始進程數，數值需小於 pm.max_children。

建議為：(pm.max_spare_servers — pm.min_spare_servers)/2

• pm.min_spare_servers：php-fpm 的最小空閒進程數。
• pm.max_spare_servers：php-fpm 的最大空閒進程數。
• pm.max_requests：當子進程的 request 數量到達後關閉，再開一個新的。

下面提供的參數僅為範例，請依照 Server 實際狀況調整，並且用 top 這個指令觀察資源消耗狀態（主要看 CPU、MEM 使用率）。

pm = dynamic
pm.max_children = 200
pm.start_servers = 150
pm.min_spare_servers = 100
pm.max_spare_servers = 200
pm.max_requests = 1000

STEP 2：完成後後重啟 php fpm

執行下面指令才會生效喔～

service php7.4-fpm restart

如果剛剛的參數設定上有問題或是錯誤，上面會有錯誤提示，跟著提示操作就好了：

三、調整 nginx 參數增加併發數量

調整完 php-fpm 的參數後，Server 相較之前可以承受更大的流量；但如隨著系統使用者的成長，你很快會遇到下一個瓶頸，在決定花錢升級 Server 硬體水平前，可以先嘗試調整 nginx 的參數，看看是否能在支撐一段時間ＸＤ

STEP 1：確認 Server 有多少個 CPU 核心

下面這段指令可以知道這台 Server 有多少個 CPU 核心（worker_processes）：

grep processor /proc/cpuinfo | wc -l

STEP 2：進入 nginx 的 conf 設定檔

接著進入nginx.conf，查看目前 nginx 默認使用多少 CPU 核心數。

vi /etc/nginx/nginx.conf

你可以將 worker_processes 調整成 CPU 核心數，或是用 auto 讓他自動偵測：

worker_processes auto;

如果系統會遇到高併發場景，可以設置 events 的參數如下：

• worker_connections：設定 worker 最大可承受連線數（最大值為 65535）。

連線的總數為 worker_processes * worker_connections。

• multi_accept：收到一個 request 後，盡可能多接收其他的 request。
• use epoll：利用很棒的演算法提升效能。

events {
    worker_connections 4096;
    multi_accept on;
    use epoll;
}

STEP 3：設定完記得要重啟 nginx

nginx -s reload

希望這篇文章能讓讀者初步了解在 php-fpm & nginx 的設定中，哪些參數可以讓 Server 承受更大的流量，如果讀者有使用其他妙招也歡迎分享喔～

相關議題

1. 反向代理伺服器(reverse proxy)
2. 負載平衡(load balancer)
3. 虛擬主機(Virtual Host)

1. 反向代理伺服器(reverse proxy)

正向代理伺服器：用來解決訪問限制問題

反向代理伺服器：提供負載均衡、安全防護等作用

你可以理解為你網頁的前端實際使用server的port是3000，但是透過Nginx可以把對方80 port的連線導向3000 port，應用如下：

vi /etc/nginx/sites-enabled/default

server {   
    listen 80;   //外部nginx監聽port
    location / {   
        proxy_pass http://127.0.0.1:3000; #你可以把它當成local端轉port的服務
        # proxy_pass http://172.1.1.1; #這是實際訪問的ip位址  
    }   
}

原始碼：reverse_proxy.conf（GitHub Gist）

實務上野可能會直接把它當成一個自動轉址的中介Service，像是外面所輸入的domain name實際上都是指向同一台nginx server，經過這台nginx 的設定分析過後再導向真正的server

server {
    listen         *:443 ssl; #https
    server_name   your.domain.name1; #外面輸入的網址
    
    client_max_body_size 2000M; #上傳檔案大小限制
    fastcgi_read_timeout 3600s; # nginx執行時間
    proxy_read_timeout 3600s;
    ssl_certificate /var/www/cert.chain.crt; # ssl檔案位置
    ssl_certificate_key /var/www/www_ruggon_com.key;
    location / {
        proxy_pass https:#172.6.5.8; # 目標導向的服務位址
    }
}
server {
    listen         *:443 ssl;
    server_name   your.domain.name2; #外面輸入的網址
    ssl_certificate /var/www/cert.chain.crt;
    ssl_certificate_key /var/www/www_ruggon_com.key;
    location / {
        proxy_pass https:#172.6.5.10; # 目標導向的服務位址
    }
}
#下面為讀取80 port http轉https的功能
server {
        listen 80;
        listen [::]:80;
        server_name your.domain.name1;
        return 301 https:#$host$request_uri;
}
server {
        listen 80;
        listen [::]:80;
        server_name your.domain.name;
        return 301 https:#$host$request_uri;
}

原始碼：redirect.conf（GitHub Gist）

2. 負載平衡(load balancer)

如果一個網站的訪問量非常大，一台server已經無法負擔時，你可以透過load balance(多幾台server來分攤這些流量，當某一台server掛掉的時候你的網站還是活得很好)處理

Nginx實務上你可以根據server實際上的硬體條件去分散每個server的流量，在這裡我以透過Nginx分流到兩個server上面做解釋：

SETP 1/3 : server A的Nginx設定

vi /etc/nginx/sites-enabled/default

server {
    listen 80;
    
    #Proxy的位置，提供給使用者連線
    server_name  server_a.com; 
    
    access_log /var/log/nginx/server_a.com main;
    error_log /var/log/nginx/server_a.com warn;
    
    location / {
        root   /usr/share/nginx/html;# 靜態文件路徑
        index  index.html index.htm;
    }
}

原始碼：server_a.conf（GitHub Gist）

SETP 2/3 : server B的Nginx設定

vi /etc/nginx/sites-enabled/default

server {
    listen 80;
    
    #Proxy的位置，提供給使用者連線
    server_name  server_b.com; 
    
    access_log /var/log/nginx/server_b.com main;
    error_log /var/log/nginx/server_b.com warn;
    
    location / {
        root   /usr/share/nginx/html; #靜態文件路徑
        index  index.html index.htm;
    }
}

原始碼：server_b.conf（GitHub Gist）

STEP 3/3 : nginx來處理負載平衡

vi /etc/nginx/sites-enabled/default

# weight是資源分散的權重，可根據server本身硬體條件做調整
upstream your_web {
    server server_a.com weight=3;#前面設定的server_name，或者用存粹的ip也可以()
    server server_a.com weight=2;
}
server {
    listen       443 ssl;
    server_name  server.com;
    access_log /var/log/nginx/server.com.access.log main;
    error_log /var/log/nginx/server.com.error.log warn;
    ssl_certificate server.com.crt;
    ssl_certificate_key server.com..key;
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    location / {
        proxy_pass http://your_web;#真實網址
        proxy_set_header   Host    $host;
        proxy_set_header   X-Real-IP   $remote_addr;
        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

原始碼：nginx.conf（GitHub Gist）

3. 虛擬主機(Virtual Host)

如果單一網站的流量太小，你會覺得他獨佔一台server有點浪費，所以除了負載平衡(load balance)這種導流量的做法外，你也可以讓一台server在不同的port開啟多個服務

server {  
    listen 80 default_server;  
    server_name _;  
    return 444; # 過濾其他domain name返回444
}   
 
 
server {  
    listen 80;  
    server_name your.domain.name1;
 
    location / {  
        proxy_pass http://localhost:8080; # 內部對應的port
    }  
}  
 
server {   
    listen 80;   
    server_name your.domain.name2;
    location / {   
        proxy_pass http://localhost:8081; # 內部對應的port 
    }   
}

原始碼：VirtualHost.conf（GitHub Gist）

參考資源：使用 Nginx 做 Load Balancer、Nginx簡介、正向代理和反向代理解釋

這個好用的網頁伺服器工具最近兩年被我大量使用，因為他的設定簡單，功能強大，在這裡我會把分幾個部分做說明：

1. 安裝(ubuntu環境)
2. 防火牆設定
3. 常用操作
4. 曾經遇到的坑
5. 相關參考資源

安裝(ubuntu環境)

sudo apt-get update
sudo apt install nginx
sudo systemctl start nginx
sudo systemctl enable nginx

防火牆設定

sudo ufw allow ssh  // 允許ssh登入作業
sudo ufw allow 80  // 允許http
sudo ufw allow 443  // 允許https
sudo ufw allow ‘Nginx HTTP’
sudo ufw enable // 啟動防火牆
sudo ufw status // 列出當前防火牆狀態
sudo ufw status numbered  // 列出當前防火牆規則號碼(通常都是為了刪除)
sudo ufw delete 2 // 刪除防火牆特定規則

常用操作

sudo systemctl restart nginx  // 重啟
sudo /etc/init.d/apache2 stop  // 暫停apache
service php7.3-fpm restart // php的conf修改後需要重啟

曾經遇到的坑

413 Request Entity Too Large

如果有用nginx當loadbalance，記得/etc/nginx/sites-enabled/default的部分也要做相對應的調整

client_max_body_size 2000M;
sudo service nginx restart

Git clone through Nginx proxy for Gitlab server is not working

可參考stackoverflow

ssh_exchange_identification: Connection closed by remote host

因為/etc/nginx/sites-enabled/default的地方修改無效

所以要在上一層/etc/nginx/nginx.conf做修正

stream {
  server {
    listen 223;
    listen [::]:223;
    proxy_pass 192.xxx.xxx.xxx:22; //目標ip:ssh port
  }
}
sudo service nginx restart

server關機重啟後頁面 404

因為安裝php的時候apache有時沒注意會被順便安裝起來

首先檢查是否被apache佔用

sudo netstat -lpn |grep 80

如果是的話可以把apache暫停或是刪除

sudo /etc/init.d/apache2 stop  // 暫停apache
// 下面是刪除的方法
sudo apt-get purge apache2 apache2-utils apache2.2-bin apache2-common
sudo apt-get autoremove
whereis apache2
apache2: /etc/apache2 //列出路徑
sudo rm -rf /etc/apache2

nginx 502

查看錯誤日誌

sudo vi /var/log/nginx/error.log

connect() to unix:/var/run/php-fpm.sock failed (11: Resource temporarily unavailable)

如果是以上錯誤

sudo vi /etc/php/7.3/fpm/pool.d/www.conf

将backlog前面的;去掉，并将其值改为4096.

保存重启fpm

service php7.3-fpm restart

Nginx使用limit_req_zone對同一ip訪問進行限流

考慮到有可能的DDOS問題，又或是一些不正常的連線次數(在短時間大量call很多次api)，可參考這兩篇文章修改nginx默認的連線設定:文章1、文章2

想調整可以先進入設定檔：

vi /etc/nginx/sites-available/default

針對你想要加上限制的部分加上設定：

limit_req_zone $binary_remote_addr zone=reqlimit:10m rate=5r/s;
server {
  listen 80 default_server;
  limit_req zone=reqlimit;
}

• zone=reqlimit：自己定義的名稱
• 10m：Server 記憶體要保存多少 ip 的 request 紀錄
• rate=5r/s：每秒接受 5 個 requests

設定 no-cache 機制

有時網頁會 cache 到過去的資源，此時你可以在目標路徑下做如下設定

location / {
 add_header Cache-Control no-cache;
 add_header Cache-Control private;
 try_files $uri $uri/ /index.html;
}

相關參考資源

Nginx SSL 憑證加分的設定調整

Nginx 設定 SSL 網頁加密

ssl key比對

ssl驗證網址

nginx 轉址(loadbalance)

因為過去在使用的路上遇到各式各樣的問題，我把相關經驗整合在這裡，希望看到文章的朋友可以順利跨過這些難關，如果我的文章幫你解決問題歡迎多按幾次拍手。

此Gitlab安裝時的ubuntu版本為16.4，指令如有不同，請自行google，如果你願意，也非常歡迎回覆在下方分享您的經驗。

建議硬體需求

RAM至少4GB，以百人公司規模來說建議8GB以上大家使用上會順暢很多(如果你用官方建議2GB可能會連安裝都卡住，這部分有親自體驗過)

安裝前置作業

1. 因為git在連線時需要使用ssh連線進行安全性驗證 所以需要openssh-server ca-certificates
2. gitlab支援寄信通知或是驗證功能所以需要信箱伺服器支援需要postfix

curl openssh-server ca-certificates postfix
sudo apt-get install curl openssh-server ca-certificates postfix

安裝gitlab

1. gitlab下載目前運行版本指令

curl -s https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.deb.sh | sudo bash
sudo apt-get install gitlab-ce=11.1.4-ce.0

2. 單純下載封包

wget — content-disposition https://packages.gitlab.com/gitlab/gitlab-ce/packages/ubuntu/trusty/gitlab-ce_11.1.4-ce.0_amd64.deb/download.deb

建議要備份下載的deb檔案到自己的硬碟，如果日後災難復原時會用上，像我是備份到公司的NAS Server上面

gitlab環境配置

sudo gitlab-ctl reconfigure

如果環境沒問題，上面這個指令會順順的過去；但如果做了版本升級或是降級，所有的環境都可能會產生或大或小的bug，官方並沒有提供一個很健全的解決方案，建議未來的使用者除非很有把握不然建議不要隨意升級。

筆者在之後新版的gitlab有更新成功，但是舊版直接升級會遇到許多問題整理部份如下

Gitlab 500 Error: PG::ConnectionBad:

https://gitlab.com/gitlab-org/omnibus-gitlab/issues/1637

/opt/gitlab/embedded/bin/bundle:23:in `<main>’

https://gitlab.com/gitlab-org/omnibus-gitlab/issues/3185

輸入以下指令可獲得版本資訊:

sudo gitlab-rake gitlab:env:info

設定對外網址

輸入下面指令後尋找external_url，將其修改成自己的url與開放的port

sudo vi /etc/gitlab/gitlab.rb

external_url 'https://domain.com'.  //你自己的url

registry_nginx['redirect_http_to_https'] = true   //是否自動轉址為https
mattermost_nginx['redirect_http_to_https'] = true
nginx['enable'] = true
nginx['redirect_http_to_https'] = true
nginx['redirect_http_to_https_port'] = 80
nginx['ssl_certificate'] = "/etc/your_path/ssl/gitlab.xxxxx.com.crt"   //如果你的gitlab為https請設定ssl的路徑
nginx['ssl_certificate_key'] = "/etc/your_path/ssl/gitlab.xxxxx.com.key"

原始碼：gitlab.rb（GitHub Gist）

每次修改過這個檔記得要重新配置才會生效

sudo gitlab-ctl reconfigure

(到這一部已經可以使用gitlab了，但是如果要寄信相關還要做如下設定)

寄信相關設定

sudo vi /etc/gitlab/gitlab.rb

把下面這些貼到最下面後sudo gitlab-ctl reconfigure就生效了

//下面的是email信箱設定(此為gmail範例)
gitlab_rails['smtp_enable'] = true
gitlab_rails['smtp_address'] = "smtp.gmail.com"
gitlab_rails['smtp_port'] = 587
gitlab_rails['smtp_user_name'] = "your@gmail.com"
gitlab_rails['smtp_password'] = "your_password"
gitlab_rails['smtp_domain'] = "smtp.gmail.com"
gitlab_rails['smtp_authentication'] = "login"
gitlab_rails['smtp_enable_starttls_auto'] = true
gitlab_rails['smtp_tls'] = false
gitlab_rails['smtp_openssl_verify_mode'] = 'peer' # Can be: 'none', 'peer', 'client_once', 'fail_if_no_peer_cert', see http://api.rubyonrails.org/classes/ActionMailer/Base.html
gitlab_rails['smtp_ca_path'] = "/etc/ssl/certs"
gitlab_rails['smtp_ca_file'] = "/etc/ssl/certs/ca-certificates.crt"

原始碼：gitlab_gmail.rb（GitHub Gist）

可下指令測試是否設定成功

sudo gitlab-rails console
Notify.test_email(‘email@example.com’, ‘test’, ‘test’).deliver_now

但是當gitlab的server有設定雙網卡（同時有內網以及外網）的時候就有可能出現email無法寄送的狀況，這個時候你要確定你外網的優先權必須要高於內網。

看mail錯誤log

vi /var/log/mail.log

改mail postfix設定

vi /etc/postfix/main.cf
postfix reload

ssh對外設定

如果你對外網址的22 port已經被其他專案佔用了（ex:我公司），所以要將預設ssh的22 port改為轉址的223 port(或是其他你希望的)，一樣是在sudo vi /etc/gitlab/gitlab.rb設定，這樣在gitlab才能用ssh下載

gitlab_rails[‘gitlab_shell_ssh_port’] = 223

nginx設定

nginx['enable'] = true
nginx['redirect_http_to_https'] = true
nginx['redirect_http_to_https_port'] = 80
nginx['ssl_certificate'] = "/etc/your_path/ssl/gitlab.xxxxx.com.crt"   //如果你的gitlab為https請設定ssl的路徑
nginx['ssl_certificate_key'] = "/etc/your_path/ssl/gitlab.xxxxx.com.key"

原始碼：gitlab_nginx.rb（GitHub Gist）

讓Gitlab可通內網外網

在gitlab分配兩張網卡後需要完成以下步驟

先看新增的網卡名稱

cd /proc/sys/net/ipv4/conf

確認完網卡後將他們編輯加入

sudo vi /etc/network/interfaces
auto ethXXX
iface ethXXX inet dhcp

改完後

sudo /etc/init.d/networking restart

用ifconfig查看是不是抓到

設定路由可以透過閘道連通

sudo /sbin/route add 10.1.1.1(目標內網ip) gw 10.1.1.254(內網閘道) dev ens192(網卡)

設定NAS上此共享資料夾必須符合NFS設定可參閱這篇文章

http://blog.xuite.net/tolarku/blog/495291815-Qnap+%E8%A8%AD%E5%AE%9A+NFS+%E5%88%86%E4%BA%AB%E8%A8%AD%E5%AE%9A+-+nfs+export

確認是否可連通，並觀看有哪些資料夾

sudo apt install nfs-common
showmount -e 10.1.1.1(目標內網ip)

將NAS上的共享資料夾掛載到ubuntu上面

sudo mount -t nfs 10.1.1.1(目標內網ip):ServerGit /home/your_path/gitlab_backup

確認是否掛載

df -h

gitlab定時自動備份到NAS的設定

在/etc/gitlab/gitlab.rb設定gitlab的備份路徑

gitlab_rails[‘backup_path’]=”/home/your_path/gitlab_backup/”

每個月1日創建本月的資料夾的script

now_month=”$(date +’%Y%m’)”
#echo “$now_month”
cd /home/your_path/gitlab_backup
mkdir $now_month

將產生的backup檔案轉移到月份資料夾底下的script,並刪除比較久的資料

mv /home/your_path/gitlab_backup/*.tar /home/your_path/gitlab_backup/$(date +’%Y%m’)
find /home/your_path/gitlab_backup/$(date +’%Y%m’) -name “*gitlab_backup.tar” -mtime +3 -exec rm -rf {} \;
find /home/your_path/gitlab_backup/$(date “+%Y%m” -d ‘1 month ago’) -name “*gitlab_backup.tar” -mtime +3 -exec rm -rf {} \;

排程設定

sudo crontab -e
1 0 1 * * sh /home/your_path/script/mkdir.sh
1 1 * * * /opt/gitlab/bin/gitlab-rake gitlab:backup:create
1 2 * * * sh /home/your_path/script/mv_to_month.sh

Gitlab 的學問博大精深，希望這篇文章讓初學者上手時更加輕鬆。