使用Nginx代理S3時，須要禁用URL解碼。

問題來源

• 使用Nginx代理S3時，沒法建立新文件（讀取和刪除正常）。

用fuse掛載s3

1. 使用 s3fs (V1.79) 掛載

s3fs ceph-s3 /mnt/ceph -o sigv2 -o use_path_request_style -o passwd_file=/etc/passwd-s3fs -o url=http://s3.biliops.com

沒法新建文件

1. 錯誤日誌 /var/log/radosgw/radosgw-node-6.log http-403：

7fe690eba7c0  0 ceph version 9.2.0 (bb2ecea240f3a1d525bcb35670cb07bd1f0ca299), process radosgw, pid 2332333
7fe690eba7c0  0 framework: civetweb
7fe690eba7c0  0 framework conf key: port, val: 2333
7fe690eba7c0  0 starting handler: civetweb
7fe60adfb700  1 civetweb: 0x7fe5f80008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name HTTP/1.0" 404 0 - -
7fe609df9700  1 civetweb: 0x7fe5ec0008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name/ HTTP/1.0" 404 0 - -
7fe60a5fa700  1 civetweb: 0x7fe5f00008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name_$folder$ HTTP/1.0" 403 0 - -

問題跟蹤

1. 爲提升存儲可用性，在civetweb提供的服務前加了一層Nginx。
2. 後端upsteam到多臺civetweb節點。
3. ceph對應的radosgw配置 /etc/ceph/ceph.conf ：

[client.rgw.node-6]
  host = node-6
  keyring = /var/lib/ceph/radosgw/ceph-rgw.node-6/keyring
  rgw socket path = /tmp/radosgw-node-6.sock
  log file = /var/log/radosgw/radosgw-node-6.log
  rgw data = /var/lib/ceph/radosgw/ceph-rgw.node-6
  rgw print continue = false
  rgw frontends = civetweb port=2333

1. 然而，直接掛載 civetweb 卻能正常使用

s3fs ceph-s3 /mnt/ceph -o sigv2 -o use_path_request_style -o passwd_file=/etc/passwd-s3fs -o url=http://node-6.biliops.com:2333

定位問題

• 使用 tcpflow 抓包，對比 Nginx 代理先後請求內容的區別，發現：

1. 使用Civetweb時，新建文件時有個URI是 HEAD /ceph-s3/name_%24folder%24 ；
2. 使用Nginx代理後，對應的URI變成了 HEAD /ceph-s3/name_$folder$ 。

驗證和解決

• 竟然是Nginx在proxy_pass階段對URI進行了解碼，致使S3協議出錯！

驗證方法

1. Nginx配置 /etc/nginx/sites-enabled/01-proxypass.biliops.com，關鍵部分：

server {
	listen       80 backlog=65535;
	server_name  proxypass.biliops.com;
	location / {
		proxy_ignore_client_abort on;
		proxy_set_header Host echo.biliops.com;
		proxy_redirect off;
		proxy_http_version 1.1;
		proxy_set_header Connection "keep-alive";
		proxy_pass $schema://127.0.0.1:80/;
	}
}
server {
	listen       80;
	server_name  echo.biliops.com;
	location / {
		add_header request $request;
	}
}

1. 參考 s3fs 的請求 curl -I proxypass.biliops.com/name_%24folder%24；
2. 配置 proxy_pass http://127.0.0.1:80/; 時，訪問結果是：

request: HEAD /name_$folder$ HTTP/1.1

1. 配置 proxy_pass http://127.0.0.1:80$1; 時，訪問結果是：

request: HEAD /name_%24folder%24 HTTP/1.1

解決辦法

1. / 和 $1 的區別明白後，按需使用便可。
2. 本例須要的是原始uri，則使用$1來轉發。
3. 若須要Nginx幫轉碼，可以使用/全全代理。