相似ext家族、xfs格式的本地文件系統,它們都是經過單個文件名稱空間(name space)來包含不少文件,並提供基本的文件管理和空間分配功能。而文件是存放在文件系統中(上述名稱空間內)的單個命名對象,每一個文件都包含了文件實際數據和屬性數據。可是,這些類型的文件系統和其內文件都是存放在本地主機上的。html
實際上,還有網絡文件系統。顧名思義,就是跨網絡的文件系統,將遠程主機上的文件系統(或目錄)存放在本地主機上,就像它自己就是本地文件系統同樣。在Windows環境下有cifs協議實現的網絡文件系統,在Unix環境下,最出名是由NFS協議實現的NFS文件系統。node
NFS即network file system的縮寫,nfs是屬於用起來很是簡單,研究起來很是難的東西。相信,使用過它或學過它的人都不會認爲它的使用有任何難點,只需將遠程主機上要共享給客戶端的目錄導出(export),而後在客戶端上掛載便可像本地文件系統同樣。到目前爲止,nfs已經有5個版本,NFSv1是未公佈出來的版本,v2和v3版本目前來講基本已經淘汰,v4版本是目前使用最多的版本,nfsv4.1是目前最新的版本。ios
要介紹NFS,必然要先介紹RPC。RPC是remote procedure call的簡寫,人們都將其譯爲"遠程過程調用",它是一種框架,這種框架在大型公司應用很是多。而NFS正是其中一種,此外NIS、hadoop也是使用rpc框架實現的。centos
所謂的remote procedure call,就是在本地調用遠程主機上的procedure。以本地執行"cat -n ~/abc.txt"命令爲例,在本地執行cat命令時,會發起某些系統調用(如open()、read()、close()等),並將cat的選項和參數傳遞給這些函數,因而最終實現了文件的查看功能。在RPC層面上理解,上面發起的系統調用就是procedure,每一個procedure對應一個或多個功能。而rpc的全名remote procedure call所表示的就是實現遠程procedure調用,讓遠程主機去調用對應的procedure。緩存
上面的cat命令只是本地執行的命令,如何實現遠程cat,甚至其餘遠程命令?一般有兩種可能實現的方式:安全
(1).使用ssh類的工具,將要執行的命令傳遞到遠程主機上並執行。但ssh沒法直接調用遠程主機上cat所發起的那些系統調用(如open()、read()、close()等)。cookie
(2).使用網絡socket的方式,告訴遠程服務進程要調用的函數。但這樣的主機間進程通訊方式通常都是daemon類服務,daemon類的客戶端(即服務的消費方)每調用一個服務的功能,都須要編寫一堆實現網絡通訊相關的代碼。不只容易出錯,還比較複雜。網絡
而rpc是最好的解決方式。rpc是一種框架,在此框架中已經集成了網絡通訊代碼和封包、解包方式(編碼、解碼)。如下是rpc整個過程,以cat NFS文件系統中的a.sh文件爲例。併發
nfs客戶端執行cat a.sh,因爲a.sh是NFS文件系統內的文件,因此cat會發起一些procedure調用(如open/read/close),這些procedure對應的ID號碼和對應的參數會發送給rpc client(多是單個procedure ID,也多是多個procedure組合在一塊兒一次性發送給rpc client,在NFSv4上是後者),rpc client會將這些數據進行編碼封裝(封裝和解封裝功能由stub代碼實現),封裝後的消息稱爲"call message",而後將call message經過網絡發送給rpc server,rpc server會對封裝的數據進行解封提取,因而就獲得了要調用的procedures ID和對應的參數,而後將它們交給NFS服務進程,最終調用procedure ID對應的procedure來執行,並返回結果。NFS服務發起procedure調用後,會獲得數據(多是數據自己,多是狀態消息等),因而將返回結果交給rpc server,rpc server會將這些數據封裝,這部分數據稱爲"reply message",而後將reply message經過網絡發送給rpc client,rpc client解封提取,因而獲得最終的返回結果。app
從上面的過程能夠知道,rpc的做用是數據封裝,rpc client封裝待調用的procedure ID及其參數(其實還有一個program ID,關於program,見下文),rpc server封裝返回的數據。
舉個更簡單的例子,使用google搜索時,實現搜索功能的program ID以及涉及到的procedure ID和要搜索的內容就是rpc client封裝的對象,也是rpc server要解封的對象,搜索的結果則是rpc server封裝的對象,也是rpc client要解封的對象。解封后的最終結果即爲google搜索的結果。
在CentOS 6/7上,rpc server由rpcbind程序實現,該程序由rpcbind包提供。
[root@xuexi ~]# yum -y install rpcbind [root@xuexi ~]# rpm -ql rpcbind | grep bin/ /usr/sbin/rpcbind /usr/sbin/rpcinfo
其中rpcbind是rpc主程序,在rpc服務端該程序必須處於已運行狀態,其默認監聽在111端口。rpcinfo是rpc相關信息查詢工具。
對於rpc而言,其所直接管理的是programs,programs由一個或多個procedure組成。這些program稱爲RPC program或RPC service。
以下圖,其中NFS、NIS、hadoop等稱爲網絡服務,它們由多個進程或程序(program)組成。例如NFS包括rpc.nfsd、rpc.mountd、rpc.statd和rpc.idmapd等programs,其中每一個program都包含了一個或多個procedure,例如rpc.nfsd這個程序包含了如OPEN、CLOSE、READ、COMPOUND、GETATTR等procedure,rpc.mountd也主要有MNT和UMNT兩個procedure。
對於RPC而言,它是不知道NFS/NIS/hadoop這一層的,它直接管理programs。每一個program啓動時都須要找111端口的rpc服務登記註冊,而後RPC服務會爲該program映射一個program number以及分配一個端口號。其中每一個program都有一個惟一與之對應的program number,它們的映射關係定義在/etc/rpc文件中。之後rpc server將使用program number來判斷要調用的是哪一個program中的哪一個procedure(由於這些都是rpc client封裝在"call message"中的),並將解包後的數據傳遞給該program和procedure。
例如只啓動rpcbind時。
[root@xuexi ~]# systemctl start rpcbind.service [root@xuexi ~]# rpcinfo -p localhost program vers proto port service 100000 4 tcp 111 portmapper 100000 3 tcp 111 portmapper 100000 2 tcp 111 portmapper 100000 4 udp 111 portmapper 100000 3 udp 111 portmapper 100000 2 udp 111 portmapper
其中第一列就是program number,第二列vers表示對應program的版本號,最後一列爲RPC管理的RPC service名,其實就是各program對應的稱呼。
當客戶端獲取到rpc所管理的service的端口後,就能夠與該端口進行通訊了。但注意,即便客戶端已經獲取了端口號,客戶端仍會藉助rpc作爲中間人進行通訊。也就是說,不管什麼時候,客戶端和rpc所管理的服務的通訊都必須經過rpc來完成。之因此如此,是由於只有rpc才能封裝和解封裝數據。
既然客戶端不能直接拿着端口號和rpc service通訊,那還提供端口號幹嗎?這個端口號是爲rpc server提供的,rpc server解包數據後,會將數據經過此端口交給對應的rpc service。
NFS自己是很複雜的,它由不少進程組成。這些進程的啓動程序由nfs-utils包提供。因爲nfs是使用RPC框架實現的,因此須要先安裝好rpcbind。不過安裝nfs-utils時會自動安裝rpcbind。
[root@xuexi ~]# yum -y install nfs-utils [root@xuexi ~]# rpm -ql nfs-utils | grep /usr/sbin /usr/sbin/blkmapd /usr/sbin/exportfs /usr/sbin/mountstats /usr/sbin/nfsdcltrack /usr/sbin/nfsidmap /usr/sbin/nfsiostat /usr/sbin/nfsstat /usr/sbin/rpc.gssd /usr/sbin/rpc.idmapd /usr/sbin/rpc.mountd /usr/sbin/rpc.nfsd /usr/sbin/rpc.svcgssd /usr/sbin/rpcdebug /usr/sbin/showmount /usr/sbin/sm-notify /usr/sbin/start-statd
其中以"rpc."開頭的程序都是rpc service,分別實現不一樣的功能,啓動它們時每一個都須要向rpcbind進行登記註冊。
[root@xuexi ~]# systemctl start nfs.service [root@xuexi ~]# rpcinfo -p localhost program vers proto port service 100000 4 tcp 111 portmapper 100000 3 tcp 111 portmapper 100000 2 tcp 111 portmapper 100000 4 udp 111 portmapper 100000 3 udp 111 portmapper 100000 2 udp 111 portmapper 100024 1 udp 56229 status 100024 1 tcp 57226 status 100005 1 udp 20048 mountd 100005 1 tcp 20048 mountd 100005 2 udp 20048 mountd 100005 2 tcp 20048 mountd 100005 3 udp 20048 mountd 100005 3 tcp 20048 mountd 100003 3 tcp 2049 nfs 100003 4 tcp 2049 nfs 100227 3 tcp 2049 nfs_acl 100003 3 udp 2049 nfs 100003 4 udp 2049 nfs 100227 3 udp 2049 nfs_acl 100021 1 udp 48609 nlockmgr 100021 3 udp 48609 nlockmgr 100021 4 udp 48609 nlockmgr 100021 1 tcp 50915 nlockmgr 100021 3 tcp 50915 nlockmgr 100021 4 tcp 50915 nlockmgr
能夠看到,每一個program都啓動了不一樣版本的功能。其中nfs program爲rpc.nfsd對應的program,爲nfs服務的主進程,端口號爲2049。mountd對應的program爲rpc.mountd,它爲客戶端的mount和umount命令提供服務,即掛載和卸載NFS文件系統時會聯繫mountd服務,由mountd維護相關掛載信息。nlockmgr對應的program爲rpc.statd,用於維護文件鎖和文件委託相關功能,在NFSv4之前,稱之爲NSM(network status manager)。nfs_acl和status,很顯然,它們是訪問控制列表和狀態信息維護的program。
再看看啓動的相關進程信息。
[root@xuexi ~]# ps aux | grep -E "[n]fs|[r]pc" root 748 0.0 0.0 0 0 ? S< Jul26 0:00 [rpciod] rpc 6127 0.0 0.0 64908 1448 ? Ss Jul26 0:00 /sbin/rpcbind -w rpcuser 6128 0.0 0.0 46608 1836 ? Ss Jul26 0:00 /usr/sbin/rpc.statd --no-notify root 6242 0.0 0.0 0 0 ? S< Jul26 0:00 [nfsiod] root 6248 0.0 0.0 0 0 ? S Jul26 0:00 [nfsv4.0-svc] root 17128 0.0 0.0 44860 976 ? Ss 02:49 0:00 /usr/sbin/rpc.mountd root 17129 0.0 0.0 21372 420 ? Ss 02:49 0:00 /usr/sbin/rpc.idmapd root 17134 0.0 0.0 0 0 ? S< 02:49 0:00 [nfsd4] root 17135 0.0 0.0 0 0 ? S< 02:49 0:00 [nfsd4_callbacks] root 17141 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17142 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17143 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17144 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17145 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17146 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17147 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17148 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd]
其中有一項/usr/sbin/rpc.idmapd進程,該進程是提供服務端的uid/gid <==> username/groupname的映射翻譯服務。客戶端的uid/gid <==> username/groupname的映射翻譯服務則由"nfsidmap"工具實現,詳細說明見下文。
在將服務端的目錄共享(share)或者說導出(export)給客戶端以前,須要先配置好要導出的目錄。好比何人可訪問該目錄,該目錄是否可寫,以何人身份訪問導出目錄等。
配置導出目錄的配置文件爲/etc/exports或/etc/exports.d/*.exports文件,在nfs服務啓動時,會自動加載這些配置文件中的全部導出項。如下是導出示例:
/www 172.16.0.0/16(rw,async,no_root_squash)
其中/www是導出目錄,即共享給客戶端的目錄;172.16.0.0/16是訪問控制列表ACL,只有該網段的客戶端主機才能訪問該導出目錄,即掛載該導出目錄;緊跟在主機列表後的括號及括號中的內容定義的是該導出目錄對該主機的導出選項,例如(rw,async,no_root_squash)表示客戶端掛載/www後,該目錄可讀寫、異步、可保留root用戶的權限,具體的導出選項稍後列出。
如下是可接收的幾種導出方式:
/www1 (rw,async,no_root_squash) # 導出給全部主機,此時稱爲導出給world /www2 172.16.1.1(rw,async) # 僅導出給單臺主機172.16.1.1 /www3 172.16.0.0/16(rw,async) 192.168.10.3(rw,no_root_squash) # 導出給網段172.16.0.0/16,還導出給單臺 # 主機192.168.10.3,且它們的導出選項不一樣 /www4 www.a.com(rw,async) # 導出給單臺主機www.a.com主機,但要求能解析該主機名 /www *.b.com(rw,async) # 導出給b.com下的全部主機,要求能解析對應主機名
如下是經常使用的一些導出選項說明,更多的導出選項見man exports:常見的默認項是:ro,sync,root_squash,no_all_squash,wdelay。
導出選項 (加粗標紅爲默認) |
選項說明 |
rw、ro |
導出目錄可讀寫仍是隻讀(read-only)。 |
sync、async |
同步共享仍是異步共享。異步時,客戶端提交要寫入的數據到服務端,服務端接收數據後直接響應客戶端,但此時數據並不必定已經寫入磁盤中,而同步則是必須等待服務端已將數據寫入磁盤後才響應客戶端。也就是說,給定異步導出選項時,雖然能提高一些性能,但在服務端忽然故障或重啓時有丟失一部分數據的風險。 固然,對於只讀(ro)的導出目錄,設置sync或async是沒有任何差異的。 |
anonuid anongid |
此爲匿名用戶(anonymous)的uid和gid值,默認都爲65534,在/etc/passwd和/etc/shadow中它們對應的用戶名爲nfsnobody。該選項指定的值用於身份映射被壓縮時。 |
root_squash、 no_root_squash |
是否將發起請求(即客戶端進行訪問時)的uid/gid=0的root用戶映射爲anonymous用戶。便是否壓縮root用戶的權限。 |
all_squash no_all_squash |
是否將發起請求(即客戶端進行訪問時)的全部用戶都映射爲anonymous用戶,便是否壓縮全部用戶的權限。 |
對於root用戶,將取(no_)root_squash和(no_)all_squash的交集。例如,no_root_squash和all_squash同時設置時,root仍被壓縮,root_squash和no_all_squash同時設置時,root也被壓縮。
有些導出選項須要配合其餘設置。例如,導出選項設置爲rw,但若是目錄自己沒有w權限,或者mount時指定了ro掛載選項,則一樣不容許寫操做。
至於別的導出選項,基本無需去關注。
在配置文件寫好要導出的目錄後,直接重啓nfs服務便可,它會讀取這些配置文件。隨後就能夠在客戶端執行mount命令進行掛載。
例如,exports文件內容以下:
/vol/vol0 *(rw,no_root_squash) /vol/vol2 *(rw,no_root_squash) /backup/archive *(rw,no_root_squash)
而後去客戶端上掛載它們。
[root@xuexi ~]# mount -t nfs 172.16.10.5:/vol/vol0 /mp1 [root@xuexi ~]# mount 172.16.10.5:/vol/vol2 /mp2 [root@xuexi ~]# mount 172.16.10.5:/backup/archive /mp3
掛載時"-t nfs"能夠省略,由於對於mount而言,只有掛載nfs文件系統纔會寫成host:/path格式。固然,除了mount命令,nfs-utils包還提供了獨立的mount.nfs命令,它其實和"mount -t nfs"命令是同樣的。
mount掛載時能夠指定掛載選項,其中包括mount通用掛載選項,如rw/ro,atime/noatime,async/sync,auto/noauto等,也包括針對nfs文件系統的掛載選項。如下列出幾個常見的,更多的內容查看man nfs和man mount。
選項 |
參數意義 |
默認值 |
suid nosuid |
若是掛載的文件系統上有設置了suid的二進制程序, 使用nosuid能夠取消它的suid |
suid |
rw ro |
儘管服務端提供了rw權限,可是掛載時設定ro,則仍是ro權限 權限取交集 |
rw |
exec/noexec |
是否可執行掛載的文件系統裏的二進制文件 |
exec |
user nouser |
是否運行普通用戶進行檔案的掛載和卸載 |
nouser |
auto noauto |
auto等價於mount -a,意思是將/etc/fstab裏設定的所有重掛一遍 |
auto |
sync nosync |
同步掛載仍是異步掛載 |
async |
atime noatime |
是否修改atime,對於nfs而言,該選項是無效的,理由見下文 |
|
diratime nodiratime |
是否修改目錄atime,對於nfs而言,該掛載選項是無效的,理由見下文 |
|
remount |
從新掛載 |
|
如下是針對nfs文件系統的掛載選項。其中沒有給出關於緩存選項(ac/noac、cto/nocto、lookupcache)的說明,它們能夠直接採用默認值,若是想要了解緩存相關內容,能夠查看man nfs。
選項 |
功能 |
默認值 |
fg/bg |
掛載失敗後mount命令的行爲。默認爲fg,表示掛載失敗時將直接報錯退出,若是是bg, 掛載失敗後會建立一個子進程不斷在後臺掛載,而父進程mount自身則當即退出並返回0狀態碼。 |
fg |
timeo |
NFS客戶端等待下一次重發NFS請求的時間間隔,單位爲十分之一秒。 基於TCP的NFS的默認timeo的值爲600(60秒)。 |
|
hard/soft |
決定NFS客戶端當NFS請求超時時的恢復行爲方式。若是是hard,將無限從新發送NFS請求。 例如在客戶端使用df -h查看文件系統時就會不斷等待。 設置soft,當retrans次數耗盡時,NFS客戶端將認爲NFS請求失敗,從而使得NFS客戶端 返回一個錯誤給調用它的程序。 |
hard |
retrans |
NFS客戶端最多發送的請求次數,次數耗盡後將報錯表示鏈接失敗。若是hard掛載選項生效, 則會進一步嘗試恢復鏈接。 |
3 |
rsize wsize |
一次讀出(rsize)和寫入(wsize)的區塊大小。若是網絡帶寬大,這兩個值設置大一點能提高傳 輸能力。最好設置到帶寬的臨界值。 單位爲字節,大小隻能爲1024的倍數,且最大隻能設置爲1M。 |
|
注意三點:
(1).所謂的soft在特定的環境下超時後會致使靜態數據中斷。所以,僅當客戶端響應速度比數據完整性更重要時才使用soft選項。使用基於TCP的NFS(除非顯示指定使用UDP,不然如今老是默認使用TCP)或增長retrans重試次數能夠下降使用soft選項帶來的風險。
若是真的出現NFS服務端下線,致使NFS客戶端無限等待的狀況,能夠強制將NFS文件系統卸載,卸載方法:
umount -f -l MOUNT_POINT
其中"-f"是強制卸載,"-l"是lazy umount,表示將該文件系統從當前目錄樹中剝離,讓全部對該文件系統內的文件引用都強制失效。對於丟失了NFS服務端的文件系統,卸載時"-l"選項是必須的。
(2).因爲nfs的客戶端掛載後會緩存文件的屬性信息,其中包括各類文件時間戳,因此mount指定時間相關的掛載選項是沒有意義的,它們不會有任何效果,包括atime/noatime,diratime/nodiratime,relatime/norelatime以及strictatime/nostrictatime等。具體可見man nfs中"DATA AND METADATA COHERENCE"段的"File timestamp maintainence"說明,或者見本文末尾的翻譯。
(3).若是是要開機掛載NFS文件系統,方式天然是寫入到/etc/fstab文件或將mount命令放入rc.local文件中。若是是將/etc/fstab中,那麼在系統環境初始化(exec /etc/rc.d/rc.sysinit)的時候會加載fstab中的內容,若是掛載fstab中的文件系統出錯,則會致使系統環境初始化失敗,結果是系統開機失敗。因此,要開機掛載nfs文件系統,則須要在/etc/fstab中加入一個掛載選項"_rnetdev"或"_netdev"(centos 7中已經沒有"_rnetdev"),防止沒法聯繫nfs服務端時致使開機啓動失敗。例如:
172.16.10.5:/www /mnt nfs defaults,_rnetdev 0 0
當導出目錄後,將在/var/lib/nfs/etab文件中寫入一條對應的導出記錄,這是nfs維護的導出表,該表的內容會交給rpc.mountd進程,並在必要的時候(mountd接受到客戶端的mount請求時),將此導出表中的內容加載到內核中,內核也單獨維護一張導出表。
服務端導出/vol/vol0、/vol/vol2和/backup/archive後,其中vol0和vol1是連在一個目錄下的,但它們和archive目錄沒有連在一塊兒,nfs採用僞文件系統的方式來橋接這些不鏈接的導出目錄。橋接的方式是建立那些未導出的鏈接目錄,如僞vol目錄,僞backup目錄以及頂級的僞根,以下圖所示。
當客戶端掛載後,每次訪問導出目錄時,其實都是經過找到僞文件系統(文件系統都有id,在nfs上僞文件系統的id稱爲fsid)並定位到導出目錄的。
使用showmount命令能夠查看某一臺主機的導出目錄狀況。由於涉及到rpc請求,因此若是rpc出問題,showmount同樣會傻傻地等待。
主要有3個選項。
showmount [ -ade] host -a:以host:dir格式列出客戶端名稱/IP以及所掛載的目錄。但注意該選項是讀取NFS服務端/var/lib/nfs/rmtab文件, :而該文件不少時候並不許確,因此showmount -a的輸出信息極可能並不是準確無誤的 -e:顯示NFS服務端全部導出列表。 -d:僅列出已被客戶端掛載的導出目錄。
另外showmount的結果是排序過的,因此和實際的導出目錄順序可能並不一致。
例如:
[root@xuexi ~]# showmount -e 172.16.10.5 Export list for 172.16.10.5: /backup/archive * /vol/vol2 * /vol/vol0 * /www 172.16.10.4
[root@xuexi ~]# showmount -d 172.16.10.5 Directories on 172.16.10.5: /backup/archive /vol/vol0 /vol/vol2
NFS的目的是導出目錄給各客戶端,所以導出目錄中的文件在服務端和客戶端上必然有兩套屬性、權限集。
例如,服務端導出目錄中某a文件的全部者和所屬組都爲A,但在客戶端上不存在A,那麼在客戶端上如何顯示a文件的全部者等屬性。再例如,在客戶端上,以用戶B在導出目錄中建立了一個文件b,若是服務端上沒有用戶B,在服務端上該如何決定文件b的全部者等屬性。
因此,NFS採用uid/gid <==> username/groupname映射的方式解決客戶端和服務端兩套屬性問題。因爲服務端只能控制它本身一端的身份映射,因此客戶端也一樣須要身份映射組件。也就是說,服務端和客戶端兩端都須要對導出的全部文件的全部者和所屬組進行映射。
但要注意,服務端的身份映射組件爲rpc.idmapd,它以守護進程方式工做。而客戶端使用nfsidmap工具進行身份映射。
服務端映射時以uid/gid爲基準,意味着客戶端以身份B(假設對應uid=Xb,gid=Yb)建立的文件或修改了文件的全部者屬性時,在服務端將從/etc/passwd(此處不考慮其餘用戶驗證方式)文件中搜索uid=Xb,gid=Yb的用戶,若是能搜索到,則設置該文件的全部者和所屬組爲此uid/gid對應的username/groupname,若是搜索不到,則文件全部者和所屬組直接顯示爲uid/gid的值。
客戶端映射時以username/groupname爲基準,意味着服務端上文件全部者爲A時,則在客戶端上搜索A用戶名,若是搜索到,則文件全部者顯示爲A,不然都將顯示爲nobody。注意,客戶端不涉及任何uid/gid轉換翻譯過程,即便客戶端上A用戶的uid和服務端上A用戶的uid不一樣,也仍顯示爲用戶A。也就是說,客戶端上文件全部者只有兩種結果,要麼和服務端用戶同名,要麼顯示爲nobody。
所以考慮一種特殊狀況,客戶端上以用戶B(其uid=B1)建立文件,假如服務端上沒有uid=B1的用戶,那麼建立文件時提交給服務端後,在服務端上該文件全部者將顯示爲B1(注意它是一個數值)。再返回到客戶端上看,客戶端映射時只簡單映射username,不涉及uid的轉換,所以它認爲該文件的全部者爲B1(不是uid,而是username),但客戶端上必然沒有用戶名爲B1的用戶(儘管有uid=B1對應的用戶B),所以在客戶端,此文件全部者將詭異地將顯示爲nobody,其詭異之處在於,客戶端上以身份B建立的文件,結果在客戶端上卻顯示爲nobody。
綜上考慮,強烈建議客戶端和服務端的用戶身份要統一,且儘可能讓各uid、gid能對應上。
除了啓動nfs服務加載配置文件/etc/exports來導出目錄,使用exportfs命令也能夠直接導出目錄,它無需加載配置文件/etc/exports,固然exportfs也能夠加載/etc/exports文件來導出目錄。實際上,nfs服務啓動腳本中就是使用exportfs命令來導出/etc/exports中內容的。
例如,CentOS 6上/etc/init.d/nfs文件中,導出和卸載導出目錄的命令爲:
[root@xuexi ~]# grep exportfs /etc/init.d/nfs [ -x /usr/sbin/exportfs ] || exit 5 action $"Starting NFS services: " /usr/sbin/exportfs -r cnt=`/usr/sbin/exportfs -v | /usr/bin/wc -l` action $"Shutting down NFS services: " /usr/sbin/exportfs -au /usr/sbin/exportfs -r
在CentOS 7上則以下:
[root@xuexi ~]# grep exportfs /usr/lib/systemd/system/nfs.service ExecStartPre=-/usr/sbin/exportfs -r ExecStopPost=/usr/sbin/exportfs -au ExecStopPost=/usr/sbin/exportfs -f ExecReload=-/usr/sbin/exportfs -r
固然,不管如何,nfsd等守護進程是必須已經運行好的。
如下是CentOS 7上exportfs命令的用法。注意, CentOS 7比CentOS 6多一些選項。
-a 導出或卸載全部目錄。
-o options,...
指定一系列導出選項(如rw,async,root_squash),這些導出選項在exports(5)的man文檔中有記錄。
-i 忽略/etc/exports和/etc/exports.d目錄下文件。此時只有命令行中給定選項和默認選項會生效。
-r 從新導出全部目錄,並同步修改/var/lib/nfs/etab文件中關於/etc/exports和/etc/exports.d/
*.exports的信息(即還會從新導出/etc/exports和/etc/exports.d/*等導出配置文件中的項)。該
選項會移除/var/lib/nfs/etab中已經被刪除和無效的導出項。
-u 卸載(即再也不導出)一個或多個導出目錄。
-f 若是/prof/fs/nfsd或/proc/fs/nfs已被掛載,即工做在新模式下,該選項將清空內核中導出表中
的全部導出項。客戶端下一次請求掛載導出項時會經過rpc.mountd將其添加到內核的導出表中。
-v 輸出詳細信息。
-s 顯示適用於/etc/exports的當前導出目錄列表。
例如:
(1).導出/www目錄給客戶端172.16.10.6。
exportfs 172.16.10.6:/www
(2).導出/www目錄給全部人,並指定導出選項。
exportfs :/www -o rw,no_root_squash
(3).導出exports文件中的內容。
exportfs -a
(4).從新導出全部已導出的目錄。包括exports文件中和exportfs單獨導出的目錄。
exportfs -ar
(5).卸載全部已導出的目錄,包括exports文件中的內容和exportfs單獨導出的內容。即其本質爲清空內核維護的導出表。
exportfs -au
(6).只卸載某一個導出目錄。
exportfs -u 172.16.10.6:/www
在不少時候NFS客戶端或者服務端出現異常,例如鏈接不上、鎖狀態丟失、鏈接很是慢等等問題,均可以對NFS進行調試來發現問題出在哪一個環節。NFS有很多進程均可以直接支持調試選項,但最直接的調試方式是調試rpc,由於NFS的每一個請求和響應都會通過RPC去封裝。但顯然,調試RPC比直接調試NFS時更難分析出問題所在。如下只介紹如何調試RPC。
rpc單獨提供一個調試工具rpcdebug。
[root@xuexi ~]# rpcdebug -vh usage: rpcdebug [-v] [-h] [-m module] [-s flags...|-c flags...] set or cancel debug flags. Module Valid flags rpc xprt call debug nfs auth bind sched trans svcsock svcdsp misc cache all nfs vfs dircache lookupcache pagecache proc xdr file root callback client mount fscache pnfs pnfs_ld state all nfsd sock fh export svc proc fileop auth repcache xdr lockd all nlm svc client clntlock svclock monitor clntsubs svcsubs hostcache xdr all
其中:
-v:顯示更詳細信息 -h:顯示幫助信息 -m:指定調試模塊,有rpc/nfs/nfsd/nlm共4個模塊可調試。 :顧名思義,調試rpc模塊就是直接調試rpc的問題,將記錄rpc相關的日誌信息; :調試nfs是調試nfs客戶端的問題,將記錄nfs客戶端隨之產生的日誌信息; :nfsd是調試nfs服務端問題,將記錄nfsd隨之產生的日誌信息; :nlm是調試nfs鎖管理器相關問題,將只記錄鎖相關信息 -s:指定調試的修飾符,每一個模塊都有不一樣的修飾符,見上面的usage中"Valid flags"列的信息 -c:清除或清空已設置的調試flage
例如設置調試nfs客戶端的信息。
rpcdebug -m nfs -s all
當有信息出現時,將記錄到syslog中。例如如下是客戶端掛載nfs導出目錄產生的信息,存放在/var/log/messages中,很是多,因此排解問題時須要有耐心。
Jul 29 11:24:04 xuexi kernel: NFS: nfs mount opts='vers=4,addr=172.16.10.9,clientaddr=172.16.10.3' Jul 29 11:24:04 xuexi kernel: NFS: parsing nfs mount option 'vers=4' Jul 29 11:24:04 xuexi kernel: NFS: parsing nfs mount option 'addr=172.16.10.9' Jul 29 11:24:04 xuexi kernel: NFS: parsing nfs mount option 'clientaddr=172.16.10.3' Jul 29 11:24:04 xuexi kernel: NFS: MNTPATH: '/tmp/testdir' Jul 29 11:24:04 xuexi kernel: --> nfs4_try_mount() Jul 29 11:24:04 xuexi kernel: --> nfs4_create_server() Jul 29 11:24:04 xuexi kernel: --> nfs4_init_server() Jul 29 11:24:04 xuexi kernel: --> nfs4_set_client() Jul 29 11:24:04 xuexi kernel: --> nfs_get_client(172.16.10.9,v4) Jul 29 11:24:04 xuexi kernel: NFS: get client cookie (0xffff88004c561800/0xffff8800364cd2c0) Jul 29 11:24:04 xuexi kernel: nfs_create_rpc_client: cannot create RPC client. Error = -22 Jul 29 11:24:04 xuexi kernel: --> nfs4_realloc_slot_table: max_reqs=1024, tbl->max_slots 0 Jul 29 11:24:04 xuexi kernel: nfs4_realloc_slot_table: tbl=ffff88004b715c00 slots=ffff880063f32280 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_realloc_slot_table: return 0 Jul 29 11:24:04 xuexi kernel: NFS: nfs4_discover_server_trunking: testing '172.16.10.9' Jul 29 11:24:04 xuexi kernel: NFS call setclientid auth=UNIX, 'Linux NFSv4.0 172.16.10.3/172.16.10.9 tcp' Jul 29 11:24:04 xuexi kernel: NFS reply setclientid: 0 Jul 29 11:24:04 xuexi kernel: NFS call setclientid_confirm auth=UNIX, (client ID 578d865901000000) Jul 29 11:24:04 xuexi kernel: NFS reply setclientid_confirm: 0 Jul 29 11:24:04 xuexi kernel: NFS: <-- nfs40_walk_client_list using nfs_client = ffff88004c561800 ({2}) Jul 29 11:24:04 xuexi kernel: NFS: <-- nfs40_walk_client_list status = 0 Jul 29 11:24:04 xuexi kernel: nfs4_schedule_state_renewal: requeueing work. Lease period = 5 Jul 29 11:24:04 xuexi kernel: NFS: nfs4_discover_server_trunking: status = 0 Jul 29 11:24:04 xuexi kernel: --> nfs_put_client({2}) Jul 29 11:24:04 xuexi kernel: <-- nfs4_set_client() = 0 [new ffff88004c561800] Jul 29 11:24:04 xuexi kernel: <-- nfs4_init_server() = 0 Jul 29 11:24:04 xuexi kernel: --> nfs4_get_rootfh() Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=4651240235397459983 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=2 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=0555 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=23 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990255 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=1 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_lease_time: file size=90 Jul 29 11:24:04 xuexi kernel: decode_attr_maxfilesize: maxfilesize=18446744073709551615 Jul 29 11:24:04 xuexi kernel: decode_attr_maxread: maxread=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_maxwrite: maxwrite=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_time_delta: time_delta=1 0 Jul 29 11:24:04 xuexi kernel: decode_attr_pnfstype: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_attr_layout_blksize: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_fsinfo: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: <-- nfs4_get_rootfh() = 0 Jul 29 11:24:04 xuexi kernel: Server FSID: 0:0 Jul 29 11:24:04 xuexi kernel: Pseudo-fs root FH at ffff880064c4ad80 is 8 bytes, crc: 0x62d40c52: Jul 29 11:24:04 xuexi kernel: 01000100 00000000 Jul 29 11:24:04 xuexi kernel: --> nfs_probe_fsinfo() Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_lease_time: file size=90 Jul 29 11:24:04 xuexi kernel: decode_attr_maxfilesize: maxfilesize=18446744073709551615 Jul 29 11:24:04 xuexi kernel: decode_attr_maxread: maxread=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_maxwrite: maxwrite=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_time_delta: time_delta=1 0 Jul 29 11:24:04 xuexi kernel: decode_attr_pnfstype: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_attr_layout_blksize: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_fsinfo: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: set_pnfs_layoutdriver: Using NFSv4 I/O Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_maxlink: maxlink=255 Jul 29 11:24:04 xuexi kernel: decode_attr_maxname: maxname=255 Jul 29 11:24:04 xuexi kernel: decode_pathconf: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: <-- nfs_probe_fsinfo() = 0 Jul 29 11:24:04 xuexi kernel: <-- nfs4_create_server() = ffff88007746a800 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=4651240235397459983 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=2 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=0555 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=23 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990255 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=1 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:38/2 fh_crc=0x62d40c52 ct=1) Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=00 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=4651240235397459983 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=00 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=1 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_update_inode(0:38/2 fh_crc=0x62d40c52 ct=2 info=0x26040) Jul 29 11:24:04 xuexi kernel: NFS: permission(0:38/2), mask=0x1, res=0 Jul 29 11:24:04 xuexi kernel: NFS: permission(0:38/2), mask=0x81, res=0 Jul 29 11:24:04 xuexi kernel: NFS: lookup(/tmp) Jul 29 11:24:04 xuexi kernel: NFS call lookup tmp Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=01777 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=5 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990260 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS reply lookup: 0 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:38/391681 fh_crc=0xb4775a3f ct=1) Jul 29 11:24:04 xuexi kernel: --> nfs_d_automount() Jul 29 11:24:04 xuexi kernel: nfs_d_automount: enter Jul 29 11:24:04 xuexi kernel: NFS call lookup tmp Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=01777 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=5 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990260 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS reply lookup: 0 Jul 29 11:24:04 xuexi kernel: --> nfs_do_submount() Jul 29 11:24:04 xuexi kernel: nfs_do_submount: submounting on /tmp Jul 29 11:24:04 xuexi kernel: --> nfs_xdev_mount() Jul 29 11:24:04 xuexi kernel: --> nfs_clone_server(,f199fcb4fb064bf5:a1b7a15af0f7cb47,) Jul 29 11:24:04 xuexi kernel: --> nfs_probe_fsinfo() Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_lease_time: file size=90 Jul 29 11:24:04 xuexi kernel: decode_attr_maxfilesize: maxfilesize=18446744073709551615 Jul 29 11:24:04 xuexi kernel: decode_attr_maxread: maxread=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_maxwrite: maxwrite=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_time_delta: time_delta=1 0 Jul 29 11:24:04 xuexi kernel: decode_attr_pnfstype: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_attr_layout_blksize: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_fsinfo: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: set_pnfs_layoutdriver: Using NFSv4 I/O Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_maxlink: maxlink=255 Jul 29 11:24:04 xuexi kernel: decode_attr_maxname: maxname=255 Jul 29 11:24:04 xuexi kernel: decode_pathconf: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: <-- nfs_probe_fsinfo() = 0 Jul 29 11:24:04 xuexi kernel: Cloned FSID: f199fcb4fb064bf5:a1b7a15af0f7cb47 Jul 29 11:24:04 xuexi kernel: <-- nfs_clone_server() = ffff88006f407000 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=01777 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=5 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990260 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:40/391681 fh_crc=0xb4775a3f ct=1) Jul 29 11:24:04 xuexi kernel: <-- nfs_xdev_mount() = 0 Jul 29 11:24:04 xuexi kernel: nfs_do_submount: done Jul 29 11:24:04 xuexi kernel: <-- nfs_do_submount() = ffff880064fdfb20 Jul 29 11:24:04 xuexi kernel: nfs_d_automount: done, success Jul 29 11:24:04 xuexi kernel: <-- nfs_d_automount() = ffff880064fdfb20 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=00 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=00 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=1 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_update_inode(0:40/391681 fh_crc=0xb4775a3f ct=2 info=0x26040) Jul 29 11:24:04 xuexi kernel: NFS: permission(0:40/391681), mask=0x1, res=0 Jul 29 11:24:04 xuexi kernel: NFS: lookup(/testdir) Jul 29 11:24:04 xuexi kernel: NFS call lookup testdir Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=7393570666420598027 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391682 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=0754 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=3 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990266 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1497209702 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1496802409 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391682 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS reply lookup: 0 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:40/391682 fh_crc=0xec69f317 ct=1) Jul 29 11:24:04 xuexi kernel: NFS: dentry_delete(/tmp, 202008c) Jul 29 11:24:04 xuexi kernel: NFS: clear cookie (0xffff88005eaf4620/0x (null)) Jul 29 11:24:04 xuexi kernel: NFS: clear cookie (0xffff88005eaf4a40/0x (null)) Jul 29 11:24:04 xuexi kernel: NFS: releasing superblock cookie (0xffff88007746a800/0x (null)) Jul 29 11:24:04 xuexi kernel: --> nfs_free_server() Jul 29 11:24:04 xuexi kernel: --> nfs_put_client({2}) Jul 29 11:24:04 xuexi kernel: <-- nfs_free_server() Jul 29 11:24:04 xuexi kernel: <-- nfs4_try_mount() = 0
本文僅簡單介紹了一些NFS的基本使用方法,但NFS自身實際上是很複雜的,想深刻也不是一件簡單的事。例如,如下列出了幾個NFS在實現上應該要解決的問題。
(1).多臺客戶端掛載同一個導出的目錄後,要同時編輯其中同一個文件時,應該如何處理?這是共享文件更新問題,通用的解決方法是使用文件鎖。
(2).客戶端上對文件內容作出修改後是否要當即同步到服務端上?這是共享文件的數據緩存問題,體現的方式是文件數據是否要在各客戶端上保證一致性。和第一個問題結合起來,就是分佈式(集羣)文件數據一致性問題。
(3).客戶端或服務端進行了重啓,或者它們出現了故障,亦或者它們之間的網絡出現故障後,它們的對端如何知道它已經出現了故障?這是故障通知或重啓通知問題。
(4).出現故障後,正常重啓成功了,那麼如何恢復到故障前狀態?這是故障恢復問題。
(5).若是服務端故障後一直沒法恢復,客戶端是否能自動故障轉移到另外一臺正常工做的NFS服務節點?這是高可用問題。(NFS版本4(後文將簡寫爲NFSv4)能夠從自身實現故障轉移,固然使用高可用工具如heartbeat也同樣能實現)
總結起來就幾個關鍵詞:鎖、緩存、數據和緩存一致性、通知和故障恢復。從這些關鍵字中,很天然地會聯想到了集羣和分佈式文件系統,其實NFS也是一種簡易的分佈式文件系統,但沒有像集羣或分佈式文件系統那樣實現幾乎完美的鎖、緩存一致性等功能。並且NFSv4爲了體現其特色和性能,在一些通用問題上採用了與集羣、分佈式文件系統不一樣的方式,如使用了文件委託(服務端將文件委託給客戶端,由此實現相似鎖的功能)、鎖或委託的租約等(就像DHCP的IP租約同樣,在租約期內,鎖和委託以及緩存是有效的,租約過時後這些內容都無效)。
由此知,深刻NFS其實就是在深刻分佈式文件系統,因爲網上對NFS深刻介紹的文章幾乎沒有,因此想深刻它並不是一件簡單的事。若是有深刻學習的想法,能夠閱讀NFSv4的RFC3530文檔的前9章以及RCP的RFC文檔。如下是本人的一些man文檔翻譯。
翻譯:man rpcbind(rpcbind中文手冊) 翻譯:man nfsd(rpc.nfsd中文手冊) 翻譯:man mountd(rpc.mountd中文手冊) 翻譯:man statd(rpc.statd中文手冊) 翻譯:man sm-notify(sm-notify命令中文手冊) 翻譯:man exportfs(exportfs命令中文手冊)
如下是man nfs中關於傳輸方法和緩存相關內容的翻譯。
TRANSPORT METHODS NFS客戶端是經過RPC向NFS服務端發送請求的。RPC客戶端會自動發現遠程服務端點,處理每請求(per-request)的 身份驗證,調整當客戶端和服務端之間出現不一樣字節字節序(byte endianness)時的請求參數,而且當請求在網絡 上丟失或被服務端丟棄時重傳請求。rpc請求和響應數據包是經過網絡傳輸的。 在大多數情形下,mount(8)命令、NFS客戶端和NFS服務端能夠爲掛載點自動協商合適的傳輸方式以及數據傳輸時 的大小。但在某些狀況下,須要使用mount選項顯式指定這些設置。 對於的傳統NFS,NFS客戶端只使用UDP傳輸請求給服務端。儘管實現方式很簡單,但基於UDP的NFS有許多限制,在 一些通用部署環境下,這些限制項會限制平滑運行的能力,還會限制性能。即便是UDP丟包率極小的狀況,也將 致使整個NFS請求丟失;所以,重傳的超時時間通常都是亞秒級的,這樣可讓客戶端從請求丟失中快速恢復,但 即便如此,這可能會致使無關的網絡阻塞以及服務端負載加劇。 可是在專門設置了網絡MTU值是相對於NFS的輸出傳輸大小時(例如在網絡環境下啓用了巨型以太網幀)(注:相對的 意思,例如它們成比例關係),UDP是很是高效的。在這種環境下,建議修剪rsize和wsize,以便讓每一個NFS的讀或 寫請求都能容納在幾個網絡幀(甚至單個幀)中。這會下降因爲單個MTU大小的網絡幀丟失而致使整個讀或寫請求丟 失的機率。 (譯者注:UDP是NFSv2和NFSv3所支持的,NFSv4使用TCP,因此以上兩段不用考慮) 現代NFS都默認採用TCP傳輸協議。在幾乎全部可想到的網絡環境下,TCP都表現良好,且提供了很是好的保證,防 止由於網絡不可靠而引發數據損壞。但使用TCP傳輸協議,基本上都會考慮設置相關防火牆。 在正常環境下,網絡丟包的頻率比NFS服務丟包的頻率要高的多。所以,沒有必要爲基於TCP的NFS設置極短的重傳 超時時間。通常基於TCP的NFS的超時時間設置在1分鐘和10分鐘之間。當客戶端耗盡了重傳次數(選項retrans的值), 它將假定發生了網絡分裂,並嘗試以新的套接字從新鏈接服務端。因爲TCP自身使得網絡傳輸的數據是可靠的,所 以,能夠安全地使用處在默認值和客戶端服務端同時支持的最大值之間的rszie和wsize,而再也不依賴於網絡MTU大小。 DATA AND METADATA COHERENCE 如今有些集羣文件系統爲客戶端之間提供了很是完美的緩存一致性功能,但對於NFS客戶端來講,實現完美的緩 存一致性是很是昂貴的,特別是大型局域網絡環境。所以,NFS提供了稍微薄弱一點的緩存一致性功能,以知足 大多數文件共享需求。 Close-to-open cache consistency 通常狀況下,文件共享是徹底序列化的。首先客戶端A打開一個文件,寫入一些數據,而後關閉文件而後客戶端B 打開同一個文件,並讀取到這些修改後的數據。 當應用程序打開一個存儲在NFSv3服務端上的文件時,NFS客戶端檢查文件在服務端上是否存在,並經過是否發送 GETATTR或ACCESS請求判斷文件是否容許被打開。NFS客戶端發送這些請求時,不會考慮已緩存文件屬性是不是新 鮮有效的。 當應用程序關閉文件,NFS客戶端當即將已作的修改寫入到文件中,以便下一個打開者能夠看到所作的改變。這 也給了NFS客戶端一個機會,使得它能夠經過文件關閉時的返回狀態碼嚮應用程序報告錯誤。 在打開文件時以及關閉文件刷入數據時的檢查行爲被稱爲close-to-open緩存一致性,或簡稱爲CTO。能夠經過使 用nocto選項來禁用整個掛載點的CTO。 (譯者注:NFS關閉文件時,客戶端會將所作的修改刷入到文件中,而後發送GETATTR請求以確保該文件的屬性緩存 已被更新。以後其餘的打開者打開文件時會發送GETATTR請求,根據文件的屬性緩存能夠判斷文件是否被打開並作 了修改。這能夠避免緩存無效) Weak cache consistency 客戶端的數據緩存仍有幾乎包含過時數據。NFSv3協議引入了"weak cache consistency"(WCC),它提供了一種在單 個文件被請求以前和以後有效地檢查文件屬性的方式。這有助於客戶端識別出由其餘客戶端對此文件作出的改變。 當某客戶端使用了併發操做,使得同一文件在同一時間作出了屢次更新(例如,後臺異步寫入),它仍將難以判斷 是該客戶端的更新操做修改了此文件仍是其餘客戶端的更新操做修改了文件。 Attribute caching 使用noac掛載選項可讓多客戶端之間實現屬性緩存一致性。幾乎每一個文件系統的操做都會檢查文件的屬性信息。 客戶端自身會保留屬性緩存一段時間以減小網絡和服務端的負載。當noac生效時,客戶端的文件屬性緩存就會被 禁用,所以每一個會檢查文件屬性的操做都被強制返回到服務端上來操做文件,這表示客戶端以犧牲網絡資源爲代 價來快速查看文件發生的變化。 不要混淆noac選項和"no data caching"。noac掛載選項阻止客戶端緩存文件的元數據,但仍然可能會緩存非元數 據的其餘數據。 NFS協議設計的目的不是爲了支持真正完美的集羣文件系統緩存一致性。若是要達到客戶端之間緩存數據的絕對 一致,那麼應該使用文件鎖的方式。 File timestamp maintainence NFS服務端負責管理文件和目錄的時間戳(atime,ctime,mtime)。當服務端文件被訪問或被更新,文件的時間戳也會 像本地文件系統那樣改變。 NFS客戶端緩存的文件屬性中包括了時間戳屬性。當NFS客戶端檢索NFS服務端文件屬性時,客戶端文件的時間戳會 更新。所以,在NFS服務端的時間戳更新後顯示在NFS客戶端以前可能會有一些延遲。 爲了遵照POSIX文件系統標準,Linux NFS客戶端須要依賴於NFS服務端來保持文件的mtime和ctime時間戳最新狀態。 實現方式是先讓客戶端將改變的數據刷入到服務端,而後再輸出文件的mtime。 然而,Linux客戶端能夠很輕鬆地處理atime的更新。NFS客戶端能夠經過緩存數據來保持良好的性能,但這意味着 客戶端應用程序讀取文件(會更新atime)時,不會反映到服務端,但實際上服務端的atime已經修改了。 因爲文件屬性緩存行爲,Linux NFS客戶端mount時不支持通常的atime相關的掛載選項。 特別是mount時指定了atime/noatime,diratime/nodiratime,relatime/norelatime以及strictatime/nostrictatime 掛載選項,實際上它們沒有任何效果。 Directory entry caching Linux NFS客戶端緩存全部NFS LOOKUP請求的結果。若是所請求目錄項在服務端上存在,則查詢的結果稱爲正查詢 結果。若是請求的目錄在服務端上不存在(服務端將返回ENOENT),則查詢的結果稱爲負查詢結果。 爲了探測目錄項是否添加到NFS服務端或從其上移除了,Linux NFS客戶端會監控目錄的mtime。若是客戶端監測到 目錄的mtime發生了改變,客戶端將丟棄該目錄相關的全部LOOKUP緩存結果。因爲目錄的mtime是一種緩存屬性,因 此服務端目錄mtime發生改變後,客戶端可能須要等一段時間才能監測到它的改變。 緩存目錄提升了不與其餘客戶端上的應用程序共享文件的應用程序的性能。但使用目錄緩存可能會干擾在多個客戶 端上同時運行的應用程序,而且須要快速檢測文件的建立或刪除。lookupcache掛載選項容許對目錄緩存行爲進行一 些調整。 若是客戶端禁用目錄緩存,則每次LOOKUP操做都須要與服務端進行驗證,那麼該客戶端能夠當即探測到其餘客戶端 建立或刪除的目錄。可使用lookupcache=none來禁用目錄緩存。若是禁用了目錄緩存,因爲須要額外的NFS請求, 這會損失一些性能,但禁用目錄緩存比使用noac損失的性能要少,且對NFS客戶端緩存文件屬性沒有任何影響。 The sync mount option NFS客戶端對待sync掛載選項的方式和掛載其餘文件系統不一樣。若是即不指定sync也不指定async,則默認爲async。 async表示異步寫入,除了發生下面幾種特殊狀況,NFS客戶端會延遲發送寫操做到服務端: ● 內存壓力迫使回收系統內存資源。 ● 客戶端應用程序顯式使用了sync類的系統調用,如sync(2),msync(2)或fsync(3)。 ● 關閉文件時。 ● 文件被鎖/解鎖。 換句話說,在正常環境下,應用程序寫的數據不會當即保存到服務端。(固然,關閉文件時是當即同步的) 若是在掛載點上指定sync選項,任何將數據寫入掛載點上文件的系統調用都會先把數據刷到服務端上,而後系統調 用才把控制權返回給用戶空間。這提供了客戶端之間更好的數據緩存一致性,但消耗了大量性能。 在未使用sync掛載選項時,應用程序可使用O_SYNC修飾符強制當即把單個文件的數據刷入到服務端。 Using file locks with NFS 網絡鎖管理器(Network Lock Manager,NLM)協議是一個獨立的協議,用於管理NFSv2和NFSv3的文件鎖。爲了讓客戶端 或服務端在重啓後能恢復鎖,須要使用另外一個網絡狀態管理器(Network Status Manager,NSM)協議。在NFSv4中,NFS 直協議自身接支持文件鎖相關功能,因此NLM和NSM就再也不使用了。 在大多數狀況下,NLM和NSM服務是自動啓動的,而且不須要額外的任何配置。但須要配置NFS客戶端使用的是fqdn名 稱,以保證NFS服務端能夠找到客戶端並通知它們服務端的重啓動做。 NLS僅支持advisory文件鎖。要鎖定NFS文件,可使用待F_GETLK和F_SETLK的fcntl(2)命令。NFS客戶端會轉換經過 flock(2)獲取到的鎖爲advisory文件鎖。 當服務端不支持NLM協議,或者當NFS服務端是經過防火牆但阻塞了NLM服務端口時,則須要指定nolock掛載選項。 當客戶端掛載導出的/var目錄時,必須使用nolock禁用NLM鎖,由於/var目錄中包含了NLM鎖相關的信息。 (注,由於NLM僅在nfsv2和nfsv3中支持,因此NFSv4不支持nolock選項) 當僅有一個客戶端時,使用nolock選項能夠提升必定的性能。 NFS version 4 caching features NFSv4上的數據和元數據緩存行爲和以前的版本類似。可是NFSv4添加了兩種特性來提高緩存行爲:change attributes 以及delegation。(注:nfsv4中取消了weak cache consistency) change attribute是一種新的被跟蹤的文件/目錄元數據信息。它替代了使用文件mtime和ctime做爲客戶端驗證緩存內 容的方式。但注意,change attributes和客戶端/服務端文件的時間戳的改變無關。 文件委託(file delegation)是NFSv4的客戶端和NFSv4服務端以前的一種合約,它容許客戶端臨時處理文件,就像沒有 其餘客戶端正在訪問該文件同樣。當有其餘客戶端嘗試訪問被委託文件時,服務端必定會通知服務端(經過callback請 求)。一旦文件被委託給某客戶端,客戶端能夠儘量大地緩存該文件的數據和元數據,而不須要聯繫服務端。 文件委託有兩種方式:read和write。讀委託意味着當其餘客戶端嘗試向委託文件寫入數據時,服務端通知客戶端。而 寫委託意味着其餘客戶端不管是嘗試讀仍是寫,服務端都會通知客戶端。 NFSv4上當文件被打開的時候,服務端會受權文件委託,而且當其餘客戶端想要訪問該文件但和已受權的委託衝突時, 服務端能夠在任意時間點重調(recall)委託關係。不支持對目錄的委託。 (譯者注:只有讀委託和讀委託不會衝突) 爲了支持委託回調(delegation callback),在客戶端初始聯繫服務端時,服務端會檢查網絡並返回路徑給客戶端。若是 和客戶端的聯繫沒法創建,服務端將不會受權任何委託給客戶端。