日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 运维知识 > windows >内容正文

windows

网络文件系统NFS

發(fā)布時(shí)間:2025/3/15 windows 61 豆豆
生活随笔 收集整理的這篇文章主要介紹了 网络文件系统NFS 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

NFS介紹

什么是NFS?

NFS是Network File System的縮寫(xiě),即網(wǎng)絡(luò)文件系統(tǒng)。它的主要功能是通過(guò)網(wǎng)絡(luò)(一般是局域網(wǎng))讓不同的主機(jī)系統(tǒng)之間可以共享文件或目錄。NFS客戶端(一般為應(yīng)用服務(wù)器,例如web)可以通過(guò)掛載(mount)的方式將NFS服務(wù)端共享的數(shù)據(jù)目錄掛載到NFS客戶端本地系統(tǒng)中(就是某一個(gè)掛載點(diǎn)下)。從NFS客戶端的機(jī)器本地看,NFS服務(wù)端共享的目錄就好像是客戶自己的磁盤(pán)分區(qū)或者目錄一樣,而實(shí)際上確是遠(yuǎn)端的NFS服務(wù)端的目錄。

NFS網(wǎng)絡(luò)文件系統(tǒng)類(lèi)似windows系統(tǒng)的網(wǎng)絡(luò)共享、安全功能、網(wǎng)絡(luò)驅(qū)動(dòng)器映射,這也和linux系統(tǒng)里的samba服務(wù)類(lèi)似。應(yīng)用于互聯(lián)網(wǎng)中小型集群架構(gòu)后端作為數(shù)據(jù)共享,如果是大型網(wǎng)站,那么有可能還會(huì)用到更復(fù)雜的分布式文件系統(tǒng),例如Moosefs(mfs)、glusterfs、FastDFS。

NFS在企業(yè)中的應(yīng)用場(chǎng)景

在企業(yè)集群架構(gòu)的工作場(chǎng)景中,NFS網(wǎng)絡(luò)文件系統(tǒng)一般被用來(lái)存儲(chǔ)共享視頻、圖片、附件等靜態(tài)資源文件。一般是把網(wǎng)站用戶上傳的文件都放在NFS共享里,例如,BBS產(chǎn)品的圖片、附件、頭像,注意網(wǎng)站BBS程序不要放在NFS共享里,然后前端所有的節(jié)點(diǎn)訪問(wèn)存儲(chǔ)服務(wù)之一,特別是中小網(wǎng)站公司應(yīng)用頻率更高。

NFS流程圖

NFS原理圖

NFS的RPC服務(wù),在CentOS5.x下名稱(chēng)為portmap,在CentOS6.x下名稱(chēng)為rpcbind。

NFS服務(wù)端部署環(huán)境準(zhǔn)備

NFS服務(wù)部署服務(wù)器準(zhǔn)備

服務(wù)器系統(tǒng)

角色

ip

CentOS 6.6 x86_64

NFS服務(wù)端(nfs-server)

自定義

CentOS 6.6 x86_64

NFS客戶端(nfs-client1)

自定義

CentOS 6.6 x86_64

NFS客戶端(nfs-client2)

自定義

NFS SERVER端設(shè)置

NFS軟件列表

部署NFS服務(wù),需要安裝下面的軟件包:

nfs-utils:這個(gè)NFS服務(wù)主程序包括rpc.nfsd、rpc.mountd兩個(gè)daemons和相關(guān)文檔說(shuō)明及執(zhí)行命令文件等。

rpcbind:CentOS 6.x下面RPC的主程序(CentOS 5.x下面的portmap)

NFS可以被視為一個(gè)RPC程序,在啟動(dòng)任何一個(gè)RPC程序之前,需要做好端口映射工作,這個(gè)映射工作就是由rpcbind服務(wù)來(lái)完成的。因此,必須先啟動(dòng)rpcbind服務(wù)。

CentOS 6.6默認(rèn)沒(méi)有安裝NFS軟件包(CentOS 5默認(rèn)已經(jīng)安裝)。

  • [root@web-lnmp01 ~]# yum install nfs-utils rpcbind -y
  • [root@web-lamp01 ~]# rpm -qa nfs-utils rpcbind
  • [root@web-lnmp01 ~]# rpm -qa nfs-utils rpcbind
  • nfs-utils-1.2.3-70.el6_8.2.x86_64 #這個(gè)包在5.8為portmap
  • rpcbind-0.2.0-12.el6.x86_64
  • 出現(xiàn)兩個(gè)軟件包,表示NFS服務(wù)端軟件安裝完畢。

    啟動(dòng)NFS相關(guān)服務(wù)

  • [root@nfs-server ~]# /etc/init.d/rpcbind status #查看rpcbind服務(wù)
  • rpcbind is stopped
  • [root@nfs-server ~]# /etc/init.d/rpcbind start #啟動(dòng)rpcbind服務(wù)
  • Starting rpcbind: [ OK ]
  • [root@nfs-server ~]# /etc/init.d/rpcbind status
  • rpcbind (pid 26101) is running...
  • [root@nfs-server ~]# lsof -i:111 #rpcbind服務(wù)端口111
  • COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
  • rpcbind 26101 rpc 6u IPv4 28829 0t0 UDP *:sunrpc
  • rpcbind 26101 rpc 8u IPv4 28832 0t0 TCP *:sunrpc (LISTEN)
  • rpcbind 26101 rpc 9u IPv6 28834 0t0 UDP *:sunrpc
  • rpcbind 26101 rpc 11u IPv6 28837 0t0 TCP *:sunrpc (LISTEN)
  • [root@nfs-server ~]# netstat -lntup|grep rpcbind
  • tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 26101/rpcbind
  • tcp 0 0 :::111 :::* LISTEN 26101/rpcbind
  • udp 0 0 0.0.0.0:836 0.0.0.0:* 26101/rpcbind
  • udp 0 0 0.0.0.0:111 0.0.0.0:* 26101/rpcbind
  • udp 0 0 :::836 :::* 26101/rpcbind
  • udp 0 0 :::111 :::* 26101/rpcbind
  • [root@nfs-server ~]# chkconfig --list|grep rpcbind
  • rpcbind 0:off 1:off 2:on 3:on 4:on 5:on 6:off
  • [root@nfs-server ~]# rpcinfo -p localhost
  • ???program vers proto port service
  • ????100000 4 tcp 111 portmapper
  • ????100000 3 tcp 111 portmapper
  • ????100000 2 tcp 111 portmapper
  • ????100000 4 udp 111 portmapper
  • ????100000 3 udp 111 portmapper
  • ????100000 2 udp 111 portmapper
  • [root@nfs-server ~]# /etc/init.d/nfs status #查看nfs服務(wù)
  • rpc.svcgssd is stopped
  • rpc.mountd is stopped
  • nfsd is stopped
  • rpc.rquotad is stopped
  • [root@nfs-server ~]# /etc/init.d/nfs start #啟動(dòng)nfs服務(wù)
  • Starting NFS services: [ OK ]
  • Starting NFS quotas: [ OK ]
  • Starting NFS mountd: [ OK ]
  • Starting NFS daemon: [ OK ]
  • Starting RPC idmapd: [ OK ]
  • [root@nfs-server ~]# /etc/init.d/nfs status
  • rpc.svcgssd is stopped
  • rpc.mountd (pid 26225) is running...
  • nfsd (pid 26241 26240 26239 26238 26237 26236 26235 26234) is running...
  • rpc.rquotad (pid 26220) is running...
  • [root@nfs-server ~]# netstat -lntup|grep 2049 #nfs服務(wù)端口2049
  • tcp 0 0 0.0.0.0:2049 0.0.0.0:* LISTEN -
  • tcp 0 0 :::2049 :::* LISTEN -
  • udp 0 0 0.0.0.0:2049 0.0.0.0:* -
  • udp 0 0 :::2049 :::* -
  • [root@nfs-server ~]# rpcinfo -p localhost
  • ???program vers proto port service
  • ????100000 4 tcp 111 portmapper
  • ????100000 3 tcp 111 portmapper
  • ????100000 2 tcp 111 portmapper
  • ????100000 4 udp 111 portmapper
  • ????100000 3 udp 111 portmapper
  • ????100000 2 udp 111 portmapper
  • ????100011 1 udp 875 rquotad
  • ????100011 2 udp 875 rquotad
  • ????100011 1 tcp 875 rquotad
  • ????100011 2 tcp 875 rquotad
  • ????100005 1 udp 56844 mountd
  • ????100005 1 tcp 49326 mountd
  • ????100005 2 udp 47287 mountd
  • ????100005 2 tcp 47817 mountd
  • ????100005 3 udp 56317 mountd
  • ????100005 3 tcp 47741 mountd
  • ????100003 2 tcp 2049 nfs
  • ????100003 3 tcp 2049 nfs
  • ????100003 4 tcp 2049 nfs
  • ????100227 2 tcp 2049 nfs_acl
  • ????100227 3 tcp 2049 nfs_acl
  • ????100003 2 udp 2049 nfs
  • ????100003 3 udp 2049 nfs
  • ????100003 4 udp 2049 nfs
  • ????100227 2 udp 2049 nfs_acl
  • ????100227 3 udp 2049 nfs_acl
  • ????100021 1 udp 45085 nlockmgr
  • ????100021 3 udp 45085 nlockmgr
  • ????100021 4 udp 45085 nlockmgr
  • ????100021 1 tcp 42582 nlockmgr
  • ????100021 3 tcp 42582 nlockmgr
  • ????100021 4 tcp 42582 nlockmgr
  • [root@nfs-server ~]# chkconfig --list nfs
  • nfs 0:off 1:off 2:off 3:off 4:off 5:off 6:off
  • [root@nfs-server ~]# chkconfig nfs on #nfs添加開(kāi)機(jī)自啟動(dòng)
  • [root@nfs-server ~]# chkconfig --list nfs
  • nfs 0:off 1:off 2:on 3:on 4:on 5:on 6:off
  • [root@nfs-server ~]# less /etc/init.d/rpcbind
  • #! /bin/sh
  • #
  • # rpcbind Start/Stop RPCbind
  • #
  • # chkconfig: 2345 13 87 #開(kāi)機(jī)啟動(dòng)順序
  • [root@nfs-server ~]# less /etc/init.d/nfs
  • #!/bin/sh
  • #
  • # nfs This shell script takes care of starting and stopping
  • # the NFS services.
  • #
  • # chkconfig: - 30 60 #開(kāi)機(jī)啟動(dòng)順序
  • 工作中推薦使用/etc/rc.local進(jìn)行服務(wù)的啟動(dòng),不推薦使用chkconfig,目的是為了方便管理。

  • [root@nfs-server ~]# ps -ef|egrep "rpc|nfs"
  • rpc 26101 1 0 09:45 ? 00:00:00 rpcbind
  • root 26211 2 0 09:52 ? 00:00:00 [rpciod/0]
  • root 26220 1 0 09:52 ? 00:00:00 rpc.rquotad #磁盤(pán)配額進(jìn)程
  • root 26225 1 0 09:52 ? 00:00:00 rpc.mountd #權(quán)限管理驗(yàn)證
  • root 26232 2 0 09:52 ? 00:00:00 [nfsd4]
  • root 26233 2 0 09:52 ? 00:00:00 [nfsd4_callbacks]
  • root 26234 2 0 09:52 ? 00:00:00 [nfsd] #NFS主進(jìn)程
  • root 26235 2 0 09:52 ? 00:00:00 [nfsd]
  • root 26236 2 0 09:52 ? 00:00:00 [nfsd]
  • root 26237 2 0 09:52 ? 00:00:00 [nfsd]
  • root 26238 2 0 09:52 ? 00:00:00 [nfsd]
  • root 26239 2 0 09:52 ? 00:00:00 [nfsd]
  • root 26240 2 0 09:52 ? 00:00:00 [nfsd]
  • root 26241 2 0 09:52 ? 00:00:00 [nfsd]
  • root 26268 1 0 09:52 ? 00:00:00 rpc.idmapd
  • root 26418 1023 0 10:41 pts/0 00:00:00 egrep rpc|nfs
  • 配置NFS服務(wù)端

    NFS服務(wù)的默認(rèn)配置文件路徑為:/etc/exports,并且默認(rèn)是空的。

  • [root@nfs-server ~]# ls -l /etc/exports
  • -rw-r--r--. 1 root root 0 Jan 12 2010 /etc/exports
  • exports配置文件格式

    /etc/exports文件配置格式

    NFS 共享目錄????NFS客戶端地址1(參數(shù)1,參數(shù)2,參數(shù)3…) 客戶端地址1(參數(shù)1,參數(shù)2,參數(shù)3…)

    NFS 共享目錄????NFS客戶端地址(參數(shù)1,參數(shù)2…)

  • [root@nfs-server ~]# cat /etc/exports
  • /data 192.168.31.*(rw,sync)
  • [root@nfs-server ~]# /etc/init.d/nfs reload
  • exportfs: Failed to stat /data: No such file or directory #/data目錄不存在
  • [root@nfs-server ~]# mkdir /data
  • [root@nfs-server ~]# /etc/init.d/nfs reload #exports -r
  • ?

  • [root@nfs-server ~]# showmount -e 127.0.0.1
  • Export list for 127.0.0.1:
  • /data 192.168.31.* #共享目錄
  • ?

  • [root@nfs-server ~]# mount -t nfs 192.168.31.129:/data /mnt #掛載
  • [root@nfs-server ~]# df -h
  • Filesystem Size Used Avail Use% Mounted on
  • /dev/sda3 7.1G 1.5G 5.3G 21% /
  • tmpfs 497M 0 497M 0% /dev/shm
  • /dev/sda1 190M 27M 153M 15% /boot
  • 192.168.31.129:/data 7.1G 1.5G 5.3G 21% /mnt #掛載成功
  • ?

  • [root@nfs-server ~]# touch /data/oldboy.txt
  • [root@nfs-server ~]# ls /mnt
  • oldboy.txt
  • [root@nfs-server ~]# touch /mnt/test.txt
  • touch: cannot touch `/mnt/test.txt': Permission denied #無(wú)權(quán)限
  • 客戶端配置

    啟動(dòng)rpcbind

  • [root@web-lamp01 ~]# /etc/init.d/rpcbind start
  • Starting rpcbind: [ OK ]
  • [root@web-lamp01 ~]# /etc/init.d/rpcbind status
  • rpcbind (pid 26272) is running...
  • [root@web-lamp01 ~]# cat /etc/rc.local
  • #啟動(dòng)rpcbind
  • /etc/init.d/rpcbind start
  • ?

  • [root@web-lamp01 ~]# showmount -e 192.168.31.129
  • Export list for 192.168.31.129:
  • /data 192.168.31.*
  • [root@web-lamp01 ~]# mount -t nfs 192.168.31.129:/data /mnt
  • [root@web-lamp01 ~]# df -h
  • Filesystem Size Used Avail Use% Mounted on
  • /dev/sda3 7.1G 1.5G 5.3G 21% /
  • tmpfs 497M 0 497M 0% /dev/shm
  • /dev/sda1 190M 27M 153M 16% /boot
  • 192.168.31.129:/data 7.1G 1.5G 5.3G 21% /mnt
  • [root@web-lamp01 ~]# ls /mnt
  • oldboy.txt
  • ?

    在服務(wù)端刪除/data中的文件/oldboy.txt,然后在客戶端進(jìn)行查看,文件已經(jīng)不存在。

    無(wú)法寫(xiě)入是因?yàn)闄?quán)限的問(wèn)題,解決辦法如下。

  • [root@nfs-server ~]# cat /var/lib/nfs/etab
  • /data 192.168.31.*(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,anonuid=65534,anongid=65534,sec=sys,rw,root_squash,no_all_squash) #nfs的由65534進(jìn)行管理
  • [root@nfs-server ~]# cat /etc/exports
  • /data 192.168.31.*(rw,sync)
  • [root@nfs-server ~]# ls -ld /data
  • drwxr-xr-x 2 root root 4096 Jan 19 11:36 /data #/data的屬主是root
  • [root@nfs-server ~]# grep 65534 /etc/passwd #查看65534的用戶名
  • nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
  • [root@nfs-server ~]# chown -R nfsnobody /data #更改/data屬主
  • [root@nfs-server ~]# ls -ld /data
  • drwxr-xr-x 2 nfsnobody root 4096 Jan 19 11:36 /data
  • ?

  • [root@nfs-server ~]# cd /mnt
  • [root@nfs-server mnt]# pwd
  • /mnt
  • [root@nfs-server mnt]# ls
  • [root@nfs-server mnt]# touch test.txt #服務(wù)端創(chuàng)建
  • [root@nfs-server mnt]# ls
  • test.txt
  • [root@web-lamp01 mnt]# touch test2.txt #客戶端創(chuàng)建
  • [root@web-lamp01 mnt]# ls
  • test2.txt test.txt
  • ?

    客戶端設(shè)置開(kāi)機(jī)自動(dòng)掛載

  • [root@web-lamp01 mnt]# cat /etc/rc.local
  • #!/bin/sh
  • #
  • # This script will be executed *after* all the other init scripts.
  • # You can put your own initialization stuff in here if you don't
  • # want to do the full Sys V style init stuff.
  • touch /var/lock/subsys/local
  • #啟動(dòng)rpcbind
  • /etc/init.d/rpcbind start
  • #掛載nfs /data
  • /bin/mount -t nfs 192.168.31.129:/data /mnt
  • 同樣配置另外一臺(tái)客戶端。

    故障排查

    1、首先確認(rèn)NFS服務(wù)端配置和服務(wù)是否正常。

  • [root@nfs-server ~]# showmount -e localhost
  • Export list for localhost:
  • /data 192.168.31.*
  • 最好服務(wù)端自己掛載自己看看是否成功。

  • [root@nfs-server ~]# mount -t nfs 192.168.31.129:/data /mnt
  • [root@nfs-server ~]# df -h
  • Filesystem Size Used Avail Use% Mounted on
  • /dev/sda3 7.1G 1.4G 5.4G 21% /
  • tmpfs 497M 0 497M 0% /dev/shm
  • /dev/sda1 190M 27M 153M 15% /boot
  • 192.168.31.129:/data 7.1G 1.4G 5.4G 21% /mnt
  • 這一步主要是檢查服務(wù)端的NFS服務(wù)是不是正常的。

    2、確認(rèn)NFS客戶端showmount是否正常。

  • [root@web-lamp01 ~]# showmount -e 192.168.31.129
  • Export list for 192.168.31.129:
  • /data 192.168.31.*
  • 如果有問(wèn)題進(jìn)行下面排查。

    1)ping NFS服務(wù)端IP檢查

  • [root@web-lamp01 ~]# ping 192.168.31.129
  • PING 192.168.31.129 (192.168.31.129) 56(84) bytes of data.
  • 64 bytes from 192.168.31.129: icmp_seq=1 ttl=64 time=1.40 ms
  • 64 bytes from 192.168.31.129: icmp_seq=2 ttl=64 time=0.392 ms
  • 2)telnet NFS服務(wù)端IP端口檢查

  • [root@web-lamp01 ~]# telnet 192.168.31.129 111
  • Trying 192.168.31.129...
  • Connected to 192.168.31.129.
  • Escape character is '^]'.
  • 如果出現(xiàn)No route to host很有可能是服務(wù)端防火墻引起。

    此外,還需要注意服務(wù)端RPC服務(wù)啟動(dòng)順序問(wèn)題。

    /etc/init.d/rpcbind start

    rpcinfo -p localhost

    /etc/init.d/nfs start

    rpcinfo -p localhost

    NFS配置參數(shù)權(quán)限

    NFS配置文件權(quán)限參數(shù)說(shuō)明

    NFS服務(wù)器端的權(quán)限設(shè)置,即/etc/exports文件配置格式中小括號(hào)的參數(shù)。

  • [root@nfs-server ~]# cat /etc/exports
  • /data 192.168.31.*(rw,sync)
  • 參數(shù)名稱(chēng)

    參數(shù)用途

    rw

    read-write,表示可讀寫(xiě)權(quán)限*

    ro

    read-only,表示只讀權(quán)限

    sync

    請(qǐng)求或?qū)懭霐?shù)據(jù)時(shí),數(shù)據(jù)同步寫(xiě)入到NFS Server的硬盤(pán)后才返回。數(shù)據(jù)安全不會(huì)丟,缺點(diǎn),性能下降。

    async

    請(qǐng)求或?qū)懭霐?shù)據(jù)是,先返回請(qǐng)求,再將數(shù)據(jù)寫(xiě)入到內(nèi)存緩存和硬盤(pán)中,即異步寫(xiě)入數(shù)據(jù)。此參數(shù)可以提升NFS性能,但是會(huì)降低數(shù)據(jù)的安全。因此,一般情況下建議不用,如果NFS處于瓶頸狀態(tài),并且運(yùn)行數(shù)據(jù)丟失的話可以打開(kāi)此參數(shù)提升NFS性能。寫(xiě)入時(shí)數(shù)據(jù)會(huì)先寫(xiě)到內(nèi)存緩沖區(qū),等硬盤(pán)有空檔再寫(xiě)入磁盤(pán),這樣可以提升寫(xiě)入效率,風(fēng)險(xiǎn)若服務(wù)器宕機(jī)或不正常關(guān)機(jī),會(huì)損失緩沖區(qū)中未寫(xiě)入磁盤(pán)的數(shù)據(jù)(解決辦法:服務(wù)器主板電池或加UPS不間斷電源)。(電商秒殺是異步)

    no_root_squash

    訪問(wèn)NFS Server共享目錄的用戶如果是root的話,它對(duì)該共享目錄具有root權(quán)限。這個(gè)配置原本為無(wú)盤(pán)客戶端準(zhǔn)備的。用戶應(yīng)避免使用。

    root_squash

    對(duì)于訪問(wèn)NFS Server共享目錄的用戶如果是root的話,則它的權(quán)限將被壓縮成匿名用戶,同時(shí)它的UID和GID通常會(huì)變成nfsnobody賬號(hào)身份

    all_squash

    不管訪問(wèn)NFS Server共享目錄的用戶身份如何,它的權(quán)限都被壓縮成匿名用戶,同時(shí)它的UID和GID都會(huì)變成nfsnobody賬號(hào)身份。在早期多個(gè)NFS客戶端同時(shí)讀寫(xiě)NFS Server數(shù)據(jù)時(shí),這個(gè)參數(shù)很有用。*

    anonuid

    參數(shù)以anon*開(kāi)頭即值anonymous匿名用戶,這個(gè)用戶的UID設(shè)置值通常為nfsnobody的UID值,當(dāng)然我們也可以自行設(shè)置這個(gè)UID值。但是,UID必須存在于/etc/passwd中。在多個(gè)NFS Clients時(shí),如多臺(tái)web server共享一個(gè)NFS目錄時(shí),通過(guò)這個(gè)參數(shù)可以使得不同的NFS Clients寫(xiě)入的數(shù)據(jù)對(duì)所有NFS Clients保持同樣的用戶權(quán)限,即為配置的匿名UID對(duì)應(yīng)用戶權(quán)限,這個(gè)參數(shù)很有用。*

    anongid

    同anonuid,區(qū)別是把uid(用戶id)換成gid(組id)。

    推薦使用配置。

  • [root@nfs-server ~]# cat /etc/exports
  • /data 192.168.31.0/24(rw,sync,all_squash)
  • [root@nfs-server ~]# exportfs -rv
  • exporting 192.168.31.0/24:/data
  • NFS服務(wù)總結(jié)

    使得NFS Client端可寫(xiě)的服務(wù)端配置條件

    當(dāng)多個(gè)NFS客戶端以NFS方式寫(xiě)入修改服務(wù)器端的文件系統(tǒng)時(shí),需要具有以下權(quán)限:

    1、NFS服務(wù)器/etc/exports設(shè)置需要開(kāi)放可寫(xiě)入的權(quán)限,即服務(wù)端的共享權(quán)限。

    2、NFS服務(wù)器實(shí)際要共享的NFS目錄權(quán)限具有可寫(xiě)入w的權(quán)限,即服務(wù)端本地目錄的安全權(quán)限。

    3、每臺(tái)機(jī)器都對(duì)應(yīng)存在和nfs默認(rèn)配置UID的相同UID65534的nfsnobody用戶(確保所有客戶端的訪問(wèn)權(quán)限統(tǒng)一,否則每個(gè)機(jī)器需要同時(shí)建立相同UID的用戶,并覆蓋NFS的默認(rèn)配置)。

    當(dāng)滿足三個(gè)條件,多個(gè)NFS客戶端才能具有互相寫(xiě)入,互相修改其他主機(jī)寫(xiě)入文件的權(quán)限。

    NFS服務(wù)重要文件說(shuō)明

    /etc/exports

    NFS服務(wù)主配置文件,配置NFS具體共享服務(wù)的地點(diǎn),默認(rèn)內(nèi)容為空,以行為單位。

  • [root@nfs-server ~]# cat /etc/exports
  • /data 192.168.31.0/24(rw,sync,all_squash)
  • /usr/sbin/exportfs

    NFS服務(wù)的管理命令。例如,可以加載NFS配置生效,還可以直接配置NFS共享目錄,即無(wú)需配置/etc/exports實(shí)現(xiàn)共享。

  • [root@nfs-server ~]# exportfs –rv #加載配置生效,等價(jià)于重啟/etc/init.d/nfs reload
  • exporting 192.168.31.0/24:/data
  • exportfs不但可以加載配置生效,也可以通過(guò)命令直接共享目錄。越過(guò)/etc/exports,但重啟失效。

    /usr/sbin/showmount

    常用在客戶端,查看NFS配置及掛載結(jié)果的命令。配置nfsserver,分別在服務(wù)端以及客戶端查看掛載情況。

    /var/lib/nfs/etab

    NFS配置文件的完整參數(shù)設(shè)定的文件(有很多沒(méi)有配置但是默認(rèn)就有的NFS參數(shù))。

  • [root@nfs-server ~]# cat /var/lib/nfs/etab
  • /data 192.168.31.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,anonuid=65534,anongid=65534,sec=sys,rw,root_squash,all_squash)
  • /proc/mounts

    客戶端掛載參數(shù)

  • [root@web-lamp01 ~]# cat /proc/mounts
  • rootfs / rootfs rw 0 0
  • proc /proc proc rw,relatime 0 0
  • sysfs /sys sysfs rw,relatime 0 0
  • devtmpfs /dev devtmpfs rw,relatime,size=496952k,nr_inodes=124238,mode=755 0 0
  • devpts /dev/pts devpts rw,relatime,gid=5,mode=620,ptmxmode=000 0 0
  • tmpfs /dev/shm tmpfs rw,relatime 0 0
  • /dev/sda3 / ext4 rw,relatime,barrier=1,data=ordered 0 0
  • /proc/bus/usb /proc/bus/usb usbfs rw,relatime 0 0
  • /dev/sda1 /boot ext4 rw,relatime,barrier=1,data=ordered 0 0
  • none /proc/sys/fs/binfmt_misc binfmt_misc rw,relatime 0 0
  • sunrpc /var/lib/nfs/rpc_pipefs rpc_pipefs rw,relatime 0 0
  • 192.168.31.129:/data/ /mnt nfs4 rw,relatime,vers=4,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.31.130,minorversion=0,local_lock=none,addr=192.168.31.129 0 0
  • NFS客戶端mount掛載命令????

    NFS客戶端掛載的命令

    掛載命令

    掛載的格式類(lèi)型

    NFS服務(wù)器提供的共享目錄

    NFS客戶端要掛載的目錄

    mount

    -t nfs

    192.168.31.129:/data

    /mnt(必須存在)

    完整掛載命令為:mount -t nfs 192.168.31.129:/data /mnt

    執(zhí)行掛載的過(guò)程

  • [root@web-lamp01 ~]# showmount -e 192.168.31.129 #掛載前先檢查有權(quán)限需要掛載的信息是否能夠掛載
  • Export list for 192.168.31.129:
  • /data 192.168.31.0/24 #可以清晰的看到共享了/data目錄
  • [root@web-lamp01 ~]# mount -t nfs 192.168.31.129:/data /mnt #執(zhí)行掛載命令
  • [root@web-lamp01 ~]# df –h #查看掛載后的結(jié)果
  • Filesystem Size Used Avail Use% Mounted on
  • /dev/sda3 7.1G 1.4G 5.4G 21% /
  • tmpfs 497M 0 497M 0% /dev/shm
  • /dev/sda1 190M 27M 153M 16% /boot
  • 192.168.31.129:/data 7.1G 1.4G 5.4G 21% /mnt
  • [root@web-lamp01 ~]# mount #查看掛載后的結(jié)果
  • /dev/sda3 on / type ext4 (rw)
  • proc on /proc type proc (rw)
  • sysfs on /sys type sysfs (rw)
  • devpts on /dev/pts type devpts (rw,gid=5,mode=620)
  • tmpfs on /dev/shm type tmpfs (rw)
  • /dev/sda1 on /boot type ext4 (rw)
  • none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
  • sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
  • 192.168.31.129:/data on /mnt type nfs (rw,vers=4,addr=192.168.31.129,clientaddr=192.168.31.130)
  • [root@web-lamp01 ~]# grep mnt /proc/mounts #查看掛載后的結(jié)果
  • 192.168.31.129:/data/ /mnt nfs4 rw,relatime,vers=4,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.31.130,minorversion=0,local_lock=none,addr=192.168.31.129 0 0
  • NFS客戶端mount掛載深入

    NFS客戶端mount掛載參數(shù)說(shuō)明

    在NFS服務(wù)端可以通過(guò)cat /var/lib/nfs/etab查看NFS服務(wù)端配置的參數(shù)細(xì)節(jié)。

    在NFS客戶端可以通過(guò)cat /proc/mounts查看mount的掛載參數(shù)細(xì)節(jié)。

    NFS Client mount掛載參數(shù)列表

    參數(shù)

    參數(shù)功能

    默認(rèn)參數(shù)

    fg

    bg

    當(dāng)在客戶端執(zhí)行掛載時(shí),可選擇是前臺(tái)fg還是在后臺(tái)bg執(zhí)行。若在前臺(tái)執(zhí)行,則mount會(huì)持續(xù)嘗試掛載,直到成功或掛載時(shí)間超時(shí)為止,若在后臺(tái)執(zhí)行,則mount會(huì)在后臺(tái)持續(xù)多次進(jìn)行mount,而不會(huì)影響到前臺(tái)的其它程序操作。如果網(wǎng)絡(luò)聯(lián)機(jī)不穩(wěn)定,或是服務(wù)器常常需要開(kāi)關(guān)機(jī),建議使用bg比較好。

    fg

    soft

    hard

    當(dāng)NFS Client以soft掛載Server后,若網(wǎng)絡(luò)或Server出現(xiàn)問(wèn)題,造成Client和Server無(wú)法傳輸資料時(shí),Client會(huì)一直嘗試到timeout后顯示錯(cuò)誤并且停止嘗試。若使用soft mount的話,可能會(huì)在timeout出現(xiàn)時(shí)造成資料丟失,一般不建議使用。

    若用hard模式掛載硬盤(pán)時(shí),剛好和soft相反,此時(shí)Client會(huì)一直嘗試連線到Server,若Server有回應(yīng)就繼續(xù)剛才的操作,若沒(méi)有回應(yīng)NFS Client會(huì)一直嘗試,此時(shí)無(wú)法umount或kill,所以常常會(huì)配合intr使用。

    hard

    intr

    當(dāng)使用hard掛載的資源timeout后,若有指定intr參數(shù),可以在timeout后把它中斷掉,這避免出問(wèn)題時(shí)系統(tǒng)整個(gè)被NFS鎖死。

    無(wú)

    rsize

    wsize

    讀出(rsize)與寫(xiě)入(wrize)的區(qū)塊大小(block size),這個(gè)設(shè)置值可以影響客戶端與服務(wù)端傳輸數(shù)據(jù)的緩沖存儲(chǔ)量,一般來(lái)說(shuō),如果在局域網(wǎng)內(nèi)(LAN),并且客戶端與服務(wù)端都具有足夠的內(nèi)存,這個(gè)值可以設(shè)置大一點(diǎn)(65535bytes),提升緩沖區(qū)塊將可提升NFS文件系統(tǒng)的傳輸能力。但設(shè)置的值也不能太大,最好是實(shí)現(xiàn)網(wǎng)絡(luò)能夠傳輸?shù)淖畲笾禐橄蕖?/p>

    CentOS 5:默認(rèn)1024

    CentOS 6:默認(rèn)131072

    proto=udp

    使用UDP協(xié)議來(lái)傳輸資料,在LAN中會(huì)有比較好的性能。若要跨越Internet的話,使用proto=tcp多傳輸?shù)臄?shù)據(jù)會(huì)有比較好的糾錯(cuò)能力

    proto=tcp

    man nfs查看上述信息。

    優(yōu)化:

  • [root@web-lamp01 ~]# mount -t nfs -o bg,hard,intr,rsize=131072,wsize=131072 192.168.31.129:/data /mnt
  • 下面是mount -o參數(shù)對(duì)應(yīng)的選項(xiàng)列表

    參數(shù)

    參數(shù)意義

    默認(rèn)值

    suid

    nosuid

    當(dāng)掛載的文件系統(tǒng)上有任何SUID的程序時(shí),只要使用nosuid就能夠取消設(shè)置SUID的功能。

    suid

    rw

    ro

    可以指定文件系統(tǒng)是只讀ro或可寫(xiě)rw

    rw

    dev

    nodev

    是否可以保留裝置文件的特殊功能,一般來(lái)說(shuō)只有/dev才有特殊的裝置,因此可以選擇nodev

    dev

    exec

    noexec

    是否具有執(zhí)行文件的權(quán)限,如果想要掛載的僅僅是普通資源數(shù)據(jù)區(qū)(例如圖片、附件),可以選擇noexec

    exec

    user

    nouser

    是否允許用戶進(jìn)行文件的掛載與卸載功能,如果要保護(hù)文件系統(tǒng),最好不要提供用戶選擇掛載與卸載

    nouser

    auto

    noauto

    這個(gè)auto指的是"mount -a"時(shí)會(huì)不會(huì)被掛載的項(xiàng)目,如果不需要這個(gè)分區(qū)隨時(shí)被掛載,可設(shè)置為noauto

    auto

    NFS客戶端mount掛載優(yōu)化

    在企業(yè)工作場(chǎng)景,一般來(lái)說(shuō),NFS服務(wù)器共享的只是普通靜態(tài)數(shù)據(jù)(圖片、附件、視頻),不需要執(zhí)行suid、exec等權(quán)限,掛載的這類(lèi)文件系統(tǒng)只能作為數(shù)據(jù)存取之用,無(wú)法執(zhí)行程序,對(duì)于客戶端來(lái)講增加了安全性。例如,很多木馬篡改站點(diǎn)文件都是由上傳入口上傳的程序到存儲(chǔ)目錄,然后執(zhí)行的。

    因此在掛載的時(shí)候用下面的命令很有必要。

    mount安全掛載參數(shù)

    mount -t nfs -o nosuid,noexec,nodev,rw 192.168.31.129:/data /mnt

    通過(guò)mount -o指定掛載參數(shù)和在/etc/fstab里指定掛載參數(shù)效果是一樣的。

    mount掛載性能優(yōu)化參數(shù)選項(xiàng)

    1、禁止更新目錄及文件時(shí)間戳掛載

    mount -t nfs -o noatime,nodiratime 192.168.31.129:/data /mnt

    2、安全加優(yōu)化的掛載方式

    mount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,intr,rsize=131072,wsize=131072 192.168.31.129:/data /mnt

    3、默認(rèn)的掛載方式(推薦)

    mount -t nfs 192.168.31.129:/data /mnt

    如果是本地文件系統(tǒng)

    mount /dev/sdb1 /mnt -o defaults,async,noatime,data=writeback,barrier=0

    NFS服務(wù)內(nèi)核優(yōu)化

    優(yōu)化選項(xiàng)說(shuō)明:

    1、/proc/sys/net/core/rmem_default

    該文件指定了接收套接字緩沖區(qū)大小的缺失值(以字節(jié)為單位),缺省設(shè)置:124928。

    2、/proc/sys/net/core/rmem_max

    該文件指定了接收套接字緩沖區(qū)大小的最大值(以字節(jié)為單位),缺省設(shè)置:124928。

    3、/proc/sys/net/core/wmem_default

    該文件指定了發(fā)送套接字緩沖區(qū)大小的缺失值(以字節(jié)為單位),缺省設(shè)置:124928。

    4、/proc/sys/net/core/wmem_max

    該文件指定了發(fā)送套接字緩沖區(qū)大小的最大值(以字節(jié)為單位),缺省設(shè)置:124928。

    上述文件對(duì)應(yīng)的具體內(nèi)核優(yōu)化命令:

  • cat >>/etc/sysctl.conf<<EOF
  • net.core.wmem_default=8388608
  • net.core.wmem_max=16777216
  • net.core.rmem_datault=8388608
  • net.core.rmem_max=16777216
  • EOF
  • sysctl -p
  • 企業(yè)場(chǎng)景NFS共享存儲(chǔ)優(yōu)化小結(jié)

    1、硬件:sas、ssd硬盤(pán),買(mǎi)多塊,raid0、raid10。網(wǎng)卡吞吐量要大,至少千兆

    2、NFS服務(wù)器端配置:/data

    192.168.31.0/24(rw,sync,all_squash,anonuid=65534,anongid=65534)

    3、NFS客戶端掛載:rsize、wsize、noatime、nodirtime、nosuid、noexec、soft(hard、intr)

    mount -t nfs -o nosuid,noexec,nodev,noatime,rsize=131072,wsize=131072 192.168.31.129:/data /mnt

    mount -t nfs -o noatime,nodiratime,rsize=131072,wsize=131072 192.168.31.129:/data /mnt

    mount -t nfs -o noatime,nodiratime 192.168.31.129:/data /mnt

    4、有關(guān)NFS服務(wù)的所有服務(wù)器內(nèi)核優(yōu)化

  • cat >>/etc/sysctl.conf<<EOF
  • net.core.wmem_default=8388608
  • net.core.wmem_max=16777216
  • net.core.rmem_datault=8388608
  • net.core.rmem_max=16777216
  • EOF
  • sysctl -p
  • 5、如果卸載的時(shí)候提示:umount:/mnt:device is busy,需要退出掛載目錄后進(jìn)行卸載,或是NFS Server宕機(jī)了,需要強(qiáng)制卸載mount -lf /mnt。

    6、大型網(wǎng)站NFS網(wǎng)絡(luò)文件系統(tǒng)替代軟件,分布式文件系統(tǒng)Moosefs(mfs)、glusterfs、FastDFS。

    NFS系統(tǒng)應(yīng)用優(yōu)缺點(diǎn)說(shuō)明

    作用:

    NFS服務(wù)可以讓不同的客戶端掛載使用同一目錄,作為共享存儲(chǔ)使用,這樣可以保證不同節(jié)點(diǎn)客戶端數(shù)據(jù)的一致性,在集群架構(gòu)環(huán)境中經(jīng)常會(huì)用到。如果windows+linux可以用samba。

    優(yōu)點(diǎn):

    1、簡(jiǎn)單,容易上手,容易掌握。

    2、NFS文件系統(tǒng)內(nèi)數(shù)據(jù)是在文件系統(tǒng)之上的,即數(shù)據(jù)能看見(jiàn)。

    3、方便,部署快速,維護(hù)簡(jiǎn)單,可控且滿足需求。

    4、可靠,從軟件層面上看,數(shù)據(jù)可靠性高,經(jīng)久耐用。數(shù)據(jù)是在文件系統(tǒng)之上的

    5、穩(wěn)定。

    局限:

    1、局限性是存在單點(diǎn)故障,如果nfs server宕機(jī)了所有客戶端都不能訪問(wèn)共享目錄

    可以通過(guò)負(fù)載均衡及高可用方案彌補(bǔ)。

    2、在大數(shù)據(jù)高并發(fā)的場(chǎng)合,NFS效率、性能有限(一般幾千萬(wàn)pv的網(wǎng)站不是瓶頸,除非網(wǎng)站架構(gòu)太差,2千萬(wàn)pv/日)。

    3、客戶端認(rèn)證是基于ip和主機(jī)名的,權(quán)限是根據(jù)ID識(shí)別,安全性一般(用于內(nèi)外則問(wèn)題不大)。

    4、NFS數(shù)據(jù)是明文的,NFS本身對(duì)數(shù)據(jù)完整性不作驗(yàn)證。

    5、多臺(tái)客戶機(jī)器掛載一個(gè)NFS服務(wù)器時(shí),連接管理維護(hù)麻煩(耦合度高)。尤其N(xiāo)FS服務(wù)出現(xiàn)問(wèn)題后,所有NFS客戶端都掛掉狀態(tài)(測(cè)試環(huán)境可以使用autofs自動(dòng)掛載解決)。

    6、大中小型網(wǎng)站(2千萬(wàn)PV以下)線上應(yīng)用,都有用武之地。

    showmount命令說(shuō)明

    短格式

    長(zhǎng)格式

    用途及實(shí)例結(jié)果

    -e

    --exports

    顯示NFS服務(wù)器輸出的目錄列表

    [root@web-lamp01 ~]# showmount -e 192.168.31.129

    Export list for 192.168.31.129:

    /data 192.168.31.0/24

    -d

    --directories

    顯示NFS服務(wù)器中提供共享的目錄

    -a

    --all

    以ip:/die格式顯示NFS服務(wù)器的ip和可被掛載的目錄

    轉(zhuǎn)載于:https://www.cnblogs.com/yinshoucheng-golden/p/6318191.html

    總結(jié)

    以上是生活随笔為你收集整理的网络文件系统NFS的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

    如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

    一级久久精品 | 99精品久久只有精品 | 美女很黄免费网站 | www五月天 | 亚洲精品一区二区三区四区高清 | 视频一区二区视频 | 亚洲五月综合 | 日本精品一区二区在线观看 | 成人av电影在线播放 | 91精品视频免费看 | 亚洲国产精彩中文乱码av | 国产精品va在线 | 99视频久 | 激情小说网站亚洲综合网 | 99免费看片 | 91精品免费在线视频 | 国产成人一区二区三区 | 色窝资源 | 一区二区三区在线免费观看视频 | 91日韩精品视频 | 99精品国产在热久久下载 | 色综合久久久久久久久五月 | 91精品国产欧美一区二区成人 | 99久久999久久久精玫瑰 | 亚洲精品美女 | 欧美精品中文字幕亚洲专区 | 天天精品视频 | 亚洲精品国精品久久99热 | 日日天天狠狠 | 少妇bbb搡bbbb搡bbbb | 日韩av免费一区二区 | a久久免费视频 | 久久夜色网 | 日本精品久久久久久 | 国产精品淫| 成人国产网站 | 婷婷性综合 | 国产精品成人一区二区 | www.久艹 | 97成人在线观看视频 | 成人免费大片黄在线播放 | 中文字幕乱在线伦视频中文字幕乱码在线 | 国产精品18久久久久久久久 | 免费看的av片 | 国产精品亚洲精品 | 国产精品黄色影片导航在线观看 | 正在播放 久久 | 最新日韩在线观看视频 | 91色欧美 | 久久老司机精品视频 | 中文字幕在线视频国产 | 日韩中文在线观看 | 激情开心网站 | 日韩av中文在线观看 | 亚洲精品免费在线观看 | 99精品在线观看视频 | 天堂久久电影网 | 久久精品日产第一区二区三区乱码 | 国产在线不卡一区 | 欧美淫视频| 婷婷六月网| 日韩黄色免费看 | 精品一二三四五区 | 亚洲精品午夜国产va久久成人 | 99精品视频在线看 | 亚洲一区二区精品3399 | 黄色免费在线视频 | 色国产精品一区在线观看 | 亚洲国产资源 | 九月婷婷人人澡人人添人人爽 | 国产精品毛片久久久久久 | 免费视频黄 | 在线一二区 | 久久精品男人的天堂 | 久操视频在线观看 | 亚洲成a人片77777潘金莲 | 亚洲视频电影在线 | 久久这里只有精品23 | 国产成人91 | 不卡在线一区 | 成人av久久 | 精品国产aⅴ一区二区三区 在线直播av | 97碰碰视频 | 久久久影片| 91理论片午午伦夜理片久久 | 国产69久久 | 在线视频成人 | 国产精品电影在线 | 五月婷在线播放 | 久久久久久久福利 | 欧美日韩在线第一页 | 国产婷婷视频在线 | 国产麻豆精品一区二区 | 五月综合色婷婷 | 亚洲精品乱码久久久一二三 | 手机在线日韩视频 | 亚洲热久久 | av在线电影免费观看 | 成人av免费在线 | av日韩中文 | 992tv在线成人免费观看 | 国产午夜精品久久久久久久久久 | 伊人久久精品久久亚洲一区 | 午夜美女福利直播 | 青青射| 99福利影院 | 亚洲精品国产精品久久99热 | 日韩黄色一区 | 国产精品69av | 亚洲成人av在线播放 | 日韩美女av在线 | 国产成人福利在线观看 | 中文字幕在线一二 | 国产中文字幕一区 | 97色在线视频 | 久久久亚洲国产精品麻豆综合天堂 | 91视频在线免费 | 中文字幕二区在线观看 | 五月综合激情婷婷 | 不卡中文字幕av | 成人宗合网 | 亚洲一区二区三区毛片 | 91精品啪在线观看国产81旧版 | 亚洲高清不卡av | 丁香婷婷自拍 | 欧美日韩国产高清视频 | 国产免费高清 | 免费在线观看成年人视频 | 伊人狠狠色丁香婷婷综合 | 国产小视频网站 | 中文在线免费看视频 | 国产精品久久久久亚洲影视 | 国产一区免费 | 免费在线精品视频 | 日韩精品一区二区三区免费观看视频 | 国产无限资源在线观看 | 国产日产欧美在线观看 | 亚洲撸撸 | 中文字幕在线观看视频一区二区三区 | 最新日韩视频 | 久久这里只有精品视频99 | 一级一片免费视频 | 午夜av影院 | 蜜臀久久99精品久久久无需会员 | 久久黄色片子 | 国产精品久久久久久久久免费看 | 亚洲国产欧美在线人成大黄瓜 | 人人超碰免费 | 久久成人综合视频 | 久久久免费 | 婷婷久久网站 | 亚洲精品国偷拍自产在线观看蜜桃 | 国产精品久久久久一区二区三区 | 黄网站免费久久 | 日本久久久久久科技有限公司 | 欧美久久99 | 国产精品 日韩精品 | 91 在线视频播放 | 国产一区二区三区免费在线观看 | 久久久国产精品人人片99精片欧美一 | 精品在线观看一区二区 | 99精品视频免费在线观看 | 国产一区二区在线免费 | 在线观看激情av | 色av资源网| 国产亚洲日本 | 国产亚洲视频在线观看 | 999久久久免费视频 午夜国产在线观看 | 人人干人人模 | 日日射天天射 | 九九天堂 | 狠狠操狠狠干2017 | 久久99久久99久久 | 精品日本视频 | 色在线高清 | 日韩精品一区二区三区三炮视频 | 久久亚洲免费 | 色婷婷导航 | 五月综合激情网 | 国产精品久久久久久久久久白浆 | 日韩区欠美精品av视频 | 亚洲专区中文字幕 | 久久久精选 | 国产精品久久久久永久免费观看 | 国产精品久久久久影视 | av免费网站| 色诱亚洲精品久久久久久 | 日韩欧美在线观看一区二区 | 丁香在线观看完整电影视频 | 久久久久久国产精品免费 | av在线播放免费 | 成人午夜在线电影 | 国产一级在线视频 | 久久香蕉国产 | av九九九 | 中文在线天堂资源 | 在线观看成人毛片 | 日日爱999 | 国产精品2018 | 色网站视频| 狠狠的干狠狠的操 | 不卡的av在线 | 成人av网站在线观看 | 国产高清视频免费 | 久久精品视频18 | 国产精品久久99综合免费观看尤物 | 天天躁天天操 | 国产精品短视频 | 久久天天躁狠狠躁夜夜不卡公司 | 天天草视频| 久久久久久久久久久网站 | 高潮久久久久久久久 | 狠狠操夜夜 | 成人91在线 | 国产片免费在线观看视频 | 狠狠干天天 | 久久久免费播放 | 中国一级片在线观看 | 日本久久久久久久久 | 色婷婷婷 | 久久免费大片 | 99这里只有精品视频 | 91精品视频在线观看免费 | a成人v | 中文字幕在线影视资源 | 天天爱天天操 | 精品国产诱惑 | 在线观看av中文字幕 | 亚洲永久精品一区 | 久久99久久99精品中文字幕 | 亚洲欧美日韩一区二区三区在线观看 | 天天爽人人爽夜夜爽 | va视频在线 | 国产精品一区二区久久精品爱微奶 | 久久av不卡 | 99久热在线精品视频观看 | 国产精品乱码久久久久久1区2区 | 91精品久久香蕉国产线看观看 | 国产丝袜在线 | 亚洲国内精品在线 | 在线看成人av | 黄色一级免费电影 | 成人宗合网 | 麻豆成人在线观看 | 99热.com | 人人干在线观看 | 亚洲综合爱| 中文字幕色在线 | 又黄又刺激视频 | 成年人视频免费在线 | 色综合中文综合网 | 亚洲精品国偷拍自产在线观看蜜桃 | 丁香婷婷电影 | 日韩高清av在线 | 美女网站黄在线观看 | 久久综合网色—综合色88 | 欧美色图亚洲图片 | 欧美成人一二区 | 天天草天天色 | 911精品美国片911久久久 | 视频在线播放国产 | 国产精品免费在线播放 | 久久久久久高清 | 亚洲va欧美va人人爽春色影视 | av高清不卡| 正在播放国产一区二区 | 国产亚洲欧美在线视频 | 国产福利精品在线观看 | 久久99最新地址 | 日本韩国在线不卡 | 日韩欧美视频二区 | 天天干天天拍天天操天天拍 | 丰满少妇在线观看 | 国产精品成人a免费观看 | 亚洲国产av精品毛片鲁大师 | 九草视频在线观看 | 中文字幕第一页在线 | 四虎影视成人永久免费观看视频 | 最新日本中文字幕 | 中文字幕专区高清在线观看 | av手机在线播放 | 亚洲成a人片77777kkkk1在线观看 | 啪一啪在线 | 久久精品国产免费 | 天堂在线v | 国产精品密入口果冻 | 亚洲黄色区 | av官网在线 | 天天做天天干 | 69国产精品视频 | 欧洲黄色片| 欧美不卡视频在线 | 99久久精品午夜一区二区小说 | 久草在线手机视频 | 亚洲区视频在线 | 在线观看国产一区二区 | 日韩精品久久久久久久电影99爱 | 久草com| 99久久精品无免国产免费 | 91丨九色丨首页 | 五月天激情综合 | 911亚洲精品第一 | 狠狠综合久久 | www.天天成人国产电影 | 国产午夜三级 | 国产成人61精品免费看片 | 欧美激情综合五月色丁香小说 | 久久亚洲综合国产精品99麻豆的功能介绍 | 亚洲国产高清在线观看视频 | 狠狠ri | 成人在线你懂得 | 91在线视频在线 | 精品国产aⅴ麻豆 | 97超视频免费观看 | 国产高清视频免费最新在线 | 超级碰碰免费视频 | 色国产视频 | 欧美极品少妇xxxx | 亚洲www天堂com| 亚洲精品在线播放视频 | 蜜臀久久99精品久久久无需会员 | 久久免费av电影 | 在线免费中文字幕 | 国产中文视频 | 99中文字幕视频 | 天堂av网在线 | 97在线免费视频 | 欧美激情视频一二三区 | 麻豆视频国产 | 免费欧美高清视频 | 亚洲aⅴ一区二区三区 | 夜夜婷婷| 欧美a视频| 国产美女主播精品一区二区三区 | 国产成人av在线 | 欧美大片在线观看一区 | 麻豆系列在线观看 | 国产一区二区视频在线 | 激情网第四色 | 久久激情视频网 | 网址你懂的在线观看 | 91精品在线观看入口 | 蜜臀久久99精品久久久酒店新书 | 97视频在线观看播放 | 久久欧美在线电影 | 久久国产精品免费看 | 丝袜+亚洲+另类+欧美+变态 | 欧美人交a欧美精品 | 欧美日韩首页 | 国产在线欧美日韩 | 亚洲欧洲中文日韩久久av乱码 | 九九热只有精品 | 欧美午夜a | 午夜av网站 | 国产日韩欧美在线播放 | av电影免费看 | 国产色视频123区 | 偷拍区另类综合在线 | 99热在线这里只有精品 | 久久人人97超碰com | 一级做a视频| 天天操天天草 | 一区二区电影网 | 色婷婷亚洲婷婷 | 91av精品| 欧美国产精品久久久久久免费 | 久久不卡日韩美女 | 黄网站免费大全入口 | 99视频偷窥在线精品国自产拍 | 中文字幕 国产专区 | 一本一本久久a久久 | 国产精品av一区二区 | 综合久色| 曰本三级在线 | 亚洲综合视频在线播放 | 日本久久久影视 | 国产精品刺激对白麻豆99 | 亚洲综合欧美日韩狠狠色 | 久久1区| 国产精品一区在线播放 | 久久久久一区二区三区 | 精品乱码一区二区三四区 | 久久爱影视i| 国产色视频一区二区三区qq号 | av电影免费| 久久久电影网站 | 91精品国自产在线观看欧美 | 久久99久久99精品免观看粉嫩 | 欧美高清视频不卡网 | av电影在线免费观看 | 国产视频一二区 | 精品国产免费人成在线观看 | 亚洲91中文字幕无线码三区 | 永久免费观看视频 | 国产91精品久久久久 | 国产黄色一级片 | 十八岁免进欧美 | avv天堂| 欧美亚洲三级 | 欧美成人69av| 又黄又爽又色无遮挡免费 | 亚洲综合视频在线 | 亚洲久草在线视频 | 一级欧美黄 | 日韩亚洲在线 | 亚洲视频一区二区三区在线观看 | 亚洲永久精品一区 | 欧美高清视频不卡网 | 日韩最新av| 亚洲在线视频观看 | 97超碰资源总站 | 日本女人b | 福利一区在线 | 999久久久免费视频 午夜国产在线观看 | 亚洲精品在线观看网站 | 日韩在线播放视频 | 亚洲精品麻豆视频 | 青青草华人在线视频 | 天天射天天操天天干 | 久久久久久免费毛片精品 | 久久免费电影 | 97**国产露脸精品国产 | 五月亚洲综合 | 色99视频 | 少妇精69xxtheporn| 一区二区三区不卡在线 | 91av视频播放| 精品一区二区三区香蕉蜜桃 | 黄色看片| 五月开心色 | 四虎影视国产精品免费久久 | 人人爽影院 | 黄色免费网战 | 欧美在线视频不卡 | 国偷自产视频一区二区久 | 国产在线高清视频 | 黄色.com| 九九热精品在线 | 亚洲国产精品资源 | 亚洲成人免费观看 | 9999国产| 最新日韩中文字幕 | 美女视频永久黄网站免费观看国产 | 国产精品精品国产色婷婷 | 成人在线视频免费 | 在线播放一区二区三区 | 福利一区二区三区四区 | 国产精品永久免费视频 | 97香蕉超级碰碰久久免费软件 | 欧美激情在线看 | 麻豆成人精品 | 97精品国产97久久久久久粉红 | 日本韩国精品一区二区在线观看 | 天天超碰 | 久草视频一区 | 九九九热视频 | 色综合亚洲精品激情狠狠 | 在线观看亚洲a | 在线成人免费 | 精品视频国产一区 | 久久国产热 | 在线观看aa | 久久国产一区二区三区 | 精品一区二区影视 | 99视频精品免费视频 | 国产精品精品久久久 | 国产午夜精品一区二区三区 | 国产精品久久婷婷六月丁香 | 69精品视频 | 久久久久久久av | 九九免费观看视频 | 日韩二区三区 | 亚洲高清国产视频 | 国产亚洲精品xxoo | 91高清视频在线 | 日本在线观看中文字幕无线观看 | 国产精品成人一区二区三区吃奶 | 黄色网址中文字幕 | 91正在播放 | 欧美性极品xxxx娇小 | 久久精品视频18 | 国产91精品在线播放 | 国产精品国产三级国产不产一地 | 久99久在线视频 | 精品一区三区 | 国产在线看一区 | 日韩免费一区二区 | 亚洲精品短视频 | 日日干天天爽 | 久久精品久久国产 | 激情综合狠狠 | 国产香蕉av | 天天干,天天操 | 免费国产在线观看 | 亚洲好视频 | 日韩电影中文字幕 | 狠狠色丁香婷婷综合久小说久 | www.91av在线 | 亚洲第一区在线观看 | 欧美久久久一区二区三区 | 久久久一本精品99久久精品 | 色噜噜日韩精品欧美一区二区 | 日韩电影在线观看一区 | 9999在线视频 | 色综合天天视频在线观看 | 日本少妇高清做爰视频 | 9在线观看免费高清完整版在线观看明 | 韩日精品在线 | 国产高清在线免费视频 | 免费看成人a | 日韩欧美精品在线 | 亚洲三级国产 | 色视频网页 | 日韩在线视频看看 | 丁香激情婷婷 | 91人人人| 超碰av在线免费观看 | 久久免费在线 | 成人av在线影视 | 国产精品免费久久久久 | 好看的国产精品视频 | 亚洲乱码精品 | 国产成人一级电影 | 欧美久久久 | 亚洲精品 在线视频 | 国产高清无线码2021 | 国产精品对白一区二区三区 | 国产精品一区二区果冻传媒 | 三上悠亚在线免费 | 婷婷激情影院 | 亚洲最大成人免费网站 | 黄色片毛片 | 中文字幕在线免费看线人 | 国产裸体视频bbbbb | 天天插天天色 | 亚洲综合视频在线 | 77国产精品| 超碰在线97观看 | 欧美日韩免费一区二区三区 | 黄a在线看 | 亚洲国产精品999 | 国产高清绿奴videos | 亚洲一二三在线 | 久久三级视频 | 夜夜夜夜操 | 在线观看免费国产小视频 | 成人黄色电影免费观看 | 99在线视频观看 | 久久久高清一区二区三区 | 日韩电影一区二区三区在线观看 | 久草av在线播放 | 日本三级人妇 | 欧美日韩视频在线观看免费 | 97在线观看免费 | 99热手机在线观看 | 99久久精品久久亚洲精品 | 美腿丝袜av | 成人av电影免费观看 | 国产乱码精品一区二区三区介绍 | 免费91麻豆精品国产自产在线观看 | 在线观看精品黄av片免费 | 欧美精品中文字幕亚洲专区 | 亚洲高清在线精品 | 精品久久久99 | 特级西西444www大精品视频免费看 | 99视频导航 | 久久精品这里都是精品 | 久久精品屋 | 国产精品你懂的在线观看 | 欧美日韩一区二区在线 | 91九色porny蝌蚪主页 | 97色免费视频 | 久草91视频 | 国内精品久久久久久 | 国产高清精品在线 | 婷婷色婷婷 | 国产精品久久久久久久久婷婷 | 久久免费视频在线观看6 | 国产精品免费在线观看视频 | 五月综合激情网 | 色老板在线 | 黄色avwww | 精品视频免费播放 | 在线观看成人网 | 美女视频又黄又免费 | 在线精品在线 | 超碰在线人人97 | 热九九精品 | 波多野结衣在线观看视频 | 国产黄色精品网站 | 狠狠88综合久久久久综合网 | 香蕉视频在线播放 | 婷婷色影院 | 久久精品亚洲国产 | 欧美91片| 亚洲dvd| 爱色av.com| 久久精品一区二区国产 | 国产亚洲精品久 | 欧美小视频在线观看 | 国产精品青青 | 国产码电影 | 蜜臀91丨九色丨蝌蚪老版 | 久久久国产精品久久久 | 中文不卡视频 | 午夜av剧场| 中午字幕在线 | 色视频网站在线观看一=区 a视频免费在线观看 | 人人艹人人| 最近日韩免费视频 | 亚洲成av人电影 | 中文在线字幕免费观 | 99久久精品国产观看 | 亚洲黄色在线免费观看 | 波多野结衣在线观看视频 | 国产xvideos免费视频播放 | 狠狠干美女 | 亚洲精品久久激情国产片 | 青青河边草免费观看完整版高清 | 日韩综合在线观看 | 日韩xxxxxxxxx | 亚州国产精品视频 | 九九久| 国产精品热视频 | 天堂av在线网站 | 美国av大片| 黄色国产高清 | 日本精品久久久一区二区三区 | 亚洲高清精品在线 | 久草剧场 | 免费在线观看亚洲视频 | 韩国视频一区二区三区 | 亚洲另类交 | 免费日韩视 | 亚洲永久精品一区 | av一区二区在线观看中文字幕 | 中文字幕久久精品 | 亚洲一区二区三区毛片 | 九九九热 | av资源免费在线观看 | 久久综合久久综合九色 | 亚洲国产精品小视频 | 久久无码精品一区二区三区 | 视频一区二区三区视频 | 黄色动态图xx| 欧美视频不卡 | 日韩久久精品一区二区 | 国产在线综合视频 | 91av电影网| 日日躁你夜夜躁你av蜜 | 国产成人免费在线观看 | 夜夜操天天摸 | 国产精品免费久久久久久久久久中文 | 嫩模bbw搡bbbb搡bbbb | 在线精品视频在线观看高清 | www.激情五月.com | 一区在线播放 | 欧美日韩性视频在线 | 久久视频二区 | 国产视频欧美视频 | 日韩中文字幕电影 | 麻豆精品91| 男女日麻批 | 免费看一级黄色大全 | 精品国产精品久久一区免费式 | av黄色在线观看 | 免费黄色特级片 | 久久综合免费视频 | 免费成人在线观看 | 欧美日韩一区二区在线观看 | 97香蕉久久超级碰碰高清版 | 国产一级大片在线观看 | 国产中文在线观看 | 国产这里只有精品 | а中文在线天堂 | 亚洲精品乱码久久久久久蜜桃欧美 | 日韩精品高清不卡 | 久草视频在线免费看 | 人人看人人做人人澡 | 精品女同一区二区三区在线观看 | 中文一二区 | 国产高清不卡一区二区三区 | 69精品在线 | 天天艹天天干天天 | 欧美在线观看视频一区二区三区 | 国产又粗又硬又长又爽的视频 | 国产一区在线观看视频 | 91热精品 | 美女视频黄色免费 | av一级久久 | 97超碰人 | 久久综合欧美精品亚洲一区 | 69亚洲乱 | 91免费国产在线观看 | 91视频 - 114av| 免费av在线网站 | 亚洲精品男人天堂 | 欧美成人黄色片 | 久久这里只有精品9 | 亚洲狠狠丁香婷婷综合久久久 | 日本精品va在线观看 | 免费在线成人av电影 | 日韩免费电影 | 婷婷激情综合五月天 | 五月天欧美精品 | 欧美精品少妇xxxxx喷水 | 国产精品一区二区在线观看免费 | 日韩精品一区二区不卡 | 久草av在线播放 | 日韩av网页| 欧美电影黄色 | 日韩一区二区免费在线观看 | 麻豆手机在线 | 国产一级二级三级视频 | 久久久久久久久艹 | 国产免费观看视频 | 亚洲免费在线视频 | av网站在线观看播放 | 91免费国产在线观看 | 国产裸体无遮挡 | 亚洲精品视频网址 | 激情婷婷亚洲 | 99久久精品久久久久久动态片 | 亚洲精品字幕在线观看 | 亚洲欧洲精品在线 | 国产午夜一区二区 | 亚洲欧美色婷婷 | 国产精品久久久久久久久久不蜜月 | 一区在线电影 | 婷婷精品国产欧美精品亚洲人人爽 | 欧美精品九九99久久 | 国产原创在线观看 | www免费 | 五月天婷婷免费视频 | 97超碰精品 | 91免费国产在线观看 | 一区二区三区四区免费视频 | 国产黄大片在线观看 | 日韩高清在线不卡 | ,午夜性刺激免费看视频 | 91成人午夜 | 日韩网站一区二区 | 日本电影久久 | 国产精品一区二区在线免费观看 | 97精品在线观看 | www夜夜操com| 97成人精品视频在线播放 | 国产精品麻豆视频 | 日韩sese | 亚洲波多野结衣 | 欧美大荫蒂xxx| 国产特级毛片aaaaaa高清 | 国产精品一区在线观看 | 国产一区二区久久精品 | 久久成人精品电影 | 特级黄色一级 | 四虎影视久久久 | 国产视频资源在线观看 | 99精品国产在热久久下载 | 成人毛片一区 | 中文字幕免费播放 | 久久九九久久 | 婷婷色在线 | 在线国产一区二区三区 | 国产精品18videosex性欧美 | 亚洲激情久久 | 国产不卡精品 | 久操免费视频 | 日日日操操 | 在线a人片免费观看视频 | 国产高清精品在线 | 国产精品系列在线 | 欧美日韩视频在线一区 | 人人草人人草 | 成人黄色一级视频 | 国产麻豆成人传媒免费观看 | 天天做天天爱夜夜爽 | 最近中文字幕 | 日韩精品免费一线在线观看 | 91av免费在线观看 | 黄色精品网站 | 国产美腿白丝袜足在线av | 国产一级片免费播放 | 成人av资源在线 | 国产偷在线 | 99这里只有精品99 | 99精品视频免费观看 | 激情五月婷婷丁香 | 亚洲天堂毛片 | 精品国产电影一区二区 | 96av在线视频 | 国产成人在线精品 | 欧美日韩在线看 | 欧洲精品二区 | 日本乱码在线 | 片网址| 国产视频一级 | 在线免费观看一区二区三区 | 久久国产精品99久久久久久老狼 | 五月婷婷丁香激情 | 噜噜色官网 | 日韩综合一区二区 | 91av资源在线 | 国产午夜一区 | 五月婷婷中文 | 毛片一区二区 | 丁香视频| 日韩精品一区二区三区中文字幕 | 超碰人人在线观看 | 久久一区国产 | 国产精品视频永久免费播放 | 最新久久免费视频 | 亚洲无吗天堂 | 日韩av免费一区二区 | 五月的婷婷 | 中文字幕亚洲精品在线观看 | 久久精品站 | 在线观看一区视频 | 色插综合 | 亚洲婷婷在线视频 | 顶级bbw搡bbbb搡bbbb | 国产精品久久久久久电影 | 天天曰视频 | 天天射天天添 | 成人午夜精品 | 91麻豆精品国产91久久久无限制版 | 欧美一区在线观看视频 | 久久九九网站 | 久久综合久久综合九色 | 中文字幕一区二区三区乱码在线 | 丁香五婷 | 视频精品一区二区三区 | 亚洲激情在线播放 | 91精品国产综合久久婷婷香蕉 | 免费精品| 高清av在线 | 国产中文字幕一区二区 | 韩国精品一区二区三区六区色诱 | 热久久免费视频 | 6080yy精品一区二区三区 | 91精品毛片| 99在线观看免费视频精品观看 | 96视频免费在线观看 | 欧美一区在线观看视频 | 中文字幕日本在线 | 亚洲成人蜜桃 | 999久久久免费精品国产 | 午夜 在线| 久久人人爽人人爽人人片 | 成人国产精品免费 | 波多野结衣电影一区 | 国产玖玖在线 | 久久久亚洲成人 | 91黄站| 这里只有精品视频在线 | 亚洲三级黄色 | 欧美激情第28页 | 91尤物在线播放 | 久久综合九色综合97婷婷女人 | 日日干美女 | 日韩av一区二区三区 | 国产欧美在线一区 | 三级在线视频播放 | 欧美一级黄色片 | 夜夜操网 | 久久久久久久久久影院 | 91人网站| 91成人天堂久久成人 | 久草在线手机视频 | 黄色的视频网站 | 狠狠操操操 | 亚洲aⅴ一区二区三区 | 国产精品剧情 | 99精品视频精品精品视频 | 六月丁香婷婷网 | 日韩激情三级 | 免费久久久 | 中文字幕在线观看1 | 久久蜜桃av | 亚洲精品色视频 | 欧美视频99 | 在线观看黄色av | 2021久久| 欧美日韩精品在线一区二区 | 欧美韩日视频 | www.亚洲精品 | 中文字幕一区二区三区四区视频 | 98精品国产自产在线观看 | 国产精品99精品 | 国产精品涩涩屋www在线观看 | 国产午夜精品av一区二区 | 成年人免费看片网站 | 亚洲精品视频免费 | 亚洲人片在线观看 | 国产一级在线看 | 婷婷 中文字幕 | 亚洲免费成人 | 亚洲免费激情 | 天天干婷婷 | 996久久国产精品线观看 | 国产成人综| 天天拍天天操 | 毛片在线网 | 久久伊人爱 | 亚洲精品大全 | 天天·日日日干 | 国产乱码精品一区二区三区介绍 | 国内精品视频在线 | 一级淫片在线观看 | 久久成人午夜 | 九九热视频在线 | 久久亚洲人 | 国产综合精品一区二区三区 | 国产精品美女999 | 东方av免费在线观看 | 欧美激情综合五月色丁香 | 国产精品九九久久99视频 | 欧美视频18 | 狠狠狠狠狠狠干 | 四虎影视精品 | 国产精品免费久久久久影院仙踪林 | 国产福利一区二区三区在线观看 | 国产精品嫩草影视久久久 | 久久久久久久久久久久国产精品 | 国产精品美女久久久久久久 | 怡红院久久| 成人黄色在线观看视频 | 欧美激情精品久久 | 日本中文乱码卡一卡二新区 | 婷婷六月网 | 一区二区三区高清在线 | 国产亚洲精品综合一区91 | 亚洲成人av在线 | 香蕉久久久久久av成人 | 久草久草视频 | 日韩欧美在线一区二区 | 99久久精品国产免费看不卡 | 深夜男人影院 | 亚洲精品国产品国语在线 | 久久69精品| 免费欧美高清视频 | av成人黄色| 美女久久久久久久 | 天天操综 | 亚洲好视频 | 亚洲精品视频在线 | 日韩一区二区三免费高清在线观看 | av在线播放网址 | 成人欧美一区二区三区在线观看 | 97精品视频在线播放 | 国产成人av在线影院 | 91麻豆福利 | 91在线播放国产 | 国产精品成人免费精品自在线观看 | 精品嫩模福利一区二区蜜臀 | 中文字幕在线视频网站 | 国产精品99久久久久的智能播放 | 国产成人精品午夜在线播放 | 美女久久久久久 | 91免费观看网站 | 在线黄频 | 青青河边草观看完整版高清 | 日韩精选在线观看 | 99久久久精品| 中文乱幕日产无线码1区 | 91观看视频 | 欧美日韩午夜 | 91精品电影| 日韩免费一级a毛片在线播放一级 | 免费看搞黄视频网站 | 狠狠色丁香婷婷综合久小说久 | 午夜久久福利 | 免费国产一区二区视频 | 在线成人性视频 | 欧美久久99 | 五月天综合网站 | 精品欧美日韩 | 日韩欧美在线播放 | 免费av片在线 | 成年人黄色大片在线 | 欧美天堂视频在线 | 精品一区精品二区高清 | 久久不射电影网 | 97国产在线视频 | 免费精品国产va自在自线 | 久久黄色精品视频 | 日韩免费在线观看网站 | 国产亚洲片 | 美女网站色免费 | 免费成人短视频 | 精品九九久久 | 97超碰免费在线观看 | 黄色资源网站 | 国内精品久久久久久久97牛牛 | 国产一区二区视频在线播放 | 久久在线精品视频 | 精品一区电影 | 黄色资源在线观看 |