日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 >

linux架构师高级系统调优策略

發布時間:2025/3/20 32 豆豆
生活随笔 收集整理的這篇文章主要介紹了 linux架构师高级系统调优策略 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

一、進程管理

1、啟動流程

POST:啟動BIOS,加載硬件信息到CPU,完成各個設備的中斷注冊及IO端口注冊。讀取CMOS,確定啟動加載順序,啟動系統,如果是從硬盤啟動會讀取MBR分區。

2、什么是進程

程序的運行實例(現實表現),程序的一部分代碼而已。

CPU通過時序(時間片)讓多個任務(程序,進程)同時運行,實質在某一個時間點是只有一個在運行的。CPU通過進程調度器結合調度策略調度進程。

cpu密集型——批處理進程

i/o密集型———交互式進程

3、優先級調度

1-99 實時優先級,99優先級最高

調度方法:?chrt -f 99??/bin/ls

用戶空間級別的優先級調整

啟動時調整優先級:nice

啟動后調整優先級:renice

二、CPU性能統計

1、平均負載:

vmstate

[root@node5.dtedu.com ~]# vmstat 1 5

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----

?r? b ? swpd ? free ? buff? cache ? si ? so? ? bi? ? bo ? in ? cs us sy id wa st

?0? 0? ? ? 0 1555200? 18576 175188? ? 0? ? 0 ? ? 4 ? ? 0 ? 27 ? 29? 0? 0 100? 0? 0

?0? 0? ? ? 0 1555200? 18576 175208? ? 0? ? 0 ? ? 0 ? ? 0 ? 64 ? 55? 0? 0 100? 0? 0

?0? 0? ? ? 0 1555200? 18576 175208? ? 0? ? 0 ? ? 0 ? ? 0 ? 49 ? 53? 0? 0 100? 0? 0

?0? 0? ? ? 0 1555200? 18576 175208? ? 0? ? 0 ? ? 0 ? ? 0 ? 47 ? 49? 0? 0 100? 0? 0

?0? 0? ? ? 0 1554936? 18576 175208? ? 0? ? 0 ? ? 0 ? ? 0 ? 75? 118? 0? 0 100? 0? 0

w:隊列是對每一個cpu的,比如0.9,就是這個cpu的負載率是90%,所以

[root@node5.dtedu.com ~]# w

?08:18:38 up? 5:26,? 1 user,? load average: 1.00, 1.00, 0.91

USER ? ? TTY? ? ? FROM? ? ? ? ? ? ? LOGIN@ ? IDLE ? JCPU ? PCPU WHAT

root ? ? pts/0? ? 192.168.4.100? ? 08:18? ? 0.00s? 0.07s? 0.00s w


top

[root@node5.dtedu.com ~]# top


top - 08:18:34 up? 5:26,? 1 user,? load average: 1.00, 1.00, 0.91

Tasks: 129 total, ? 1 running, 128 sleeping, ? 0 stopped, ? 0 zombie

Cpu(s):? 0.2%us,? 0.2%sy,? 0.0%ni, 99.5%id,? 0.0%wa,? 0.2%hi,? 0.0%si,? 0.0%st

Mem: ? 1922096k total, ? 284196k used,? 1637900k free,? ? 17412k buffers

Swap:? 2064380k total,? ? ? ? 0k used,? 2064380k free,? ? 95280k cached


2、CPU性能評估

sar,yum install sysstat

[root@node5.dtedu.com ~]# sar -P ALL 10 2

Linux 2.6.32-573.el6.x86_64 (node5.dtedu.com)? 2017年05月16日? _x86_64_ (2 CPU)


08時36分58秒 ? ? CPU ? ? %user ? ? %nice ? %system ? %iowait? ? %steal ? ? %idle

08時37分08秒 ? ? all? ? ? 0.05? ? ? 0.00? ? ? 2.00? ? ? 0.05? ? ? 0.00 ? ? 97.90

08時37分08秒 ? ? ? 0? ? ? 0.10? ? ? 0.00? ? ? 2.20? ? ? 0.00? ? ? 0.00 ? ? 97.70

08時37分08秒 ? ? ? 1? ? ? 0.10? ? ? 0.00? ? ? 1.90? ? ? 0.00? ? ? 0.00 ? ? 98.00


08時37分08秒 ? ? CPU ? ? %user ? ? %nice ? %system ? %iowait? ? %steal ? ? %idle

08時37分18秒 ? ? all? ? ? 0.05? ? ? 0.00? ? ? 0.15? ? ? 0.00? ? ? 0.00 ? ? 99.80

08時37分18秒 ? ? ? 0? ? ? 0.00? ? ? 0.00? ? ? 0.20? ? ? 0.00? ? ? 0.00 ? ? 99.80

08時37分18秒 ? ? ? 1? ? ? 0.00? ? ? 0.00? ? ? 0.00? ? ? 0.00? ? ? 0.00? ? 100.00


平均時間: ? ? CPU ? ? %user ? ? %nice ? %system ? %iowait? ? %steal ? ? %idle

平均時間: ? ? all? ? ? 0.05? ? ? 0.00? ? ? 1.08? ? ? 0.03? ? ? 0.00 ? ? 98.85

平均時間: ? ? ? 0? ? ? 0.05? ? ? 0.00? ? ? 1.20? ? ? 0.00? ? ? 0.00 ? ? 98.75

平均時間: ? ? ? 1? ? ? 0.05? ? ? 0.00? ? ? 0.95? ? ? 0.00? ? ? 0.00 ? ? 99.00

[root@node5.dtedu.com ~]#?


dstat,yum install dstat


[root@node5.dtedu.com ~]# dstat

----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--

usr?sys?idl?wai?hiq?siq|?read??writ|?recv??send|? in???out?|?int???csw?

? 0 ? 0?100?? 0 ? 0 ? 0|9140B?1087B|?? 0 ? ? 0?|?? 0 ? ? 0?|? 54??? 57?

? 0 ? 0?100?? 0 ? 0 ? 0|?? 0 ? ? 0?|?126B??974B|?? 0 ? ? 0?|? 65??? 50?

? 0?? 1??99?? 0 ? 0 ? 0|?? 0 ? ? 0?|? 66B??420B|?? 0 ? ? 0?|? 75??? 59?

? 0 ? 0?100?? 0 ? 0 ? 0|?? 0 ??124k|? 66B??346B|?? 0 ? ? 0?|? 59??? 65?

? 0 ? 0?100?? 0 ? 0 ? 0|?? 0 ? ? 0?|? 66B??420B|?? 0 ? ? 0?|? 79??? 71?

? 1?? 0?100?? 0 ? 0 ? 0|?? 0 ? ? 0?|?126B??420B|?? 0 ? ? 0?|? 52??? 55?


vmstat ,如果里面的”CS”值在1000個以上說明“進程的上下文切換”太高。

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----

?r? b ? swpd ? free ? buff? cache ? si ? so? ? bi? ? bo ? in ? cs us sy id wa st

?0? 0? ? ? 0 1536480? 22364 187316? ? 0? ? 0 ? ? 4 ? ? 1 ? 27 ? 29? 0? 0 100? 0? 0

?0? 0? ? ? 0 1536480? 22364 187316? ? 0? ? 0 ? ? 0 ? ? 0 ? 60 ? 53? 0? 1 100? 0? 0

查看進程運行在那顆cpu上。

[root@node5.dtedu.com ~]# watch -n1 'ps axo comm,pid,psr |grep saslauthd'

Every 1.0s: ps axo comm,pid,psr |grep saslauthd? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Tue May 16 08:48:30 2017


saslauthd? ? ? ? 1875 ? 1

saslauthd? ? ? ? 1877 ? 1

saslauthd? ? ? ? 1878 ? 1

saslauthd? ? ? ? 1879 ? 1

saslauthd? ? ? ? 1880 ? 1

當需要將某一個進程綁定到某個cpu上運行,減少進程在cpu之間的跳轉,可以通過taskset命令設置。

[root@node5.dtedu.com ~]# ps axo pid,comm,psr |grep 7156

?7156 httpd ? ? ? ? ? ? 0


[root@node5.dtedu.com ~]# taskset -c? -p 1 7156

pid 7156's current affinity list: 0,1

pid 7156's new affinity list: 1

[root@node5.dtedu.com ~]#?


三、內存調優

實際上調整的就是pdflush,這個主要負責內存中的數據更新到磁盤上的管理模塊。

? ? ?kswapd內存虛擬空間的啟動策略,

? ? ?slab allocator,內存空間如何分配。

內存空間區段使用情況:

32位系統:

zone_DMA:1-16M

ZONE_NORMAL:17-896M

ZONE_RESERVED:897-1024M

ZONE_HIGHMEM:

64位系統:

ZONE_DMA:1-1024M 1G

ZONE_DMA32:4G

ZONE_NORMAL:

查看系統區段信息:cat /proc/zoneinfo

[root@node6.dtedu.com ~]# cat /proc/zoneinfo?

Node 0, zone? ? ? DMA

? pages free ? ? 3924

? ? ? ? min? ? ? 83

? ? ? ? low? ? ? 103

? ? ? ? high ? ? 124

? ? ? ? scanned? 0

? ? ? ? spanned? 4080

? ? ? ? present? 3826

? ? nr_anon_transparent_hugepages 0 透明大頁面,用來改變內存最小存儲單位大小。通常小于1T的使用2M的巨型頁

? ? ? ? protection: (0, 2004, 2004, 2004)

? pagesets

? ? cpu: 0

? ? ? ? ? ? ? count: 0

? ? ? ? ? ? ? high:? 0

? ? ? ? ? ? ? batch: 1

? vm stats threshold: 4

? ? cpu: 1

? ? ? ? ? ? ? count: 0

? ? ? ? ? ? ? high:? 0

? ? ? ? ? ? ? batch: 1

? vm stats threshold: 4

? all_unreclaimable: 0

? prev_priority: ? ? 12

? start_pfn: ? ? ? ? 16

? inactive_ratio:? ? 1

Node 0, zone? ? DMA32

? pages free ? ? 377640

? ? ? ? min? ? ? 11180

? ? ? ? low? ? ? 13975

? ? ? ? high ? ? 16770

? ? ? ? scanned? 0

? vm stats threshold: 20

? ? cpu: 1

? ? ? ? ? ? ? count: 124

? ? ? ? ? ? ? high:? 186

? ? ? ? ? ? ? batch: 31

? vm stats threshold: 20

? all_unreclaimable: 0

? prev_priority: ? ? 12

? start_pfn: ? ? ? ? 4096

? inactive_ratio:? ? 3


注意:/proc目錄下的所以都可以通過man proc 進行查看相關目錄及文件的使用說明。

如果要清空buffer或者coach內容,可以

page caches:通常用來緩存文件的數據

Buffer :緩存文件的元數據,保存用戶需要寫道磁盤的數據信息。

echo >1 /proc/sys/vm/drop_caches? 釋放page caches

echo >2 /proc/sys/vm/drop_caches? 釋放buffer ?不建議

swap的使用

通常建議系統不使用swap空間,所以可以通過修改proc下swappiness進行設定,設定值0-100,數值越大使用可能性越高。

?

swap設置建議:

科學計算:4*RAM(內存)

數據庫服務:1G

應用服務器:0.5*RAM

oom標記

用來標記當內存空間告罄的情況下,對于高內存消耗的進程進行關閉的管理標記,通常這個是自動啟動的,也可以在內存沒有耗盡前手動啟動,或者對于高內存進程進行不標記操作。

比如:

1、關閉oom標記,/etc/sysctl.conf或者更改proc

[root@node6.dtedu.com ~]# echo 1 >/proc/sys/vm/panic_on_oom?


2、查看進程的oom標記

[root@node6.dtedu.com ~]# cat /proc/2214/oom_score

1


3、調整進程的oom標記,如果不想被殺死,進行使用小的數值。

[root@node6.dtedu.com ~]# cat /proc/2214/oom_adj?

0


4、手動啟動oom標記,刪除高消耗進程

[root@node6.dtedu.com ~]# echo f >/proc/sysrq-trigger?


內存檢測工具

1、vmstate?

[root@node6.dtedu.com ~]# vmstat 1 3

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----

?r? b ? swpd ? free ? buff? cache ? si ? so? ? bi? ? bo ? in ? cs us sy id wa st

?0? 0? ? ? 0 1525180? 17400 207012? ? 0? ? 0 ? ? 2 ? ? 1 ? 28 ? 28? 0? 0 100? 0? 0

?0? 0? ? ? 0 1525164? 17400 207012? ? 0? ? 0 ? ? 0 ? ? 0 ? 68? 101? 0? 0 100? 0? 0

修改hugepage的大小,有助于提高TLB的性能,也可以用于快速緩存腳本信息。

啟動hugepages:

in /etc/sysctl.conf

vm_nr_hugepages = ?n

Kernel parameter

hugepages ?= n?

將huge當做內存磁盤來使用:

mkdir /hugepages

mount -t hugetlbfs ?none /hugepage

檢查swap使用情況,通常以下數值頻繁出現說明物理內存空間不足。

Linux 2.6.32-573.el6.x86_64 (node6.dtedu.com)? 2017年05月16日? _x86_64_ (2 CPU)


17時42分35秒? pswpin/s pswpout/s

17時42分36秒? ? ? 0.00? ? ? 0.00

17時42分37秒? ? ? 0.00? ? ? 0.00

17時42分38秒? ? ? 0.00? ? ? 0.00


[root@node6.dtedu.com ~]# dstat -mgs

------memory-usage----- ---paging-- ----swap---

?used??buff??cach??free|? in???out?|?used??free

?177M?20.7M??214M?1465M|?? 0 ? ? 0?|?? 0 ? ? 0?

?177M?20.7M??214M?1465M|?? 0 ? ? 0?|?? 0 ? ? 0?

?177M?20.7M??214M?1465M|?? 0 ? ? 0?|?? 0 ? ? 0?

?178M?20.7M??214M?1465M|?? 0 ? ? 0?|?? 0 ? ? 0?

?178M?20.7M??214M?1465M|?? 0 ? ? 0?|?? 0 ? ? 0?

?178M?20.7M??214M?1465M|?? 0 ? ? 0?|?? 0 ? ? 0?

?178M?20.7M??214M?1465M|?? 0 ? ? 0?|?? 0 ? ? 0?


內核、內存以及文件系統的容量調節/proc/sys/vm/

[root@node6.dtedu.com ~]# ls /proc/sys/vm/

admin_reserve_kbytes ? ? ? hugepages_treat_as_movable? mmap_min_addr ? ? ? ? ? ? panic_on_oom

block_dump ? ? ? ? ? ? ? ? hugetlb_shm_group ? ? ? ? ? nr_hugepages? ? ? ? ? ? ? percpu_pagelist_fraction

compact_memory ? ? ? ? ? ? laptop_mode ? ? ? ? ? ? ? ? nr_hugepages_mempolicy? ? scan_unevictable_pages

dirty_background_bytes ? ? legacy_va_layout? ? ? ? ? ? nr_overcommit_hugepages ? stat_interval

dirty_background_ratio ? ? lowmem_reserve_ratio? ? ? ? nr_pdflush_threads? ? ? ? swappiness

dirty_bytes? ? ? ? ? ? ? ? max_map_count ? ? ? ? ? ? ? numa_zonelist_order ? ? ? unmap_area_factor

dirty_expire_centisecs ? ? meminfo_legacy_layout ? ? ? oom_dump_tasks? ? ? ? ? ? vfs_cache_pressure

dirty_ratio? ? ? ? ? ? ? ? memory_failure_early_kill ? oom_kill_allocating_task? would_have_oomkilled

dirty_writeback_centisecs? memory_failure_recovery ? ? overcommit_kbytes ? ? ? ? zone_reclaim_mode

drop_caches? ? ? ? ? ? ? ? min_free_kbytes ? ? ? ? ? ? overcommit_memory

extfrag_threshold? ? ? ? ? min_slab_ratio? ? ? ? ? ? ? overcommit_ratio

extra_free_kbytes? ? ? ? ? min_unmapped_ratio? ? ? ? ? page-cluster

[root@node6.dtedu.com ~]#?


1、overcommit_memory

是否允許過量使用內存,也就是是否允許使用的內存空間大于實際物理內存空間其實就是是否使用swap。

設定值:

0:內核決定是否允許過量。內核計算過量值

1:內核允許使用過量內存

2:允許內核使用的過量值為物理內存、虛擬內存的

2、msgmax:消息隊列中單個消息的最大值

? ? ?Msgmnb:消息隊列的大小

? ? ?Msgmni:消息隊列的個數

? ? ?Shmall:一次在系統中可以使用的共享內存總量,通過他可以約束內存端個數(shmmax)。

? ? shmmni:用于共享內存的內存端個數(最多多少個內存端用于共享內存)

? ? shmmax:單個內存片段大小。

? ? Threads-max:規定內核使用的最大線程數,

3、同文件系統容量相關的參數

file-max:內存分配的最大句柄數

修改方法:

[root@node6.dtedu.com ~]# vi /etc/security/limits.conf?


# /etc/security/limits.conf

#

#Each line describes a limit for a user in the form:

#

#<domain>? ? ? ? <type>? <item>? <value>

#

#Where:


4、調整內存優化

dirty_ratio:當某一個進程的數值達到總內存的百分比后就寫下臟數據(pdflush)

dirty_backgroud_ratio:當總進程的數值合計達到總內存的百分比后開始在后端就寫下臟數據(pdflush)

dirty_expire_centisecs:臟頁寫入磁盤的等待時間間隔

dirty_writeback_centisecs:數據在內存中的老化時間

調優參考文件:http://www.2cto.com/os/201407/315641.html

5、IO優化

io調度器調整方法:

queue_length:緩存區長度

[root@node6.dtedu.com ~]# cat /sys/block/sdb/queue/nr_requests?

128


max_read_ahead:一次讀取隊列內排隊消息個數

[root@node6.dtedu.com ~]# cat /sys/block/sdb/queue/read_ahead_kb?

128


修改默認調度器的調度算法:實時生效,永久有效要寫入的rc.local中。

[root@node6.dtedu.com ~]# ls /sys/block/sdb/queue/iosched/ //配置調度器算法的文件

back_seek_max? ? ? fifo_expire_async? group_idle ? ? ? low_latency? slice_async ? ? slice_idle

back_seek_penalty? fifo_expire_sync ? group_isolation? quantum? ? ? slice_async_rq? slice_sync

[root@node6.dtedu.com ~]# cat /sys/block/sdb/queue/scheduler? //可選調度算法及當前調度算法,【】內的為當前調度算法。

noop anticipatory deadline [cfq]?


back_seek_max:最大反向尋道。

back_seek_penalty:反向尋道出錯后懲罰系數

fifo_expire_async:異步請求等待時間

fifo_expire_sync:同步請求等待時間

壓力測試工具:

fio

iozone


磁盤狀態跟蹤記錄工具:yum install blktrace ? ,blkparse用于分析。

IO子系統優化和監控:http://www.codeceo.com/article/linxu-io-monitor.html

四、linux系統優化及文件系統優化

1、vfs

虛擬文件系統:用于實現程序同底層磁盤不同格式文件系統打交道的“文件系統”。

文件系統屬性:

inode

權限

大小

atime

mtime

ctime

lsattr

chattr

知識點:

追蹤命令執行過程中的詳細信息

[root@node6.dtedu.com ~]# strace ls

execve("/bin/ls", ["ls"], [/* 25 vars */]) = 0

brk(0)? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 0x12d7000

mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f61b7ad8000

access("/etc/ld.so.preload", R_OK)? ? ? = -1 ENOENT (No such file or directory)

open("/etc/ld.so.cache", O_RDONLY)? ? ? = 3

fstat(3, {st_mode=S_IFREG|0644, st_size=54083, ...}) = 0

mmap(NULL, 54083, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7f61b7aca000

close(3)? ? ??

。

。

。

。

。


查看磁盤文件系統相關信息塊碎片:

dumpe2fs

[root@node6.dtedu.com ~]# dumpe2fs /dev/sdb1

dumpe2fs 1.41.12 (17-May-2010)

Filesystem volume name: ? <none>

Last mounted on:? ? ? ? ? /mnt

Filesystem UUID:? ? ? ? ? 2290a914-3116-477b-a72f-394c278b2aa9

Filesystem magic number:? 0xEF53

Filesystem revision #:? ? 1 (dynamic)

Filesystem features:? ? ? has_journal ext_attr resize_inode dir_index filetype extent flex_bg sparse_super huge_file uninit_bg dir_nlink extra_isize

Filesystem flags: ? ? ? ? signed_directory_hash?

Default mount options:? ? (none)

Filesystem state: ? ? ? ? clean


檢查一個文件是否是連續存儲在一個磁盤空間:filefrag

/root/install.log: 1 extent found[root@node6.dtedu.com ~]# filefrag /root/install.log -x

Filesystem type is: ef53

Filesystem cylinder groups is approximately 158

File size of /root/install.log is 8835 (3 blocks, blocksize 4096)

FIEMAP failed with unsupported flags 2

/root/install.log: 1 extent found[root@node6.dtedu.com ~]# filefrag /root/install.log -v

Filesystem type is: ef53

Filesystem cylinder groups is approximately 158

File size of /root/install.log is 8835 (3 blocks, blocksize 4096)

?ext logical physical expected length flags

?? 0 ? ? ? 0? 1433842 ? ? ? ? ? ? ? 2 merged

?? 1 ? ? ? 2? 1433844 ? ? ? ? ? ? ? 1 merged,eof


linux系統本事是可以避免碎片化的,所以不用進行碎片整理,如果非要整理使用fsck命令,非常消耗資源。

文件系統存儲存儲方式:

ext3:

journal:數據完整性最高,但是性能最差,通常不使用。

ordered:默認操作,數據寫入存儲區之前先寫入日志區確認無誤后再寫入數據區。

writeback:在ordered的基礎上,并不會立即寫入元數據區,而是自行選擇最佳寫入時機。性能好,一致性較差。

使用方法:

[root@node6.dtedu.com ~]# mount -o data=writeback /dev/sdb1 /mnt


ext4文件系統優化:

1、nobarriers,建議mysql數據庫存儲分區使用此參數進行掛載,mount -o nobarriers

2、noatime,對目錄和文件進行不更新時間戳操作。nodirtime只對目錄不更新。

3、預讀量設置,適用于大量連續讀寫情況。此值要和物理設備的預讀量相關,查看方式:

[root@node6.dtedu.com ~]# blockdev --getra /dev/sdb1

256


xfs文件系統優化

通常使用默認設定就是最佳方案了,并且建議mysql數據庫建立在xfs文件系統上。

五、網絡IO子系統優化


1、查看網絡端口打開狀態

[root@node7.dtedu.com ~]# netstat -tunlp //查看tcp/udp的監聽狀態端口

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address ? ? ? ? ? ? ? Foreign Address ? ? ? ? ? ? State ? ? ? PID/Program name? ?

tcp? ? ? ? 0? ? ? 0 10.40.0.227:21064 ? ? ? ? ? 0.0.0.0:* ? ? ? ? ? ? ? ? ? LISTEN? ? ? -? ? ? ? ? ? ? ? ? ?

tcp? ? ? ? 0? ? ? 0 0.0.0.0:111 ? ? ? ? ? ? ? ? 0.0.0.0:* ? ? ? ? ? ? ? ? ? LISTEN? ? ? 1383/rpcbind ? ? ? ?

tcp? ? ? ? 0? ? ? 0 0.0.0.0:57524 ? ? ? ? ? ? ? 0.0.0.0:* ? ? ? ? ? ? ? ? ? LISTEN? ? ? 1405/rpc.statd ? ? ?

tcp? ? ? ? 0? ? ? 0 0.0.0.0:22? ? ? ? ? ? ? ? ? 0.0.0.0:* ? ? ? ? ? ? ? ? ? LISTEN? ? ? 1546/sshd? ? ? ? ? ?

tcp? ? ? ? 0? ? ? 0 127.0.0.1:25? ? ? ? ? ? ? ? 0.0.0.0:* ? ? ? ? ? ? ? ? ? LISTEN? ? ? 1636/master?

[root@node7.dtedu.com ~]# netstat -tu //查看tcp/udp的建立連接的端口

Active Internet connections (w/o servers)

Proto Recv-Q Send-Q Local Address ? ? ? ? ? ? ? Foreign Address ? ? ? ? ? ? State ? ? ?

tcp? ? ? ? 0? ? ? 1 node7.dtedu.com:41163 ? ? ? node5.dtedu.com:16851 ? ? ? SYN_SENT ? ?

tcp? ? ? ? 0? ? ? 0 node7.dtedu.com:ssh ? ? ? ? 10.40.0.222:65026 ? ? ? ? ? ESTABLISHED?

2、sar命令檢查方法:

[root@node7.dtedu.com ~]# sar -n SOCK 1 4

Linux 2.6.32-573.el6.x86_64 (node7.dtedu.com)? 2017年05月18日? _x86_64_ (1 CPU)


16時07分13秒? ? totsck? ? tcpsck? ? udpsck? ? rawsck ? ip-frag? ? tcp-tw

16時07分14秒 ? ? ? 218 ? ? ? ? 7 ? ? ? ? 7 ? ? ? ? 1 ? ? ? ? 0 ? ? ? ? 0

16時07分15秒 ? ? ? 218 ? ? ? ? 7 ? ? ? ? 7 ? ? ? ? 1 ? ? ? ? 0 ? ? ? ? 0

16時07分16秒 ? ? ? 218 ? ? ? ? 7 ? ? ? ? 7 ? ? ? ? 1 ? ? ? ? 0 ? ? ? ? 0

16時07分17秒 ? ? ? 218 ? ? ? ? 7 ? ? ? ? 7 ? ? ? ? 1 ? ? ? ? 0 ? ? ? ? 0

平均時間: ? ? ? 218 ? ? ? ? 7 ? ? ? ? 7 ? ? ? ? 1 ? ? ? ? 0 ? ? ? ? 0


totsock:系統持有的socket個數

tcpsck:當前正在使用的tcp協議的socket個數

Udpsck:

Romsck:ram正在使用的數量

ip-frag:正在使用的ip分片個數

Tcp-tw:當前正在使用的tcpsocket中處于time_out的個數

3、lsof

列出當前系統打開文件的工具。

每行顯示一個打開的文件,若不指定條件默認將顯示所有進程打開的所有文件。

? ?lsof輸出各列信息的意義如下:

COMMAND:進程的名稱 PID:進程標識符

USER:進程所有者

FD:文件描述符,應用程序通過文件描述符識別該文件。如cwd、txt等 TYPE:文件類型,如DIR、REG等

DEVICE:指定磁盤的名稱

SIZE:文件的大小

NODE:索引節點(文件在磁盤上的標識)

NAME:打開文件的確切名稱


lsof?abc.txt?顯示開啟文件abc.txt的進程 lsof?-c?abc?顯示abc進程現在打開的文件 lsof?-c?-p??列出進程號為1234的進程所打開的文件 lsof?-g?gid?顯示歸屬gid的進程情況 lsof?+d?/usr/local/?顯示目錄下被進程開啟的文件 lsof?+D?/usr/local/?同上,但是會搜索目錄下的目錄,時間較長 lsof?-d??顯示使用fd為4的進程 lsof?-i?用以顯示符合條件的進程情況 lsof?-i[]?[protocol][@hostname|hostaddr][:service|port]-->?IPv4?or?IPv6protocol?-->?TCP?or?UDPhostname?-->?Internet?host?namehostaddr?-->?IPv4地址service?-->?/etc/service中的?service?name?(可以不止一個)port?-->?端口號?(可以不止一個) lsof?`which?httpd`?lsof?/etc/passwd?lsof?/dev/hda6?lsof?/dev/cdrom?lsof?-c?sendmail?lsof?-c?courier?-u?^zahn?lsof?-p??lsof?-D?/tmp?顯示所有在/tmp文件夾中打開的instance和文件的進程。但是symbol文件并不在列lsof?-u1000?lsof?-utony?lsof?-u^tony?lsof?-i?lsof?-i:?lsof?-i?-U?lsof?-i?UDP@[url]www.akadia.com:?lsof?-i?tcp@ohaha.ks.edu.tw:ftp?-r?lsof?-i?tcp@ohaha.ks.edu.tw:ftp?-n

4、dstat

多功能系統資源統計生成工具(?versatile tool for generating system resource statistics)。在獲取的信息上有點類似于top、free、iostat、vmstat等多個工具的合集,官方解釋為vmstat、iostat、ifstat等工具的多功能替代品

按照io負載率統計進程排序

[root@node7.dtedu.com ~]# dstat --top-io

----most-expensive----

?? ? i/o process ? ? ?

rgmanager ??261B??414k

sshd: root@?146B??184B

fenced ? ??? 64B??128B

fenced ? ??? 64B??128B

modclusterd?292B? ? 0?

clustat? ??? 15k? ? 0?

fenced ? ??? 64B??128B

fenced ? ??? 64B??128B

modclusterd?292B? ? 0?

modclusterd? 15k? ? 0?

fenced ? ??? 64B??128B

modclusterd?292B? ? 0 ^C


按照cpu負載率統計進程并排序

[root@node7.dtedu.com ~]# dstat --top-cpu

-most-expensive-

? cpu process? ?

corosync ? ??0.1? ? ? ? ? ? ???? ? ? ? ? ?

sshd: root@pt1.0

c:顯示CPU系統占用,用戶占用,空閑,等待,中斷,軟件中斷等信息。 -C:當有多個CPU時候,此參數可按需分別顯示cpu狀態,例:-C 0,1 是顯示cpu0和cpu1的信息。 -d:顯示磁盤讀寫數據大小。 -D hda,total:include hda and total。 -n:顯示網絡狀態。 -N eth1,total:有多塊網卡時,指定要顯示的網卡。 -l:顯示系統負載情況。 -m:顯示內存使用情況。 -g:顯示頁面使用情況。 -p:顯示進程狀態。 -s:顯示交換分區使用情況。 -S:類似D/N。 -r:I/O請求情況。 -y:系統狀態。 --ipc:顯示ipc消息隊列,信號等信息。 --socket:用來顯示tcp udp端口狀態。 -a:此為默認選項,等同于-cdngy。 -v:等同于 -pmgdsc -D total。 --output 文件:此選項也比較有用,可以把狀態信息以csv的格式重定向到指定的文件中,以便日后查看。例:dstat --output /root/dstat.csv & 此時讓程序默默的在后臺運行并把結果輸出到/root/dstat.csv文件中。

來自:?http://man.linuxde.net/dstat

六、進程管理優化

1、實現多內核的CPU的“專核專用”的效果。

將多個核心的cpu其中的幾個內核獨立出來,專門供一些特殊的進程使用,這樣就保證了進程的工作穩定性和高效率。要實現此目的,需要在啟動系統的時候隔離出需要的內核,然后在將其從io中斷中分離出來,最后是內核指定給進程使用。

A、隔離出指定內核,修改/etc/grub.conf文件,并添加一下內容:

isolcpu = cpu number1,cup number2,…….

B、關聯進程到內核,

C、將中斷信號只發送的其他非“專用”的內核上。

查看終端號同那個cpu關聯。

[root@node7.dtedu.com ~]# cat /proc/irq/0/smp_affinity

1

[root@mail ~]# cat /proc/irq/0/smp_affinity

ffffffff

[root@mail ~]# cat /proc/irq/1/smp_affinity

000000ff

[root@mail ~]# cat /proc/irq/5/smp_affinity

000000ff

[root@mail ~]# cat /proc/irq/7/smp_affinity


查看中斷號:

[root@node7.dtedu.com ~]# ls /proc/irq/

0???11??14??17??2???26??29??31??34??37??4???42??45??48??50??53??6??9

1???12??15??18??24??27??3???32??35??38??40??43??46??49??51??54??7? default_smp_affinity

10??13??16??19??25??28??30??33??36??39??41??44??47??5???52??55??8

[root@node7.dtedu.com ~]#?


比如:我有8個邏輯core,那么CPU#的序列為11111111 (從右到左依次為#0~#7的CPU)如果cat? /proc/irq/84/smp_affinity的值為:20(二進制為:00100000),則84這個IRQ的親和性為#5號CPU。

2、實現多CPU和物理內存綁定為一個“資源組”,并實現進程只能在指定資源組內訪問的方法



本文轉自 blackstome 51CTO博客,原文鏈接:http://blog.51cto.com/137783/1968814,如需轉載請自行聯系原作者

總結

以上是生活随笔為你收集整理的linux架构师高级系统调优策略的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

91久久精品一区 | 国产黄免费在线观看 | 娇妻呻吟一区二区三区 | 中文字幕丝袜一区二区 | 香蕉视频18 | 日本精品视频一区二区 | 国产日韩在线一区 | 国产免费又黄又爽 | 久草视频国产 | 国产精品密入口果冻 | 91av手机在线| 又黄又爽又色无遮挡免费 | 中文字幕日韩国产 | 99视频黄| 天天射天天操天天干 | 美女视频a美女大全免费下载蜜臀 | 亚洲精品av中文字幕在线在线 | 精品久久久免费视频 | 黄色aa久久 | 成人久久久精品国产乱码一区二区 | 日韩久久久久久 | 91福利在线导航 | 91精品啪啪 | 国产精品久久久久久久久搜平片 | 欧美国产日韩在线视频 | 国产成人一二三 | 狠狠色丁香婷婷综合久小说久 | 日日干视频 | 国产精品成久久久久 | 最近中文字幕高清字幕免费mv | 成人黄性视频 | 国产成人av综合色 | 日韩欧美国产免费播放 | 亚洲五月婷婷 | 国产精品你懂的在线观看 | 国产欧美精品一区二区三区四区 | 9久久精品 | 久久电影中文字幕视频 | 日韩网站免费观看 | 久久久久成 | 91成人精品一区在线播放 | 国产在线永久 | 99热9| 久久亚洲人| 激情婷婷久久 | 日韩精品一区二区三区水蜜桃 | 日韩中文字 | 五月综合久久 | 欧美日韩性 | 91色网址 | 国产精品免费在线播放 | 色婷婷免费视频 | 在线观看第一页 | 欧美日韩精品影院 | 视频 国产区 | 97香蕉久久国产在线观看 | 91最新国产 | 中文字幕人成人 | 日韩免费观看av | av中文字幕剧情 | 亚洲一级在线观看 | 2022国产精品视频 | 九九视频在线观看视频6 | 亚洲福利精品 | 国产精品免费大片视频 | 国内成人精品视频 | 久久一区二区免费视频 | 国产精品久久久久久高潮 | 久久综合在线 | 天天舔天天射天天操 | 亚洲免费在线播放视频 | 免费男女羞羞的视频网站中文字幕 | 国产精品久久久 | 久久中文欧美 | 国产福利免费看 | 久久艹免费| 色妞久久福利网 | 国产主播99| 免费观看www小视频的软件 | 欧美日韩不卡一区二区 | 中文字幕一区二区三区在线播放 | 国产一区二区在线观看视频 | 成人在线黄色电影 | 色a在线观看 | 久久精品久久99 | 国产99爱 | 欧美在线一级片 | 日韩欧美一区二区在线观看 | 国产精品久久久久久久av电影 | 精品美女在线观看 | 热久久这里只有精品 | 香蕉久久久久久久 | 免费观看视频黄 | 久久夜靖品| 综合色亚洲 | 免费三级网| 99久久久国产免费 | 在线观看成人国产 | 久久免费福利视频 | 国产亚洲无 | 探花视频在线观看免费 | 又黄又刺激的网站 | 中文字幕一区二区三区久久 | 99精品网站| 国产免费观看视频 | 国产视频在线观看一区 | 99视频免费 | 亚洲禁18久人片 | 久久噜噜少妇网站 | 久久精品网站免费观看 | 麻豆91在线观看 | 91香蕉亚洲精品 | 亚洲视频久久久 | 亚洲日本精品视频 | 国产中文字幕国产 | 国产品久精国精产拍 | 国产精品视屏 | 日日夜夜操操操操 | 天天操天天干天天爽 | 在线a视频 | 亚在线播放中文视频 | 久草网站在线 | 97精品国产一二三产区 | 超碰97在线资源 | 亚洲 中文 欧美 日韩vr 在线 | 色噜噜狠狠狠狠色综合久不 | 精品国产精品久久一区免费式 | 久久九精品 | 欧美作爱视频 | 亚洲精品tv| 亚洲一区二区三区91 | 九九在线播放 | 91精品国产自产在线观看永久 | 欧美激情片在线观看 | 中文字幕在线看片 | 欧美aa在线观看 | 区一区二区三区中文字幕 | 国产午夜精品久久 | 日韩激情小视频 | 国产99区 | 精品一区二区av | 国产玖玖精品视频 | 丝袜美腿亚洲综合 | 欧美国产视频在线 | av一级一片 | 亚洲精品看片 | 狠狠色狠狠色 | 日韩视频免费播放 | 色综合激情久久 | 91免费在线看片 | 青青草在久久免费久久免费 | 成人a在线观看高清电影 | 亚洲免费国产视频 | 500部大龄熟乱视频 欧美日本三级 | 色中色综合 | 色综合婷婷久久 | 中文字幕久久精品一区 | 久久精品国产99 | 九九久久视频 | 国产一级不卡毛片 | 亚洲天堂香蕉 | 久久免费视频在线观看 | 亚洲精品视| 久久精品这里热有精品 | 欧美精品久久久久a | 亚洲精品视频在线观看免费 | 天堂在线一区二区 | 超碰成人av | 色狠狠干| 成人日批视频 | 亚洲国产av精品毛片鲁大师 | 亚洲影视资源 | 欧美成人精品在线 | 欧美日韩国产一区二 | 99精品国产aⅴ | 九九热99视频 | 亚洲欧洲精品在线 | av天天干 | 深爱开心激情网 | 亚洲资源在线网 | 国产精品久久久久免费观看 | 日本中文字幕在线观看 | 色噜噜色噜噜 | 蜜臀av麻豆 | 黄色一级在线观看 | 中文字幕精品在线 | 国产精品视频最多的网站 | 午夜精品一区二区三区在线观看 | 成人av片免费观看app下载 | 久久精品99北条麻妃 | 国产一级片一区二区三区 | 99久e精品热线免费 99国产精品久久久久久久久久 | av动图| 国产99久久九九精品免费 | 四虎影视www | 色99网| 特及黄色片 | 成人久久久精品国产乱码一区二区 | 精品在线观看一区二区 | 久久综合九色综合97婷婷女人 | 黄色av大片 | 国产中文伊人 | 欧美日韩在线观看不卡 | 日本视频精品 | 国内久久看 | 天天操天天操天天操天天 | 亚洲 欧美 精品 | 天天视频亚洲 | 亚洲专区欧美 | 天堂av在线网站 | 日韩电影在线观看一区二区 | 久久欧美在线电影 | 99热这里只有精品1 av中文字幕日韩 | 在线免费视频一区 | 超碰免费成人 | 亚洲视频一级 | 黄色精品网站 | 欧美日韩国产亚洲乱码字幕 | 久久综合久久综合久久综合 | 国产精品成人久久久久 | 亚洲欧美一区二区三区孕妇写真 | 天天操偷偷干 | 亚洲精品在线观看不卡 | 日本久久久久久科技有限公司 | 九九热精品视频在线播放 | 91视频91色 | 国产亚洲精品美女 | 99精品免费 | 国产成人99av超碰超爽 | 在线观看中文字幕av | 五月婷婷综合网 | 伊人亚洲综合网 | 国产精品丝袜 | 亚洲天堂色婷婷 | 亚洲精品视频在线观看网站 | 天天色天天射天天综合网 | 国产精品一区二区久久久 | 精品国产电影一区二区 | 毛片网站免费在线观看 | 九九热1| 国产手机视频在线观看 | 国产精品永久在线观看 | 99re国产视频 | 久久亚洲综合国产精品99麻豆的功能介绍 | a视频在线观看 | 国产成人精品免高潮在线观看 | 91中文字幕在线观看 | 干狠狠| 亚洲狠狠干| 国产伦理久久精品久久久久_ | 一本一道久久a久久精品蜜桃 | 狠狠干狠狠久久 | 色婷婷激情网 | 日韩精品中文字幕一区二区 | 国产亚洲精品bv在线观看 | av在线精品 | 久久久伦理 | 国产精品福利一区 | 欧美日韩一二三四区 | 亚洲区精品 | 日韩网站视频 | 国产精品一级在线 | 91热视频 | 日韩电影在线观看一区二区 | 四虎视频 | 欧美a视频在线观看 | 亚洲春色综合另类校园电影 | 激情喷水| 久久综合婷婷国产二区高清 | 99精品色| 9免费视频 | 亚洲欧美日韩中文在线 | 27xxoo无遮挡动态视频 | 日日射av| 日韩激情视频 | 国产精品18久久久久久久 | 亚洲欧洲在线视频 | 91成品视频 | 99久久精品午夜一区二区小说 | 精品在线一区二区 | 久久免费成人 | 亚洲精品中文字幕视频 | 视频三区在线 | 亚洲一区二区精品视频 | av一级在线 | 久久精品激情 | a级国产乱理伦片在线观看 亚洲3级 | 久久99精品一区二区三区三区 | 国产精品毛片一区视频 | 69成人在线 | 亚洲精品456在线播放第一页 | 日本成址在线观看 | 麻豆视频免费观看 | 日韩啪啪小视频 | 国产中文字幕在线免费观看 | 91综合视频在线观看 | 国产中文字幕在线观看 | 久久你懂的 | 69国产精品视频 | 国产裸体bbb视频 | 精品国产乱码久久久久久1区二区 | 成人一级在线 | 精品国产中文字幕 | 精品国产99国产精品 | 欧美激情视频免费看 | 天天天插 | 在线观看免费av网站 | 天天草天天爽 | 亚洲国产欧美一区二区三区丁香婷 | 在线观看国产麻豆 | 狠狠干天天操 | 成人免费观看电影 | 日韩精品久久久久久久电影竹菊 | 欧美日韩免费观看一区二区三区 | 精品一区二区三区电影 | 亚洲涩涩一区 | 久久高清视频免费 | 91探花系列在线播放 | 国产69精品久久久久久久久久 | 亚洲禁18久人片 | 亚洲一区精品二人人爽久久 | 91九色蝌蚪在线 | 99国产在线 | 99精品热| 国产精品美乳一区二区免费 | 蜜臀av一区二区 | 国产专区在线 | 国产黄色在线 | 久久久精品一区二区三区 | 99精品福利视频 | 亚洲日韩欧美一区二区在线 | 一级特黄aaa大片在线观看 | a天堂中文在线 | free,性欧美 九九交易行官网 | 午夜在线观看 | 欧美有色| 国产精品精品久久久久久 | 一区二区三区不卡在线 | 1024手机看片国产 | 黄污视频网站 | 日韩高清无线码2023 | 激情综合色播五月 | 国产成人免费网站 | 久久成人国产精品 | 四虎永久精品在线 | 精品在线播放视频 | 国产精品精品久久久久久 | 91av九色| 亚洲乱码久久 | 九九九电影免费看 | 亚洲精品视频在线播放 | 国产日韩视频在线播放 | 日韩精品一区二区三区不卡 | 五月花激情 | 午夜在线免费视频 | 国产综合片 | 日韩美视频 | 国产精品久久99综合免费观看尤物 | 久久久久亚洲精品中文字幕 | 国产精品午夜久久久久久99热 | 精品久久久久久国产91 | 日韩一区在线免费观看 | 午夜久久福利影院 | 欧美成人手机版 | 久久亚洲综合国产精品99麻豆的功能介绍 | 久久精品一二三区 | 综合婷婷丁香 | 成年人视频在线免费 | 人人爽人人干 | 欧美精品九九99久久 | 欧美孕妇与黑人孕交 | 新av在线| 欧美大片www | 国精产品999国精产品岳 | 国产高清日韩欧美 | 曰本三级在线 | 91免费国产在线观看 | 国产 色| 美女性爽视频国产免费app | 在线免费黄色 | 欧洲亚洲激情 | 99视频精品全部免费 在线 | 精品1区二区 | 夜夜爽www | 亚洲 欧洲 国产 精品 | 午夜视频免费在线观看 | 91女神的呻吟细腰翘臀美女 | 久色婷婷 | 日韩av中文在线观看 | 九九视频这里只有精品 | 婷婷精品国产欧美精品亚洲人人爽 | 国产视频18 | 毛片网免费 | 亚洲一区二区精品 | 黄色三级在线看 | 久精品视频在线观看 | 91麻豆免费看 | 最近2019中文免费高清视频观看www99 | 日韩久久久久久久 | 黄色免费av | 亚洲一区 影院 | 伊人色**天天综合婷婷 | 黄色视屏av | 九九精品视频在线观看 | 中文字幕欧美日韩va免费视频 | 久久久久久久久电影 | 新av在线 | 在线观看的av | 亚洲国产中文字幕在线 | 国产理论一区二区三区 | 国产免费亚洲高清 | 国产精品久久久网站 | 人人dvd| 精品美女久久久久久免费 | 国产小视频在线播放 | 一区二区三高清 | 九九在线高清精品视频 | 日韩和的一区二在线 | 福利久久| 国产精品国产亚洲精品看不卡 | 久久你懂得 | 亚洲第一区在线观看 | 天天爱天天操天天爽 | 国产一区欧美二区 | 久久神马影院 | 免费色视频网站 | 国产色网| 亚洲免费在线 | 丁香婷婷色 | 激情网站五月天 | 国产精品日韩在线播放 | 91在线观看欧美日韩 | 久久亚洲福利视频 | 天天操狠狠操网站 | 色永久免费视频 | 亚洲精品乱码白浆高清久久久久久 | 欧美一级视频免费看 | 免费视频久久久 | 精品国产成人 | 黄色免费观看网址 | 天天干天天爽 | 国产色拍 | 日韩3区 | 91av欧美 | 中文在线 | 日韩视频免费 | 波多野结衣一区二区三区中文字幕 | 久久1电影院 | 日韩视频一二三区 | 久久精品国产亚洲aⅴ | 天天做日日做天天爽视频免费 | 色噜噜狠狠狠狠色综合 | 日韩免费专区 | 天天色天天综合网 | 中国一 片免费观看 | 四虎在线观看视频 | 久久人人爽爽 | www.伊人色.com | 日韩欧美精品在线视频 | 国产精品久久久久久久99 | 日韩黄色免费在线观看 | 成人毛片在线观看 | 国产中文字幕三区 | 久久久av免费 | 97免费在线观看视频 | 午夜视频免费在线观看 | 成人免费视频a | 精品一区二区亚洲 | 久久综合九色综合久久久精品综合 | 亚洲一级二级三级 | 国产盗摄精品一区二区 | 国产精品一区在线观看 | 中文字幕一区二区三区乱码在线 | 丁香婷婷网 | 美女免费视频观看网站 | 91影视成人 | av在线电影播放 | 97在线免费观看视频 | 久久手机视频 | 美女黄视频免费看 | 麻豆视频大全 | 久久香蕉电影网 | www夜夜操| 99免费| 久久精品观看 | 国产一区二区精品91 | 9在线观看免费高清完整 | 久草在线综合 | 日韩精品视频免费专区在线播放 | 天天爽天天做 | 韩日精品视频 | 99久久婷婷国产精品综合 | 日韩电影一区二区在线观看 | 亚洲1区 在线 | 国内精品久久久久影院优 | 国产91在线 | 美洲 | 国产剧情在线一区 | 欧美亚洲xxx| www.久久视频 | 日本中文字幕视频 | 波多野结衣在线视频免费观看 | 国产精品99久久久久久大便 | 久久99九九99精品 | 日b视频国产| 国产一级淫片免费看 | 99精品久久精品一区二区 | 欧美另类交在线观看 | 日韩乱色精品一区二区 | 特黄色大片 | 亚洲a色 | 在线播放日韩av | 日韩精品一区二区三区在线视频 | 午夜丁香视频在线观看 | av资源网在线播放 | 手机色站 | 久久免费看毛片 | 午夜精品一区二区三区免费 | 少妇性色午夜淫片aaaze | 91人人在线 | 国产尤物视频在线 | 亚洲视频h | 成年人电影免费看 | 久久亚洲私人国产精品 | 欧美日韩成人 | 久久久久国产精品视频 | 999毛片| 在线网站黄 | 久久久久久久综合色一本 | 成人91在线 | 成人黄色免费在线观看 | 天堂网一区二区三区 | 精品免费一区二区三区 | 久久影视网 | 国产色影院| 久久精品99| 色噜噜在线观看 | 操操综合 | 久久99精品波多结衣一区 | 婷婷中文字幕综合 | 国产一区二区网址 | 永久免费看av | 日韩在线观看中文字幕 | 黄色成人免费电影 | 日本精品一区二区三区在线播放视频 | 天天操天天干天天综合网 | 国产精品6 | 在线 视频 亚洲 | 免费久久久久久 | 国产精品免费视频久久久 | 日本中文一级片 | 欧美十八| 日日爱999| 久久久网页| 久草视频在线免费 | 开心婷婷色 | 日韩欧美网址 | 亚洲精品欧美专区 | 国产a级精品 | 美女免费视频网站 | 日日草视频 | 丁香花在线视频观看免费 | 国产高清av免费在线观看 | 久久视频在线观看 | 午夜视频黄 | av线上免费看| 日韩中文三级 | 日韩中文字幕免费在线观看 | 色婷婷综合久久久久 | 国产黄色免费 | 亚洲国产精品va在线看 | 婷婷丁香国产 | 丁香五月亚洲综合在线 | 在线观看激情av | 超碰在线94| 日韩欧美在线综合网 | 国产九色在线播放九色 | 色婷婷国产精品一区在线观看 | 中文字幕资源在线观看 | 成人久久久久久久久 | 91免费的视频在线播放 | 麻豆免费视频网站 | 久久久精品网站 | 亚洲午夜久久久影院 | 国产资源精品 | 丝袜美腿一区 | 国产精品av免费在线观看 | 成人h电影在线观看 | 婷婷在线看| 国产精品久久久久久久久久久免费看 | av电影中文字幕在线观看 | av在线免费播放网站 | av三级av| 狠狠综合 | 麻豆高清免费国产一区 | 五月色婷 | 九九九在线观看 | 888av| 日本久久免费视频 | 香蕉在线观看 | 精品国产电影一区二区 | 欧美日韩精品在线一区二区 | 在线免费观看视频一区二区三区 | 久久免费视频观看 | 黄色91在线| 国产精品s色 | 日韩av黄 | 97香蕉久久国产在线观看 | 免费在线观看污网站 | 亚洲国产精品电影在线观看 | 日本中文字幕免费观看 | 丁香视频在线观看 | 五月婷婷播播 | 欧美日韩国产在线一区 | av福利在线免费观看 | 国产原创av片 | 午夜精品久久久久久久99婷婷 | 天天在线免费视频 | 一区二区三区免费在线观看视频 | 亚洲综合欧美激情 | 亚洲精品视 | 国产精品一区二区三区在线播放 | 久久久久黄| 久久久影院一区二区三区 | 人人舔人人舔 | 成人av一二三区 | 国产亚洲va综合人人澡精品 | 亚洲高清久久久 | av不卡在线看 | 丝袜护士aⅴ在线白丝护士 天天综合精品 | 91精品免费 | 国产欧美最新羞羞视频在线观看 | 黄色av免费 | 成年人在线观看视频免费 | 亚洲国产无 | 国产精品乱码久久久久 | 97在线成人 | 免费a v网站| 一区二区三区高清在线 | 色综合a| 99精品热 | 亚洲精品中文字幕视频 | 青青视频一区 | 国产成人精品久久亚洲高清不卡 | 欧美aaa大片| 国产一区二区三区高清播放 | 久久精品伊人 | 在线涩涩| 国内精品久久久久久久久久久 | av性网站| 国产精品专区h在线观看 | 亚洲日日夜夜 | av免费试看| www.色国产| 精品99在线视频 | 久久高清 | 国产资源网 | 中文字幕第 | 日韩欧美视频一区二区 | 国产一区私人高清影院 | 国产一区二区成人 | 日韩精品一区二区免费视频 | 91在线看黄| 日韩高清dvd | 人人干人人做 | a级一a一级在线观看 | 色综合婷婷 | 国产综合久久 | 97国产在线播放 | 国产99精品在线观看 | 91精品国产高清自在线观看 | 最新国产福利 | 国产精品黑丝在线观看 | 最近日本韩国中文字幕 | 日韩av电影中文字幕在线观看 | 三上悠亚一区二区在线观看 | 黄在线免费看 | 91女子私密保健养生少妇 | 欧美成人亚洲成人 | 涩涩网站在线观看 | 国内精品视频一区二区三区八戒 | 97超碰在线人人 | 国内精品久久久久影院一蜜桃 | 日韩一级电影在线观看 | 成年人免费观看在线视频 | 综合av在线 | 五月天av在线 | 国产视频日本 | 91视频免费网站 | 免费观看性生交大片3 | 久久天天躁狠狠躁亚洲综合公司 | 国产精品一区二区精品视频免费看 | 国产色妞影院wwwxxx | 黄色成人在线 | va视频在线 | 精品国模一区二区三区 | 九九久久婷婷 | 黄色特一级 | 九草视频在线 | 六月婷操 | 国产色视频网站 | 久久久久久久久久毛片 | 国产高清一| 日韩美在线 | 亚洲高清在线 | 国产高清中文字幕 | 日本bbbb摸bbbb | 99热9| 91九色精品国产 | 欧美激情综合五月色丁香 | 久久精品国产亚洲 | 天天干,天天射,天天操,天天摸 | 色在线网站| 欧美日本啪啪无遮挡网站 | 午夜精品影院 | 国产精品一区欧美 | av国产在线观看 | 97人人看| 国产午夜在线观看 | 最新国产视频 | 亚洲综合精品在线 | 亚洲久草在线 | 一区二区三区污 | 亚洲精品国产精品久久99 | 激情综合网五月 | av一级黄| 中文字幕一区二区三区在线观看 | 欧美精品久久久久久 | 国产精品久久久久久久久久ktv | 日韩中文字幕国产 | 有码视频在线观看 | 亚州精品一二三区 | 久久只精品99品免费久23小说 | 久草综合在线 | 国产永久免费观看 | 丝袜+亚洲+另类+欧美+变态 | 日韩夜夜爽 | 97视频免费在线看 | 国产福利资源 | 99九九免费视频 | 亚洲精品视频中文字幕 | 欧美一二三区播放 | 国产精品久久久av | 色婷婷亚洲 | 91最新在线视频 | av日韩精品 | 一区二区三区免费网站 | 蜜臀久久99精品久久久无需会员 | 在线精品播放 | 国产一级免费播放 | 色综合天天狠天天透天天伊人 | 久久九九影视 | 99久久精品国 | 久艹视频在线免费观看 | 国产精品伦一区二区三区视频 | 午夜久久影视 | 成人小视频在线免费观看 | 欧美激情综合色综合啪啪五月 | 久久久久99精品成人片三人毛片 | 欧美日韩调教 | 国产精品久久久久久爽爽爽 | 亚洲视频一 | 国产99久久九九精品 | 日韩av午夜在线观看 | 热久久免费国产视频 | 在线观看完整版 | 缴情综合网五月天 | 成人午夜剧场在线观看 | 九九热在线观看视频 | 国产在线欧美日韩 | 国产精品99在线播放 | 成人av播放 | 成年人天堂com | 国产精品免费久久久久久久久久中文 | 麻豆国产精品va在线观看不卡 | 欧美日韩成人 | 最近中文字幕免费视频 | 香蕉影院在线 | 丁香婷婷色月天 | 国产中文字幕网 | 免费观看黄色12片一级视频 | 在线色亚洲 | 91在线九色 | 成人久久久电影 | 久操视频在线免费看 | 日韩av手机在线看 | 日日夜夜国产 | 区一区二区三区中文字幕 | 久久精品日本啪啪涩涩 | 人人草人| 久久精品国产免费看久久精品 | 人人爱在线视频 | 国产精品理论片在线播放 | 精品久久毛片 | 狠狠狠狠狠色综合 | 亚洲免费成人 | 亚洲电影第一页av | 日韩av偷拍 | 国产69精品久久久久9999apgf | 欧美黑人性爽 | 中文字幕免费高清在线 | 精品视频免费播放 | 免费久草视频 | 成人av在线网址 | 在线色视频小说 | 成 人 黄 色 视频 免费观看 | 在线观看视频免费播放 | 青草视频在线 | 狠狠色丁香婷婷综合最新地址 | 久久久精品欧美 | 国内久久 | 在线视频免费观看 | 麻豆超碰| 91精品婷婷国产综合久久蝌蚪 | 午夜精品三区 | 久久草网| 婷婷丁香色综合狠狠色 | 热久久国产精品 | 免费av福利 | 久久99精品久久久久久秒播蜜臀 | 最近2019好看的中文字幕免费 | 欧美激情亚洲综合 | 久久丁香 | 国产精品日韩欧美一区二区 | 超碰人人草 | 日韩在线视频国产 | 夜夜爽88888免费视频4848 | 亚洲黄色片一级 | 久久免费99精品久久久久久 | 亚洲女在线 | 欧美色插 | 懂色av一区二区三区蜜臀 | 黄色软件网站在线观看 | 香蕉色综合 | 日韩乱码中文字幕 | 色噜噜狠狠狠狠色综合 | 精品国产精品久久一区免费式 | 国产成人一区二区三区影院在线 | 国产精品1区2区3区在线观看 | zzijzzij亚洲日本少妇熟睡 | 色综合久久五月天 | 91在线免费视频 | 免费在线观看视频a | 激情五月看片 | 国产免费人人看 | 欧美精品被 | 婷婷综合视频 | 国产精品破处视频 | 免费观看的黄色片 | 丁香电影小说免费视频观看 | 日韩一区二区免费在线观看 | 亚洲综合小说电影qvod | 四虎www.| 亚洲日本va中文字幕 | 在线观看日韩中文字幕 | 亚洲电影院 | 欧美激情视频一区二区三区免费 | 日韩经典一区二区三区 | 国产无套精品久久久久久 | www.91av在线 | 天天做日日做天天爽视频免费 | 成人精品电影 | 特级片免费看 | 国产精品亚州 | 久久人人爽人人爽人人片av软件 | 日韩免费看片 | 国产精品第二十页 | 久久精品国产第一区二区三区 | 日韩av在线高清 | 国产三级在线播放 | 日韩精品在线看 | a级国产毛片 | 91香蕉视频黄色 | 国产一区欧美日韩 | 最近的中文字幕大全免费版 | 成 人 黄 色 免费播放 | 五月天激情婷婷 | 久久高清毛片 | 免费观看视频黄 | 国产精品v a免费视频 | 免费黄色在线播放 | 91在线中文| 久久99精品国产麻豆宅宅 | 在线国产福利 | 国产精品1区2区 | 麻豆一精品传二传媒短视频 | 五月婷婷视频在线观看 | 91精品免费在线 | 日韩精品一区二区在线 | 久久99热久久99精品 | 高清视频一区二区三区 | 少妇性aaaaaaaaa视频 | 亚洲日本va午夜在线电影 | 天天综合入口 | 中文字幕在线看视频国产中文版 | 久久精品国产一区二区三 | 亚洲精品欧美成人 | 婷婷干五月 | 日韩mv欧美mv国产精品 | 欧美国产日韩在线视频 | 欧美精品久久久久久 | 日韩av电影网站在线观看 | 国产精品久久久久aaaa九色 | 在线观看亚洲精品视频 | 九九在线高清精品视频 | 日日摸日日添夜夜爽97 | 日韩成人精品在线观看 | av免费电影在线 | av色综合网 | 九九久 | 国产三级国产精品国产专区50 | 日韩高清av | 国产视频在线观看免费 | 欧美成人免费在线 | 91污污视频在线观看 | 最新中文字幕在线播放 | 国产日韩欧美精品在线观看 | 国产在线色视频 | 丝袜美腿亚洲综合 | 国产 日韩 在线 亚洲 字幕 中文 | 午夜精选视频 | 亚洲片在线观看 | 婷婷丁香社区 | 五月开心激情 | 婷婷精品在线视频 | 中文字幕精品一区久久久久 | 黄色app网站在线观看 | av不卡在线看 | 久久久久久蜜桃一区二区 | 99精品一级欧美片免费播放 | 99视频在线免费 | 五月婷婷狠狠 | 午夜精品久久久久久99热明星 | 99精品国产免费久久 | 福利片视频区 | 在线婷婷 | 国产中文字幕视频在线观看 | 青青河边草免费直播 | 欧美一区二区三区在线 | 成人av资源站 | 亚洲欧洲精品在线 | 国产天天综合 | 丁香高清视频在线看看 | 综合久久久久久 | 中文字幕观看av | 欧美天堂影院 | 免费网站在线观看人 | 黄色亚洲大片免费在线观看 | 久久久久久久久久久免费av | 国产在线资源 | 日韩高清在线一区二区三区 | 日韩一级片大全 | 成人国产综合 | 国产亚洲综合在线 | 91午夜精品 | 激情综合色图 | 亚洲欧美观看 | 国产精品久久久久久久久搜平片 | 国产色综合 | 国产一区高清在线 | 国产69精品久久久久久久久久 | av中文电影 | 日本成人中文字幕在线观看 | 99re国产| 成年人在线免费看视频 | 一区二区三区动漫 | 超碰在线99 | 九九精品在线观看 | 91av在线视频播放 | 国产精品久久久久久久午夜 | 综合网av| 亚洲免费专区 | 99免费在线观看视频 | 亚洲精品国产高清 | 激情网在线观看 | www激情网| 国产无套一区二区三区久久 | 精品国产视频在线观看 | 久久黄色免费 | 欧美做受高潮电影o | 波多野结衣一区二区三区中文字幕 | 久精品视频免费观看2 | 伊人电影在线观看 | 亚洲精品一区中文字幕乱码 | 一区二区三区韩国免费中文网站 | 中文字幕亚洲情99在线 | 激情喷水 | 亚洲精品毛片一级91精品 | 一级一片免费看 | 久久久久久国产一区二区三区 | 亚洲视频久久久久 | 日本久久久久久久久久久 | 在线欧美小视频 | 在线你懂的视频 | 6080yy午夜一二三区久久 | 国产亚洲一区 | 日韩久久久久久久久久久久 | 91手机视频 | 香蕉视频国产在线观看 |