日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > windows >内容正文

windows

在服务器上一按l键自动退出,利用 SysRq 键排除和诊断系统故障

發布時間:2023/12/20 windows 53 豆豆
生活随笔 收集整理的這篇文章主要介紹了 在服务器上一按l键自动退出,利用 SysRq 键排除和诊断系统故障 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

文章源自:http://www.ibm.com/developerworks/cn/linux/l-cn-sysrq/

SysRq 是什么

你是否遇到服務器不能通過 SSH 登錄,也不能通過本地終端登錄,但是卻能 ping 通,數字鍵盤鎖還可以響應擊鍵操作的情況?在這種情況下,你除了按下電源或復位鍵之外,還做過什么嗎?你是否想過這種情況是可能恢復的呢?你是否想過收集更多的信息來定位這次系統掛起的原因呢?上述情況,可稱之為“可中斷的系統掛起”。換句話來講,系統因為某種原因已經停止對大部分正常服務的響應,但是系統仍然可以響應鍵盤的按鍵中斷請求。在這種情況下,一組稱為 SysRq 的按鍵組合將發揮它的神奇作用。

SysRq 經常被稱為 Magic System Request,它被定義為一系列按鍵組合。之所以說它神奇,是因為它在系統掛起,大多數服務已無法響應的情況下,還能通過按鍵組合來完成一系列預先定義的系統操作。通過它,不但可以在保證磁盤數據安全的情況下重啟一臺掛起的服務器,避免數據丟失和重啟后長時間的文件系統檢查,還可以收集包括系統內存使用,CPU 任務處理,進程運行狀態等系統運行信息,甚至還可能在無需重啟的情況下挽回一臺已經停止響應的服務器。

啟用 SysRq

內核的支持

要啟用 SysRq 功能,首先必須確保內核已經加入 CONFIG_MAGIC_SYSRQ 支持。在現今 Linux 發行版中,無一例外的均已加入該功能的支持,驗證如下:

# grep “ CONFIG_MAGIC_SYSRQ ” /boot/config-`uname – r`

CONFIG_MAGIC_SYSRQ=y

通過 sysctl 啟用

SysRq 功能默認在 RHEL5u2 上是禁用的。可以通過 proc 文件系統來啟用它。使用 sysctl 命令啟用它,并通過 /proc 來檢查其可用性。

# sysctl -w kernel.sysrq=1

kernel.sysrq = 1

# cat /proc/sys/kernel/sysrq

1

kernel.sysrq 還可接受除 0 和 1 以外的啟用參數,詳情請參考 sysrq 內核文檔。

保持重啟后生效

通過把” kernel.sysrq = 1 ”設置到 /etc/sysctl.conf 中,可以使 SysRq 在下次系統重啟后仍然生效。請注意,在非 RHEL 系統中,也許需要通過其它的配置文件來使之重啟后生效。

使用 SysRq

網上有道題,問在 shell,init、halt、shutdown 等命令都不工作的情況下如何重啟系統。答案就是 SysRq,通過 SysRq – B 來完成系統的重啟。

早期的 SysRq 只支持鍵盤操作。要使用 SysRq,必須直接對主機進行鍵盤操作。要想執行 SysRq-B 來重啟系統,只能通過直接鍵盤操作 Alt – SysRq – B 來完成(這里的 B 僅指 B 按鍵,不區分大小寫)。 kernel 2.5.64 上的一個 patch 增加了 /proc/sysrq-trigger 接口,使得用戶可能通過 /proc 接口來進行 SysRq 操作,換而言之,在現今大部分構建在 2.6 內核上的發行版,對主機鍵盤的物理接觸已經不再是 SysRq 的必要條件。用戶只需要登錄到系統上,就可以直接使用echo “ b ” > /proc/sysrq-trigger 來重啟系統。在下文中,為描述的簡潔,SysRq-> 均代表 Alt-SysRq-> 或者 echo “ ? ” > /proc/sysrq-trigger 。

眾所周知,系統掛起的很多時候 ssh 登錄也未必響應,在缺乏對主機物理操作條件下,/proc/sysrq-trigger 也因為無法獲取登錄 shell 而無法操作。于是出現了一個名為 sysrqd 的開源項目,它允許通過網絡來直接來觸發 SysRq 。該程序只有 300 行左右代碼,監聽 TCP 端口 4094,通過自定義密碼驗證過后,即可對 /proc/sysrq-trigger 進行操作。但是由于此程序在用戶空間實現,在系統掛起時該程序的可用性,以及其安全性均受到廣泛質疑。其實如果這個服務做到內核空間,以類似響應 ARP 形式進行處理,再加上合理的認證方式,或許在大多數系統掛起的時候可以起到更加實際的作用。當然,在現代服務器的遠程管理模塊日趨先進的前提下,是否能通過網絡來觸發 SysRq 好像并不是那么重要。

查看 SysRq 輸出

SysRq 并不只能重啟服務器,如果只是這樣,那我們也不需要查看它的輸出了。很多時候,我們使用 SysRq 是為了查看服務器的 CPU,內存或進程信息。 SysRq 默認會輸出到本地控制臺終端,并寫入 syslog,但這并不是個好主意。因為對于大多數系統掛起的情況,我們已經無法再訪問這兩個信息源,在無法判定系統故障的情況下,只好無奈的使用后面即將介紹的 R-E-I-S-U-B 序列來重啟服務器。接下來將介紹 SysRq 輸出的幾種方法。只有最大程度的獲取到 SysRq 輸出,才能更好的利用 SysRq 提供的其它功能。

輸出到本地終端

SysRq 默認會根據 console_loglevel 輸出到本地終端。只要 console_loglevel 大于 default_message_loglevel,SysRq 信息就會輸出到本地控制臺終端。它在測試的時候都好用,但一到關鍵時刻,系統掛起無法切換,大量輸出造成滾屏,以及信息無法記錄等問題隨之而來。

輸出到 syslog

根據 syslog 的默認配置,SysRq 默認會記錄到 /var/log/messages,并且這里記錄的信息與 console_loglevel 無關,基本是完整的。但是由于負責記錄日志的 syslogd 本身也是一個用戶進程,在執行后面即將介紹的 SysRq-E, SysRq-I 時也會被終結,這就意味著 syslog 記錄的信息在一定情況下將不再完整。同時由于系統掛起時查看 syslog 日志本身就是一件難上加難的事,這里記錄的信息往往只能用在系統恢復過后的故障分析,對故障發生時的實時診斷并沒有太大的幫助。

通過 netconsole 輸出

利用 netconsole 功能,可以獲得一個通過遠程 syslog 服務器輸出的顯示終端,服務器的 SysRq 輸出將被遠程的 syslog 服務器捕獲。在服務器掛起,無法查看 syslog 日志,同時也無法切換到本地控制臺終端的時候,這種形式的輸出就顯得舉足輕重。與本地終端類似,只要 console_loglevel 大于 default_message_loglevel,SysRq 信息就會通過 netconsole 輸出到遠程。它在大多數情況都生效,哪怕是內核網絡部分出現問題。因為 netconsole 的網絡發送部分是獨立存在的,并不依賴于網卡驅動程序。

輸出到串口終端

要想通過串口獲取 SysRq 輸出,首先需要在 grub 的 kernel 行添加類似 ” console=ttyS0,115200 ” 的串口輸出配置,重啟服務器以啟用內核串口輸出。然后從另一臺主機上用串口線連接服務器,并用 minicom 等程序捕獲其輸出。這是一種通常的使用方式。然而利用 Serial over IP 產品,管理員無需現身嘈雜的機房就能通過網絡獲得服務器的串口輸出,查看并截取字符形式的輸出。這是相對現代的使用方式。通過這兩種方式,我們都可以方便的獲取到 SysRq 在串口上輸出。

SysRq 功能鍵組合

安全重啟系統

到目前為止,我們可見到的大多數 SysRq 推薦用法都是系統掛起后的安全重啟,用此方法來避免數據丟失。這個 SysRq 序列是 R-E-I-S-U-B 。要知道,該序列早在 SysRq 首次于 Linux 實現的 2.1.43 內核中就存在了。它基本等價于 reboot 命令,會依次停止系統上運行的進程,回寫磁盤緩沖區,再安全的重啟系統。需要注意的是,E 會向除 init 以外所有進程發送可捕獲的 SIGTERM 信號,這就意味著程序可能需要一定時間來進行結束進程前的善后處理,視系統負載和任務數量,這個時間可能會達到幾十秒。 I 發送的是不可捕獲的 SIGKILL 信號,相對而言沒有更多的延遲。同時,S 和 U 這兩個動作均與磁盤相關。當系統具有一定負載時,這兩個動作均不會立即完成,而是需要一定的時間,通常為幾秒鐘。所以,R-E-I-S-U-B 這個序列的推薦使用方式是:R – 1 秒 – E – 30 秒 – I – 10 秒 – S – 5 秒 – U – 5 秒 – B,而不是一氣呵成地按下這六個鍵,試想一次正常的 reboot 命令也不是在一瞬間完成的吧。

下面列出各個序列的示例輸出及簡單說明:

R - 把鍵盤設置為 ASCII 模式

SysRq: Keyboard mode set to XLATE

有關鍵盤工作模式,請參考資料中的??手冊。

E - 向除 init 以外所有進程發送 SIGTERM 信號

SysRq: Terminate All Tasks

因為 syslogd 本身也被結束,所以 SysRq 也許不會被記錄下來。但是查看 /var/log/messages 會看到類似下面的消息:

exiting on signal 15(SIGTERM)

I - 向除 init 以外所有進程發送 SIGKILL 信號

SysRq: Kill All Tasks

與 E 類似,因為 syslogd 本身也被結束,除非 netconsole 或串口記錄已打開,否則連上面的信息都無法捕捉。同時,因為 SIGKILL 是不可捕獲的信號,/var/log/messages 里面也不會留下任何線索。

S - 磁盤緩沖區同步

SysRq : Emergency Sync

Emergency Sync complete

該操作會把磁盤緩沖區的數據回寫,以防止數據丟失,通常會有一定延時。在能看到輸出的情況下,請等到 ” Emergency Sync complete ” 過后再繼續后續操作。否則,等十秒鐘左右,再進行后續 SysRq 操作。

U - 重新掛載為只讀模式

SysRq : Emergency Remount R/O

Emergency Remount complete

該操作會把磁盤重掛載為只讀模式,以防止數據的損壞。與 S 類似,該操作通常也有一定延時。請等到 ” Emergency Remount complete ” 出現過后再進行后續操作,或者等候十秒鐘再進行后續 SysRq 操作。

B - 立即重啟系統

SysRq: Resetting

該操作會立即重啟系統,比想象中要快。

恢復系統掛起

僅從系統掛起后安全重啟來看,R-E-I-S-U-B 序列似乎已經令人滿意了。但對于一些掛起,只是因為一部分進程消耗過多 CPU,內存等系統資源引起的。對于這樣的情形,可以通過結束“兇手”進程來恢復已經掛起的系統。

筆者曾親歷 Acrobat Reader 在 Firefox 中內存泄露引起的系統掛起。每在 Firefox 中瀏覽完成一個 PDF 后,acroread 進程不會退出,相反其內存使用量逐步攀升,在一段時間內消耗完系統的內存和 swap,系統持續 swapping,使系統進入掛起狀態,不響應桌面,鼠標,以及所有的應用程序。

筆者還經歷一例屏保程序引起的系統掛起。鎖定一段時間后,鍵盤鼠標停止響應,無法切換到本地控制臺,遠程登錄正常,查看內存使用正常,CPU 被屏保程序吃盡。

SysRq 定義了一組與結束進程相關的序列:E-I-K-F,我們可以用它們來恢復系統掛起。

E 和 I 已經介紹過,他們都會結束除 init 以外的所有進程,理所當然都可以恢復類似的系統掛起。筆者在早期也是這樣做的。但是這種方法似乎過于暴力,恢復過后的系統基本上除了 uptime 是連續的,數據未損壞以外,余下的狀態并不比重啟一次系統好。因為所有的服務都已中止,還需手工干預才能恢復正常。筆者的經驗,經過 E-I 恢復的系統,如不是時間緊迫,即使系統已經恢復響應,最好繼續完成 S-U-B 操作。因為對于一些復雜業務系統,難免因為人為因素造成某些服務忘記啟動而埋下日后的定時炸彈。

K 和 F 正是它們的補充。它們僅結束符合特定條件的進程。 K 只結束與當前控制臺相關的進程組。 K 代表 saK,saK 的全稱為 Secure Access Key 。從字面意思看似乎有些深奧,它的本意是出于安全考慮,為了殺掉類似木馬一類套取密碼的偽登錄程序,讓 init 重新啟動正在的 getty 登錄界面。但在實際應用過程中,特別在 X 窗口下某些程序內存泄露或其它異常行為引起系統掛起時,就像上面兩個例子,可以相當準確而快捷的使系統恢復正常。在理解 SysRq-K 之前,筆者曾一度使用 SysRq-E 來解決問題,但隨之而來的系統服務恢復則成了一大難題。 F 則利用 OOM-Killer 選取一個進程然后結束之。這對于內存問題引起的掛起可以起到比 SysRq-K 更加準確的作用。但是有些時候 OOMKiller 也會誤判而殺掉一些長時間運行的后臺服務,引起一些不必要的麻煩。

下面列出各個序列的示例輸出及簡單說明:

E - 向所有進程發送 SIGTERM 信號

SysRq: Terminate All Tasks

I - 向所有進程發送 SIGKILL 信號

SysRq: Kill All Tasks

K - 結束與當前控制臺相關的全部進程

SysRq : SAK

SAK: killed process 7254 (top): p->signal->session==tty->session

SAK: killed process 7223 (bash): p->signal->session==tty->session

該操作結束了文本控制臺下正在運行的 top 程序,以及登錄的 shell 。

F - 人為觸發 OOM Killer

SysRq : Manual OOM execution

events/0 invoked oom-killer: gfp_mask=0xd0, order=0, oomkilladj=0

[] out_of_memory+0x72/0x1a5

[] moom_callback+0x13/0x15

[] run_workqueue+0x78/0xb5

[] moom_callback+0x0/0x15

[] worker_thread+0xd9/0x10b

[] default_wake_function+0x0/0xc

[] worker_thread+0x0/0x10b

[] kthread+0xc0/0xeb

[] kthread+0x0/0xeb

[] kernel_thread_helper+0x7/0x10

=======================

Mem-info:

…… (snip) ……

Out of memory: Killed process 4860 (xfs).

該操作人為觸發 OOM Killer,OOM Killer 將根據各進程的內存處理情況選取最合適的“兇手”進程,并向其發送 SIGKILL 信號,中止其運行。 SysRq 輸出包括運行棧,內存使用信息,和“兇手”進程的標識信息。在此例中 PID 為 4860 的 xfs 進程被中止。在實際情況中,除非可以確認是內存使用問題,盡量避免使用這個組合鍵。因為 OOM-Killer 自動挑選的進程不一定是真正的“兇手”。相比之下,SysRq-K 結束的進程更有針對性,特別是對 X 桌面下程序引起的系統掛起。由于桌面下啟動的程序多數為非關鍵應用,結束并重啟它們在大多數情況下并不會對系統造成太多影響。

考慮篇幅關系,省略了內存情況的輸出,因為這部分與 SysRq-M 輸出一致。

獲取系統信息

SysRq 提供了 M-P-T-W 序列,在恢復系統掛起之前,這是一個推薦執行的序列。它會記錄下當前系統的內存使用情況,當前 CPU 寄存器的狀態,進程運行狀態,以及所有 CPU 及寄存器的狀態。通過這些信息,可以對掛起的原因做粗略的分析,然后結合之前介紹的 E-I-K-F 序列對癥下藥進行恢復性操作,或許還可以即時恢復一部分已經掛起的系統,而不是每遇到系統掛起就盲目的按電源,或機械地操作 R-E-I-S-U-B 序列。就算不能找到原因并成功恢復,也將會為以后的故障分析留下寶貴的證據。要知道,能通過 syslog 找出原因的系統掛起少之又少。

下面列出各個序列的示例輸出及簡單說明:

M - 打印內存使用信息

SysRq : Show Memory

Mem-info:

DMA per-cpu:

cpu 0 hot: high 0, batch 1 used:0

cpu 0 cold: high 0, batch 1 used:0

DMA32 per-cpu: empty

Normal per-cpu:

cpu 0 hot: high 186, batch 31 used:12

cpu 0 cold: high 62, batch 15 used:13

HighMem per-cpu: empty

Free pages: 94460kB (0kB HighMem)

Active:34941 inactive:64962 dirty:1 writeback: 0 unstable:0 free:23615 slab:3755

mapped-file:2075 mapped-anon:7412 pagetables:3 26

DMA free:12016kB min:88kB low:108kB high:132kB active:16kB inactive:0kB

present:16384kB pages_scanned:0 all_unreclaimable? no

lowmem_reserve[]: 0 0 496 496

DMA32 free:0kB min:0kB low:0kB high:0kB active :0kB inactive:0kB

present:0kB pages_scanned:0 all_unreclaimable? no

lowmem_reserve[]: 0 0 496 496

Normal free:82444kB min:2804kB low:3504kB high :4204kB active:139748kB

inactive:259848kB present:507904kB pages_scanned:0 all_u nreclaimable? no

lowmem_reserve[]: 0 0 0 0

HighMem free:0kB min:128kB low:128kB high:128k B active:0kB inactive:0kB

present:0kB pages_scanned:0 all_unreclaimable? no

lowmem_reserve[]: 0 0 0 0

DMA: 38*4kB 37*8kB 33*16kB 29*32kB 24*64kB 17* 128kB 9*256kB

4*512kB 0*1024kB 1*2048kB 0*4096kB = 12016kB

DMA32: empty

Normal: 1*4kB 1*8kB 124*16kB 110*32kB 54*64kB 52*128kB 103*256kB

31*512kB 20*1024kB 2*2048kB 0*4096kB = 82444kB

HighMem: empty

92491 pagecache pages

Swap cache: add 0, delete 0, find 0/0, race 0+ 0

Free swap = 1048568kB

Total swap = 1048568kB

Free swap: 1048568kB

131072 pages of RAM

0 pages of HIGHMEM

2263 reserved pages

26019 pages shared

0 pages swap cached

1 pages dirty

0 pages writeback

2075 pages mapped

3755 pages slab

326 pages pagetables

該操作顯示了 cpu 相關分區信息,全局頁使用情況,分區頁使用情況,分區 slab 使用情況,頁緩存使用情況,swap 使用情況等等。

P - 打印當前 CPU 寄存器信息

SysRq : Show Regs

Pid: 0, comm: swapper

EIP: 0060:[] CPU: 0

EIP is at __do_softirq+0x51/0xbb

EFLAGS: 00000286 Not tainted (2.6.18-92.el5 #1)

EAX: c0722380 EBX: 00000002 ECX: c072b000 EDX: 00ce1e00

ESI: c06ddb00 EDI: 0000000a EBP: 00000000 DS: 007b ES: 007b

CR0: 8005003b CR2: b7f85000 CR3: 14d6f000 CR4: 000006d0

[] do_softirq+0x52/0x9d

[] apic_timer_interrupt+0x1f/0x24

[] default_idle+0x0/0x59

[] default_idle+0x31/0x59

[] cpu_idle+0x9f/0xb9

[] start_kernel+0x379/0x380

=======================

該操作顯示了正在執行的進程名,運行函數,寄存器上下文,以及程序的調用棧回溯等信息。這對于分析死鎖引起的系統掛起有著非常重要的作用。一般來說我們會多采幾次重復樣本,以便更加準確的做出系統運行狀態的判斷。

T - 打印進程列表

SysRq : Show State

sibling

task PC pid father child younger older

…… (snip) ……

syslogd S 00003280 2104 4313 1 4316 4279 (NOTLB)

dfc1cb68 00000082 b9d5334a 00003280 dd931a70 dd931a70 e08e9376 00000007

dfc1eaa0 c06713c0 b9d85c35 00003280 000328eb 00000000 dfc1ebac c1404fe0

00000010 df4f79c0 df4bd53c c0457dc0 df6438f4 ffffffff 00000000 00000000

Call Trace:

[] ext3_mark_iloc_dirty+0x2d8/0x333 [ext3]

[] mempool_alloc+0x28/0xc9

[] schedule_timeout+0x13/0x8c

[] datagram_poll+0x15/0xb8

[] do_select+0x371/0x3cb

[] __pollwait+0x0/0xb2

…… (snip) ……

[] do_setitimer+0x4a6/0x4b0

[] sys_select+0xcf/0x180

[] syscall_call+0x7/0xb

=======================

klogd R running 2664 4316 1 4369 4313 (NOTLB)

該操作顯示了進程列表,包含各進程的名稱,進程 PID,父 PID 及兄弟 PID 等相關信息,以及進程的運行狀態。對于正在運行中的進程(R),沒有太多的信息。對于處于睡眠狀態的進程,列出其調用棧回溯信息,以便進行調試跟蹤。由于篇幅關系,去掉了大部分冗余的信息。

W - 打印 CPU 信息

SysRq : Show CPUs

CPU0:

c074be84 00000000 00000000 c053a1fa d23c0000 c0406531 c062ccf1 c0650e94

00000000 00000000 c053a221 c0641b83 00000000 c042a111 00000000 c068c630

00000001 00000077 c053a0cd 00000000 c053a14d c0640322 c0641d0f c06e7fa4

Call Trace:

[] showacpu+0x0/0x32

[] show_stack+0x20/0x25

[] showacpu+0x27/0x32

[] on_each_cpu+0x17/0x1f

[] sysrq_handle_showcpus+0x10/0x12

[] __handle_sysrq+0x7e/0xf6

[] handle_sysrq+0x10/0x12

[] kbd_event+0x2e0/0x507

[] input_event+0x3e6/0x407

[] atkbd_interrupt+0x3f5/0x4da

[] serio_interrupt+0x33/0x6a

[] i8042_interrupt+0x1dd/0x1ef

[] handle_IRQ_event+0x23/0x49

[] __do_IRQ+0x84/0xd6

[] do_IRQ+0x93/0xae

[] common_interrupt+0x1a/0x20

[] default_idle+0x0/0x59

[] default_idle+0x31/0x59

[] cpu_idle+0x9f/0xb9

[] start_kernel+0x379/0x380

=======================

CPU1:

c14a1f40 00000000 00000000 00000000 00000000 c0406531 c062ccf1 c0650e94

00000000 00000000 c053a221 c0641b83 00000001 c0417b4c 00000001 c040599b

00000001 c0403b98 c14a1000 00000000 00000000 00000000 00000000 0000007b

Call Trace:

[] show_stack+0x20/0x25

[] showacpu+0x27/0x32

[] smp_call_function_interrupt+0x39/0x52

[] call_function_interrupt+0x1f/0x24

[] default_idle+0x0/0x59

[] default_idle+0x31/0x59

[] cpu_idle+0x9f/0xb9

=======================

該操作顯示了每 CPU 的寄存器上下文和程序調用棧回溯信息。

其它功能鍵組合

H - 幫助

SysRq : HELP : loglevel0-8 reBoot Crashdump tErm Full kIll saK showMem

Nice powerOff showPc unRaw Sync showTasks Unmount shoWcpus

它顯示了當前系統支持的所有 SysRq 組合,所有的按鍵均用大寫字母表示。

0-8 - 更改 console_loglevel

SysRq : Changing Loglevel

Loglevel set to 6

上面是 SysRq-6 的輸出,它等同于 echo "6" > /proc/sys/kernel/printk 操作,將 console_loglevel 設置為 6 。

C - 觸發 Crashdump

SysRq : Trigger a crashdump

Kexec: Warning: crash image not loaded

Kernel panic - not syncing: SysRq-triggered panic!

在大多數情況下,我們通過前面的方法即可完成對系統掛起的基本診斷和數據收集。但是在一些特殊情況下,我們仍然需要一份完整的 crashdump 。畢竟 crashdump 包含比 SysRq – MPT 更多的信息,以利用后期做故障分析。

N - 降低實時任務運行優化級

SysRq : Nice All RT Tasks

這對于由實時任務消耗 CPU 引起的系統掛起會起到立竿見影的作用。

O - 關機

SysRq : Power Off

該操作會立即關機,一般很少使用。在必要的情況下,也推薦跟隨 S – U 一起使用。

結束語

SysRq 的處理機制可圈可點,它能夠在系統處于極端環境時響應按鍵并完成相應的處理。這在大多數時候有用,但也不是絕對的。一種情況是由于磁盤故障 syslogd 可能不再會往磁盤回寫 log,因此 SysRq 輸出將得不到記錄。即使配置了 netconsole,如果恰好是網絡相關功能出現錯誤時,也可能導致 SysRq 輸出不可記錄。相比之下,將服務器串口終端打開并用軟件記錄輸出的方式雖然原始,但也相對保險。無論如何,SysRq 已經在大多數情況下幫到大忙了。

筆者認為,SysRq 在處理系統掛起時安全重啟方面已經比較完善了。但是在提供故障診斷方面還有可待改進的地方。通過現有的 M-P-T 等信息,很難判斷每一次系統掛起的真正原因。現實世界的信息總是綜合多變的,如果能夠提供包括網絡 I/O,磁盤 I/O,進程的 CPU 及內存使用情況等等與性能方面的數據,雖然會產生一定的開銷,但對于系統掛起時的故障分析來講,是利大于弊的。

本文的下篇將講述如何擴展自定義的 SysRq 請求,以便在系統掛起時獲取更為豐富的診斷信息,通過這些信息來判斷系統掛起的原因,并快速準確的化解它們。

總結

以上是生活随笔為你收集整理的在服务器上一按l键自动退出,利用 SysRq 键排除和诊断系统故障的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

狠狠狠色丁香婷婷综合久久五月 | 亚洲一级国产 | 丁香五香天综合情 | 亚洲高清在线观看视频 | 国产大片免费久久 | 中文字幕一区在线 | 91视频麻豆视频 | 精品一区二区在线免费观看 | 久久激情小视频 | 亚洲区视频在线 | 国产一区二区三区免费在线观看 | 欧美天堂视频在线 | 99国产一区二区三精品乱码 | 欧美久久久久久久 | 五月婷婷香蕉 | 97色婷婷成人综合在线观看 | 五月婷婷六月丁香在线观看 | 国产手机在线视频 | 亚洲精品视频www | 色久综合 | 久草av在线播放 | 天天射天天 | 免费在线观看午夜视频 | 国产小视频你懂的在线 | 91超在线 | 国产一区二区三区免费视频 | 国内外成人在线 | 国产伦理久久 | 久久黄色成人 | 久草在线久 | 黄色国产在线观看 | 色橹橹欧美在线观看视频高清 | 尤物一区二区三区 | 久久第四色 | 日日操夜夜操狠狠操 | 91热视频在线观看 | 天天插综合网 | 精品久久久久一区二区国产 | 国产91九色视频 | 午夜电影 电影 | 啪啪动态视频 | 欧美成人tv | 日本公妇在线观看高清 | 99re中文字幕 | 精品久久久久久国产 | 在线视频欧美精品 | 九色精品在线 | 天天干,天天操 | 婷婷色社区 | 制服丝袜一区二区 | 福利一区二区在线 | 一区二区三区免费网站 | 中文字幕高清在线 | 一区二区三区免费 | 国产精品久久久久久久久久久久午 | 丁香婷婷综合激情 | 丁香婷婷深情五月亚洲 | 久久毛片视频 | 久久久香蕉视频 | 日日日日干 | 国产欧美中文字幕 | 国产精品99久久久久久久久 | 国产亚洲精品久久久久久大师 | 亚洲开心激情 | freejavvideo日本免费 | 亚洲一区视频在线播放 | 国产伦精品一区二区三区高清 | 西西人体www444 | 中文字幕日本电影 | 超碰97人 | 国产精品久久久久一区二区三区 | 日韩成人精品在线观看 | 国产精品久久二区 | 免费成人黄色片 | 狠狠操导航 | 久久久久欠精品国产毛片国产毛生 | 国产精品嫩草影视久久久 | 国产91免费在线观看 | 国产精品久久一区二区无卡 | 久久天天综合网 | 欧美在线视频a | www.久久99| 五月婷婷精品 | 久久婷婷一区二区三区 | 在线观看av免费观看 | 天天干中文字幕 | 911久久| 波多野结衣小视频 | 最近日韩免费视频 | 懂色av懂色av粉嫩av分享吧 | 成人免费在线电影 | 噜噜色官网 | 久久国产露脸精品国产 | 欧美a级成人淫片免费看 | 国产亚洲精品久久久久5区 成人h电影在线观看 | 亚洲综合婷婷 | 亚洲久草视频 | 中文字幕第一页在线播放 | 欧美日韩国产色综合一二三四 | 欧美专区国产专区 | 91视频免费观看 | 亚洲国产日韩av | 在线你懂的视频 | 97精产国品一二三产区在线 | 国产精品九九热 | 免费a现在观看 | 一级片免费观看视频 | 国产精品视频线看 | 美女视频黄,久久 | 日韩在线观看中文字幕 | 久久99久久99精品免视看婷婷 | 国产一级不卡毛片 | 免费日韩视 | 中文区中文字幕免费看 | 97色综合 | 黄污网站在线 | 天天爽夜夜爽人人爽一区二区 | 成人羞羞视频在线观看免费 | 91亚洲网 | 国产成人精品网站 | 国产精品情侣视频 | 2023国产精品自产拍在线观看 | www.五月婷婷 | 中文字字幕在线 | 国产精品一区二区三区在线播放 | 一区av在线播放 | 超碰人人超碰 | 国产99久久久精品 | 三级免费黄色 | 亚色视频在线观看 | 国产精品久久久久影院日本 | 97狠狠干 | 五月婷色| 91av在线免费看 | 国产韩国精品一区二区三区 | 免费福利片2019潦草影视午夜 | 亚洲极色 | 久久高清免费视频 | 在线免费av观看 | 麻豆成人精品 | free. 性欧美.com| av成人黄色 | 色偷偷88888欧美精品久久久 | 精品一区二区精品 | 国产成人一二三 | 亚洲一区二区三区四区在线视频 | 一区二区在线电影 | 欧美精品久久久久a | 91免费观看视频在线 | 亚洲成人av一区二区 | 国产专区在线 | 在线观看免费观看在线91 | 国产黄色播放 | 国产女教师精品久久av | 久久精品久久国产 | 日韩视频一区二区 | 免费av网站观看 | 亚洲在线资源 | 国产精品福利在线播放 | 色天天天 | 欧美一级性生活 | 91久久爱热色涩涩 | 国产精品18久久久久久久网站 | 天堂久久电影网 | 激情五月播播久久久精品 | www.av小说 | 天天天天天干 | 久久久久久久久免费视频 | 国产精品综合在线 | 91豆麻精品91久久久久久 | 国产精品综合久久久久久 | 美女免费视频网站 | 在线看的av网站 | 亚洲天天摸日日摸天天欢 | 91av成人| 午夜国产福利视频 | 天堂资源在线观看视频 | 激情视频网页 | 91av视频在线免费观看 | 视频一区二区在线观看 | 三上悠亚一区二区在线观看 | 97超碰免费 | aaa黄色毛片 | 国产精品久久久久久久久久 | 一区二区 精品 | 久青草国产在线 | 国产91影院| 亚洲五月花| 国产黄色在线观看 | 毛片激情永久免费 | 日韩精品免费一线在线观看 | 欧洲一区二区在线观看 | 在线观看av网 | 国产精品久久久久婷婷 | 天天操天天舔天天爽 | 亚洲天天综合 | 久久91久久久久麻豆精品 | 一区二区视频在线看 | 亚洲欧美日韩国产一区二区三区 | 欧美色综合天天久久综合精品 | 福利视频一二区 | 免费看黄电影 | 久久久精品国产一区二区电影四季 | 国产一区在线免费观看 | 久久久久久久久久久成人 | 超碰伊人网 | 免费 在线 中文 日本 | 精品久久久久久久久久久久 | 国产日韩视频在线 | 日本在线观看一区二区 | 在线观看日韩精品 | 精品一区二区三区香蕉蜜桃 | 国产黄色片一级 | 日日色综合 | 91亚洲狠狠婷婷综合久久久 | 日韩成人高清在线 | av软件在线观看 | 婷婷六月综合亚洲 | 日韩中文幕 | 99中文字幕在线观看 | 天天色中文 | 亚洲va男人天堂 | 亚洲精品白浆高清久久久久久 | 免费看成人av | 中文字幕在线免费观看 | 久久狠狠一本精品综合网 | 国产精品免费一区二区三区在线观看 | 日韩在线视频不卡 | 五月天网站在线 | 2023亚洲精品国偷拍自产在线 | 久久99热这里只有精品 | 五月网婷婷 | 欧美午夜a| 久久久黄视频 | 免费成人黄色av | а天堂中文最新一区二区三区 | 精品国产一区二区三区久久影院 | 欧美va天堂在线电影 | 欧洲亚洲精品 | 国产高清不卡在线 | 九九九热精品免费视频观看网站 | 久免费| 亚洲精品在线视频播放 | 亚洲免费在线播放视频 | 欧美视频网址 | 黄色一级在线观看 | 精品欧美小视频在线观看 | 亚洲aⅴ乱码精品成人区 | 国产韩国精品一区二区三区 | 草免费视频| 日韩有码专区 | 久久久影片| 精品99视频 | 久久夜色精品亚洲噜噜国4 午夜视频在线观看欧美 | 国产1区在线| 亚洲精品在 | 欧美a级片网站 | 成人免费在线电影 | 日韩3区 | 粉嫩av一区二区三区入口 | 欧美日韩国产一区二区三区 | 国产精品欧美久久久久无广告 | 国产精品黄 | 久草在线资源观看 | 欧美小视频在线 | 人人澡人人舔 | 日韩在线视频一区二区三区 | 精品国产一区二区三区久久久蜜臀 | 999视频在线播放 | 欧美久久久久久久 | 久久色在线观看 | jizzjizzjizz亚洲 | 国产精品自在线 | 日韩视频免费 | 日本成人中文字幕在线观看 | 欧美视频在线观看免费网址 | 久久综合久久综合这里只有精品 | 美女禁18| 亚洲久草网 | 欧美 国产 视频 | 久久久久国产a免费观看rela | 国产手机av在线 | 国产香蕉视频在线播放 | 丁香视频全集免费观看 | 久久精品视频中文字幕 | 亚洲欧美日韩一二三区 | 亚洲精品美女久久久久网站 | 日韩午夜av| 视频一区在线免费观看 | 黄色a视频 | 婷婷丁香久久五月婷婷 | 成人欧美亚洲 | 国产精品免费久久久久影院仙踪林 | 婷婷六月天在线 | 激情 一区二区 | 亚洲草视频 | 91视频亚洲 | 久草免费资源 | 亚洲四虎 | 91综合色 | 亚洲国产免费av | 欧美成人黄色片 | 永久av免费在线观看 | 婷婷国产v亚洲v欧美久久 | 99精品在线免费观看 | 天天射天天爱天天干 | 美女视频黄在线 | 日日操网站 | 国内久久久 | 91精品久久久久久综合乱菊 | 亚洲精色 | 欧美黄在线 | 久久高清视频免费 | 国产盗摄精品一区二区 | 欧亚日韩精品一区二区在线 | www在线观看视频 | 国产网站在线免费观看 | 色天天综合网 | 夜夜操天天| 97理论电影| 色丁香色婷婷 | 日韩高清 一区 | 天天天天干 | 国产黄在线免费观看 | 久久精品国产成人精品 | 黄色美女免费网站 | 日韩欧美高清一区二区三区 | 日韩动态视频 | 久久久www | 久久99国产综合精品 | 国产伦精品一区二区三区照片91 | 婷婷激情久久 | 亚洲九九九| 中文字幕在线观看网址 | 欧美va天堂在线电影 | 婷婷综合av| 成在线播放 | 激情片av | 99视频在线精品 | 欧美一级视频免费看 | 国产成在线观看免费视频 | 欧美一级大片在线观看 | 一区二区不卡视频在线观看 | 中文字幕在线视频国产 | www夜夜 | 婷婷四房综合激情五月 | 国产精品观看视频 | 成人动漫精品一区二区 | 亚洲在线a | 在线观看亚洲精品视频 | 国产亚州av | 97在线观看视频国产 | 玖玖视频在线 | 色88久久| 在线观看免费观看在线91 | 97看片网 | 激情电影影院 | 国产精品一区二区免费看 | 天天干天天干天天干 | www.久久爱.cn | 久草在线观看 | 伊人五月 | 久久久久久久国产精品 | 在线v片免费观看视频 | 992tv在线成人免费观看 | 热久久视久久精品18亚洲精品 | 国产麻豆精品久久一二三 | 免费情趣视频 | 日本黄色免费大片 | 人人搞人人搞 | 欧美一二三区在线播放 | 亚洲乱码久久久 | 月下香电影 | 特黄特黄的视频 | av免费观看在线 | 国产精品久久久视频 | 91大神视频网站 | 久久亚洲精品国产亚洲老地址 | 成人综合日日夜夜 | 国产高清不卡在线 | 久久综合九色综合久久久精品综合 | 91亚洲国产 | 国产精品一区二区白浆 | 亚洲午夜精品久久久久久久久久久久 | 中文字幕第一页在线视频 | 最近日本韩国中文字幕 | 在线观看亚洲精品视频 | 十八岁以下禁止观看的1000个网站 | 久久久男人的天堂 | 国产特黄色片 | 日韩精品免费专区 | 国产高清av | 久草在线欧美 | 九九九免费视频 | 97视频亚洲 | 欧美在线aaa| 日韩一区二区三区高清在线观看 | 综合久久综合久久 | 久久久午夜精品理论片中文字幕 | 午夜黄网 | 天天射综合 | 国产一区久久久 | 四虎影视成人永久免费观看视频 | 日本中文一级片 | 97超碰人人爱 | 中文字幕日韩一区二区三区不卡 | 欧美极品久久 | 九九精品久久 | 最新午夜 | av最新资源| 日韩丝袜 | 成人理论电影 | 日韩欧美视频免费观看 | 天天射天天色天天干 | 黄色一级大片在线免费看国产一 | 青草草在线 | 在线视频 影院 | 粉嫩av一区二区三区入口 | 国产999免费视频 | 亚洲人人av | 99热九九这里只有精品10 | 黄色三级免费观看 | 成人黄色中文字幕 | 麻豆精品视频 | 久久久久久看片 | 91尤物国产尤物福利在线播放 | 91亚色视频 | 777视频在线观看 | 午夜精品一区二区三区免费视频 | 色婷丁香| 黄色www在线观看 | 久久精品99久久久久久 | 国产视频一区二区在线播放 | 国产精品久久久久久妇 | 91免费高清观看 | 91在线视频导航 | 在线视频第一页 | 91亚洲精品久久久久图片蜜桃 | 国产 中文 日韩 欧美 | 久久精品中文字幕免费mv | 亚洲jizzjizz日本少妇 | 精品一区二区三区电影 | 久久九九精品 | 热久在线| 久久精品影片 | 麻豆91在线观看 | 国产999精品久久久影片官网 | 久久久久亚洲精品男人的天堂 | 亚洲欧美国内爽妇网 | 国产高清视频网 | 中文字幕久久亚洲 | 精品视频免费 | 日韩a在线| 菠萝菠萝蜜在线播放 | 久久丁香 | 中文字幕免费成人 | 久久经典国产 | 久久99国产精品免费网站 | 日韩一级理论片 | 国产精品无av码在线观看 | 91麻豆网| 亚洲成a人片在线观看网站口工 | 日韩av在线一区二区 | 亚洲精品免费在线观看视频 | 色综合久久综合网 | 久久精品9 | av千婊在线免费观看 | 精品国产一区二区三区久久久蜜月 | sm免费xx网站 | 色综合婷婷久久 | 中文字幕在线人 | 五月婷婷六月丁香在线观看 | 99视频这里只有 | 久草电影在线 | 免费网站在线观看人 | 91成人天堂久久成人 | 有码中文字幕在线观看 | 四虎在线影视 | 一区二区三区视频在线 | 国产经典 欧美精品 | 92精品国产成人观看免费 | 国产福利小视频在线 | 亚洲精品乱码久久久久久按摩 | 精品成人久久 | 免费黄色网址大全 | 国产精品18久久久久久久网站 | 日本xxxx裸体xxxx17 | 国产精品video爽爽爽爽 | 亚洲精品影视在线观看 | 色综合色综合久久综合频道88 | 中文字幕一区二区三区精华液 | 97超碰.com | 久久色视频 | 国产一级久久久 | 午夜在线看 | 日韩精品一区二区三区三炮视频 | 91九色精品女同系列 | 91成人免费看片 | 91九色蝌蚪 | 国产精品九九九九九九 | 亚洲精品免费观看视频 | 欧美日韩精品在线视频 | 91亚·色| 国产91在线 | 美洲 | 欧美日韩裸体免费视频 | 久久久18| 一区二区视频在线观看免费 | 欧洲精品一区二区 | 日躁夜躁狠狠躁2001 | 天堂成人在线 | 色就是色综合 | 97精品国自产拍在线观看 | 在线va网站 | 久久伦理影院 | 免费观看丰满少妇做爰 | 九九欧美| 天天天干天天天操 | 久久精品国产一区二区 | 亚洲一区二区视频在线播放 | 一区二区三区福利 | 亚洲精品久久视频 | 久久国产精品免费一区二区三区 | 欧美日韩不卡在线观看 | 91精品国产成人观看 | 国产主播99 | 日韩欧美精品在线视频 | 欧美久草视频 | 狠狠躁18三区二区一区ai明星 | 日韩在线二区 | 亚洲高清视频在线观看免费 | 三级黄色片子 | 五月婷婷六月丁香激情 | 亚洲最新av在线 | 天天舔天天射天天操 | 中文字幕成人av | 91资源在线免费观看 | 国产一区二区视频在线播放 | 欧美久久久久久久 | 男女激情片在线观看 | 亚洲精品中文字幕在线观看 | 96香蕉视频 | a色网站| 亚洲91视频 | av丝袜天堂 | 三级视频片 | 成人黄色中文字幕 | 亚洲一级电影在线观看 | 久久久黄视频 | 69中文字幕| 免费在线一区二区三区 | 色爱区综合激月婷婷 | 精品欧美小视频在线观看 | 国产视频亚洲视频 | 久久网站免费 | 99中文字幕视频 | 亚洲一级在线观看 | 麻豆91在线| 国产成人无码AⅤ片在线观 日韩av不卡在线 | 91中文字幕在线视频 | 色婷婷狠狠 | 亚洲视频免费在线 | 大胆欧美gogo免费视频一二区 | 天天天天色综合 | 欧美日韩视频在线观看一区二区 | 国产探花 | 丁香五月亚洲综合在线 | 亚洲黄色成人网 | 99久久精品无免国产免费 | 国产精品av在线 | 操操操av | 亚洲最大成人免费网站 | 国产v在线播放 | 国产精品一区二区久久精品爱微奶 | 久久调教视频 | 99视频在线观看视频 | 干av在线 | 国产成人精品一区二区三区福利 | 久久激情视频免费观看 | 日韩大片在线看 | 亚洲第一区在线播放 | 午夜美女视频 | 91传媒在线看 | 超碰在线观看av | 91.dizhi永久地址最新 | 婷婷激情站 | 日韩激情免费视频 | 日韩av免费一区 | 国产91影院 | 国产1区2区3区精品美女 | 亚洲精品日韩在线观看 | 久草干 | 国产精品一区二区电影 | 国产在线不卡精品 | 在线免费中文字幕 | 99视频免费在线观看 | 欧美人zozo| 操高跟美女 | 亚洲 在线 | 亚洲国产人午在线一二区 | 国产盗摄精品一区二区 | 天天综合色网 | 成人试看120秒 | 韩日电影在线观看 | 欧美日在线 | 久久免费在线观看 | 久久亚洲在线 | 综合精品久久 | 99精品视频一区二区 | av中文字幕在线播放 | 亚洲三级网 | 91成人免费看 | 日韩在线观看你懂得 | 91三级在线观看 | 夜夜躁日日躁狠狠躁 | 成人国产精品一区 | 欧美精品首页 | 久草在线精品观看 | 精品国产亚洲日本 | 午夜 免费 | 成人一级影视 | 久久久穴 | 国产91精品看黄网站在线观看动漫 | 国产精品福利在线观看 | 99久久影院 | 很黄很污的视频网站 | 欧美精品久 | 国产在线2020 | 久久影视网| 狠狠gao | 国产特级毛片aaaaaaa高清 | 色狠狠久久av五月综合 | 在线免费观看视频a | 午夜视频在线观看一区 | 中文综合在线 | 欧美性生活免费 | 免费成人在线电影 | 国产视频一区精品 | 蜜臀av性久久久久av蜜臀妖精 | 久久精品国产亚洲 | 国产在线中文字幕 | 亚洲国产操 | 97在线免费 | 五月天av在线 | 天天干天天搞天天射 | 国产网红在线观看 | 日韩午夜剧场 | 久久久精品网站 | 黄色成人91 | 丁香六月在线观看 | 国产黄色看片 | 日韩美视频 | 欧美日韩不卡一区二区 | 国产精品爽爽久久久久久蜜臀 | 九色免费视频 | 成人片在线播放 | 成人福利在线播放 | 香蕉久久久久久av成人 | 狠狠色丁香婷婷综合久小说久 | 美女搞黄国产视频网站 | 久热免费在线 | 国产区久久 | 亚洲专区视频在线观看 | 天天干天天操天天干 | 不卡中文字幕在线 | 亚洲97在线| 波多野结衣综合网 | 日韩视频在线播放 | 丝袜美腿在线播放 | 国产美腿白丝袜足在线av | 国产一区二区三区高清播放 | www.97视频| 成人在线电影观看 | 97视频在线观看网址 | 国产午夜激情视频 | 最近中文字幕mv免费高清在线 | 四虎在线视频 | 久久国产精品久久w女人spa | 中文字幕久久精品亚洲乱码 | 国产午夜精品免费一区二区三区视频 | av在线电影网站 | 亚洲精品高清视频在线观看 | 久久狠狠干| 久久久九九 | 欧美另类一二三四区 | 国产欧美日韩视频 | 91丨九色丨国产在线观看 | 国产一区二区精品 | 国产小视频福利在线 | www91在线观看 | 国产高清福利在线 | 91久久久久久国产精品 | 婷婷色亚洲 | 国产精品久久毛片 | 丁香综合五月 | 九九九在线观看 | 玖玖在线看 | 最新中文字幕在线观看视频 | 亚洲一级黄色大片 | 在线免费观看的av | 欧美日韩综合在线观看 | 成人中文字幕在线观看 | 色婷婷久久 | 日韩精品免费一区 | 成人小视频在线观看免费 | 亚洲美女视频在线 | 小草av在线播放 | 日韩理论| 欧美日韩视频网站 | 亚洲综合小说电影qvod | 香蕉久久久久久av成人 | 天天射天天操天天干 | 丁香九月激情 | 天天五月天色 | 蜜臀av在线一区二区三区 | 九九热免费在线观看 | 2022中文字幕在线观看 | 极品中文字幕 | 午夜免费在线观看 | 福利片视频区 | 婷婷丁香激情综合 | 亚洲精品永久免费视频 | 日韩午夜三级 | 亚洲成人二区 | 亚洲91中文字幕无线码三区 | 超碰大片| 色婷婷av一区 | 人人爽人人爽人人 | 久久黄色网 | 中文乱码视频在线观看 | 中文字幕视频观看 | 久久亚洲综合国产精品99麻豆的功能介绍 | 久久黄色网页 | 手机看国产毛片 | 97在线视频网站 | 精品成人网 | 九九视频在线 | 丁香婷婷激情五月 | 高潮毛片无遮挡高清免费 | 色五月激情五月 | 夜夜爽天天爽 | 一区二区av | 麻豆91在线看 | 亚洲1级片 | 国产精品成人久久久久 | av免费电影在线 | 99热国产在线中文 | 狠狠色狠狠色合久久伊人 | 麻花豆传媒一二三产区 | 国产成免费视频 | 免费看国产一级片 | 色噜噜日韩精品欧美一区二区 | 国产成人福利在线观看 | 日韩av一区二区在线播放 | 天天操天天色天天射 | 久久久精品高清 | 日韩精品久久久久久久电影99爱 | 久草在线免费电影 | 一区二区三区动漫 | 久久久久亚洲国产精品 | 日韩 精品 一区 国产 麻豆 | 手机成人av| 成人一区不卡 | 91污在线| 色天天综合久久久久综合片 | 9999免费视频 | 日韩高清不卡一区二区三区 | 国产女教师精品久久av | www.狠狠干| 免费在线成人av电影 | 在线观看mv的中文字幕网站 | 久久国产精品免费一区二区三区 | 久久国内视频 | 夜夜操天天操 | 久久人人97超碰国产公开结果 | 99久久精品国产欧美主题曲 | 天堂网一区二区 | 成人avav| 中文字幕av免费 | 国产男女免费完整视频 | 久久免费成人精品视频 | 九九av| 国产色视频一区二区三区qq号 | 91手机在线看片 | 一区二区三区四区五区在线 | 亚洲欧洲xxxx | 久久免费看av | 麻豆影视在线免费观看 | 免费观看日韩 | www日韩欧美 | 亚洲黄色成人 | 最新av电影网站 | 在线视频中文字幕一区 | 成人wwwxxx视频 | 手机在线日韩视频 | 四虎永久视频 | 激情综合亚洲 | 69国产盗摄一区二区三区五区 | 91系列在线观看 | 亚洲精品美女久久久 | 蜜桃视频成人在线观看 | 日韩成人精品一区二区 | 欧美黄网站 | 久久不卡国产精品一区二区 | 婷婷成人综合 | 激情视频二区 | 中文字幕高清免费日韩视频在线 | 国产精品男女啪啪 | 国内精品久久久久影院一蜜桃 | 国内久久看 | 久久人人97超碰精品888 | 超碰在线人人97 | 日韩视频欧美视频 | 色噜噜狠狠狠狠色综合 | 国产日韩精品在线观看 | 天天曰| 日韩精品一卡 | 精品国产乱码久久久久久久 | 在线观看成年人 | 中文在线8新资源库 | 国产日女人 | 一本一本久久a久久 | 国产精品久久久久久久久久久久久久 | 欧美一级片免费观看 | 国产区av在线 | 91av社区 | 成人a大片 | 在线 国产 亚洲 欧美 | 久草资源免费 | 日韩美女av在线 | 日日摸日日碰 | 在线播放亚洲 | 狠狠88综合久久久久综合网 | 国产精品久久av | 欧美日本啪啪无遮挡网站 | 久久久久久久影院 | 亚洲视频每日更新 | 2019中文字幕网站 | 91免费高清观看 | 国产视频精品在线 | 中文字幕高清免费日韩视频在线 | 国产成人精品一二三区 | 日日夜夜网站 | 91精品国产自产在线观看永久 | 狠狠色丁香久久婷婷综合_中 | 久久欧美精品 | 激情五月综合网 | 2018好看的中文在线观看 | 97在线资源| 国产精品一区二区在线播放 | 日韩精品久久久久 | 亚洲国产精品一区二区尤物区 | 国产第一福利 | 精品久久中文 | 三级小视频在线观看 | 久久久在线免费观看 | 97夜夜澡人人双人人人喊 | 婷婷色九月| 日韩精品中文字幕av | 狠狠色丁香久久婷婷综合丁香 | 中文字幕一区二区三区四区视频 | 伊人伊成久久人综合网小说 | 狠狠干婷婷色 | 国产亚洲久一区二区 | 在线成人高清电影 | 久久久久成人精品 | 日日成人网 | 一区二区三区在线观看免费视频 | h网站免费在线观看 | 精品乱码一区二区三四区 | 日本大尺码专区mv | 91av在线免费观看 | 婷婷六月中文字幕 | 五月婷婷色 | 西西www4444大胆在线 | 亚洲精品中文字幕视频 | 一区二区三区福利 | 日韩一区二区三区观看 | 久久久国产一区二区三区 | 欧美色图88 | 亚洲成av人片 | 色中色资源站 | 欧美视频网址 | 黄色特级一级片 | 天天色图| 日本在线观看视频一区 | 免费黄色一区 | 欧美日韩在线网站 | 久久优 | 天天色天 | 超碰在线观看av | 日韩精品一区二区免费视频 | 欧美日韩亚洲在线观看 | 精品久久久久久久久久久久久久久久久久 | 国产精品二区在线观看 | 日日夜夜狠狠干 | 亚洲精品一区二区三区新线路 | 鲁一鲁影院 | 久久综合操 | 99精品国产一区二区 | 91在线蜜桃臀 | 国产精品免费视频一区二区 | 日韩欧美视频在线播放 | 麻豆视频免费 | 欧美a级在线播放 | 欧美一级在线 | av在线电影播放 | 三级黄色片在线观看 | 精品日韩中文字幕 | 亚洲美女视频在线 | 亚洲视频在线观看 | 成人毛片a | 91久久久久久国产精品 | 91成版人在线观看入口 | 亚洲一区二区三区毛片 | 不卡av电影在线观看 | 国产一卡二卡在线 | 97色资源| 在线观看爱爱视频 | 一区二区三区福利 | 久久天天躁夜夜躁狠狠85麻豆 | 成年人视频在线观看免费 | 一区二区久久 | 亚洲一区二区高潮无套美女 | 91精品国产成 | 一区二区三区四区不卡 | 欧美日本不卡视频 | 中文字幕在线看视频 | a级国产毛片 | 丁香一区二区 | 欧美va天堂在线电影 | 色视频网址 | 国产精品美女久久久久久久久久久 | 欧美欧美 | 日韩精品中文字幕av | 91视频在线免费下载 | 在线亚洲人成电影网站色www | 国产黄色视 | 久久超 | www.五月天婷婷.com | 超碰夜夜 | 久久久久成人免费 | 91福利区一区二区三区 | 91麻豆精品国产91久久久久久久久 | 久久96 | 亚洲国产精品第一区二区 | av中文在线 | 天天草天天爽 | 97电影网手机版 | 免费人成在线观看网站 | 欧美人zozo | 91精品在线视频观看 | 日韩欧美xxxx | 一区二区三区免费在线 | 91视频一8mav | 欧美日韩国产精品久久 | 天天摸日日操 | 久久影院精品 | 国产成人精品久 | 99精品视频在线观看免费 | 成人91免费视频 | 亚洲午夜在线视频 | 欧美xxxxx在线视频 | 亚洲丁香日韩 | 亚洲天堂网在线视频观看 | 麻豆va一区二区三区久久浪 | 91免费看黄色 | 久草在线久草在线2 | 日韩在线观看精品 | 国产精品初高中精品久久 | 最新av在线网址 | 免费试看一区 | 国产一区二区不卡视频 | 国产成人一区二区三区 | 综合五月婷婷 | 日本h在线播放 | 精品久久片 | 热久久视久久精品18亚洲精品 | 91免费观看 | 中文字幕在线观看你懂的 | 久久精品网 | 亚洲最大av | 日韩在线视频观看免费 | 福利片视频区 | 成人免费观看视频大全 | 国产剧情av在线播放 | 久久这里只有精品9 | 国产精品免费在线观看视频 | 亚洲免费a | 中文字幕在线资源 | 国产美女视频黄a视频免费 久久综合九色欧美综合狠狠 | 国产一级片一区二区三区 | 久久国产高清视频 | 看片在线亚洲 | 亚洲成人av电影 | 久久久视屏 | 91精品国 | 国产精品福利在线播放 | 午夜色场 |