日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 >

Linux Kernel Oops异常分析

發布時間:2023/11/30 48 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Linux Kernel Oops异常分析 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

?

0.linux內核異常常用分析方法

  • 異常地址是否在0附近,確認是否是空指針解引用問題
  • 異常地址是否在iomem映射區,確認是否是設備訪問總線異常問題,如PCI異常導致的地址訪問異常
  • 異常地址是否在stack附近,如果相鄰,要考慮是否被踩
  • 比較delay reset/nmi watchdog等多種機制打印的棧信息,看看pc是否在動,確定是否是死鎖
  • 用SysRq判斷是真死還是假死
  • 通過反匯編獲得發生異常的C代碼段和函數,查找開源社區是否已有補丁修復
  • 下面分別通過PowerPC和Mips64的2個異常例子詳細講解分析過程。

    1.PowerPC小系統內核異常分析

    1.1? 異常打印

    ?

    Unable to handle kernel paging request for data at address 0x36fef31e
    Faulting instruction address: 0xc0088b8c
    Oops: Kernel access of bad area, sig: 11 [#1]
    PREEMPT SMP NR_CPUS=2
    Modules linked in: ossmod tipc ohci_hcd ehci_hcd cmm uart1655x bcm334 bootflash mtdchar bsp_flash_init boardctrl 85xx_debug util
    NIP: C0088B8C LR: C0088CF8 CTR: 00000000
    REGS: ce283e20 TRAP: 0300 Not tainted (2.6.21.7-EMBSYS-CGEL-3.04.10.P6.F5)
    MSR: 00021000 <ME> CR: 22004222 XER: 00000000
    DAR: 36FEF31E, DSISR: 00800000
    TASK = cffdf180[26] 'events/1' THREAD: ce282000 CPU: 1
    GPR00: 00100100 CE283ED0 CFFDF180 CF528000 C09EA500 EFFEAD20 CF5188A0 00000000
    GPR08: CF5188BC 00200200 36FEF31E D1FD7F9E 22004222 1010DA44 00000290 00000000
    GPR16: 1011C858 100147F4 BF9BC9C4 10100000 00000001 C0460000 C06454CC 00000000
    GPR24: C0640000 CE282000 C0640000 00000005 00000000 00000000 EFFE8EC0 CFFED958
    NIP [C0088B8C] free_block+0xc4/0x16c
    LR [C0088CF8] drain_array+0xc4/0x100
    Pass 2: Checking directory structure
    Pass 3: Checking directory connectivity
    Pass 4: Checking reference counts
    Call Trace:
    [CE283ED0] [C06ABEC0] 0xc06abec0(unreliable)
    [CE283EF0] [C0088CF8] drain_array+0xc4/0x100
    [CE283F10] [C008A70C] cache_reap+0x94/0x13c
    [CE283F30] [C003DA2C] run_workqueue+0xc4/0x198
    [CE283F60] [C003E6D4] worker_thread+0x130/0x154
    [CE283FB0] [C0042E80] kthread+0xd4/0x110
    [CE283FF0] [C0011A70] original_kernel_thread+0x44/0x60

    Instruction dump:
    5400cffe 0f000000 80c4001c 7d1cf214 3c000010 3d200020 80a8001c 60000100
    81660000 61290200 81460004 3906001c <916a0000> 914b0004 90060000 91260004
    ------------[ cut here ]------------
    Badness at c0011e4c [verbose debug info unavailable]
    Call Trace:
    [CE283C50] [C00080BC] show_stack+0x3c/0x1a0 (unreliable)
    [CE283C80] [C018EA28] report_bug+0xb0/0xb8
    [CE283C90] [C000EC94] program_check_exception+0xcc/0x4f8
    [CE283CD0] [C0010BE4] ret_from_except_full+0x0/0x4c
    [CE283D90] [C0640000] 0xc0640000
    [CE283DD0] [C000E61C] die+0x1f0/0x27c
    [CE283E00] [C0014B18] bad_page_fault+0x98/0xe8
    [CE283E10] [C0010A88] handle_page_fault+0x7c/0x80
    [CE283ED0] [C06ABEC0] 0xc06abec0
    [CE283EF0] [C0088CF8] drain_array+0xc4/0x100
    [CE283F10] [C008A70C] cache_reap+0x94/0x13c
    [CE283F30] [C003DA2C] run_workqueue+0xc4/0x198
    [CE283F60] [C003E6D4] worker_thread+0x130/0x154
    [CE283FB0] [C0042E80] kthread+0xd4/0x110
    [CE283FF0] [C0011A70] original_kernel_thread+0x44/0x60

    1.2? Oops分析

    ?Oops: Kernel access of bad area, sig: 11 [#1]? ?

    異常分類

    Oops:內核態指令異常;

    BUG:內核檢測到邏輯異常(類似于assert),會影響內核的后續運行;

    WARNING:類似于BUG,但是不會影響內核的后續運行;

    PANIC:類似于BUG,系統不能繼續運行,直接掛起或重啟;

    SOFTLOCK:長時間任務得不到調度;

    ?

    異常信號

    Signal

    Code

    Default Action

    Description

    SIGABRT

    6

    A

    Process abort signal

    SIGALRM

    14

    T

    Alarm clock

    SIGBUS

    10

    A

    Access to an undefined portion of a memory object

    SIGCHLD

    18

    I - Ignore the Signal

    Child process terminated, stopped,

    SIGCONT

    25

    C - Continue the process

    Continue executing, if stopped.

    SIGFPE

    8

    A

    Erroneous arithmetic operation.

    SIGHUP

    1

    T

    Hangup.

    SIGILL

    4

    A

    Illegal instruction.

    SIGINT

    2

    T

    Terminal interrupt signal.

    SIGKILL

    9

    T

    Kill (cannot be caught or ignored).

    SIGPIPE

    13

    T - Abnormal termination of the process

    Write on a pipe with no one to read it.

    SIGQUIT

    3

    A - Abnormal termination of the process

    Terminal quit signal.

    SIGSEGV

    11

    A

    Invalid memory reference.

    SIGSTOP

    23

    S - Stop the process

    Stop executing (cannot be caught or ignored).

    SIGTERM

    15

    T

    Termination signal.

    SIGTSTP

    23

    S

    Terminal stop signal.

    SIGTTIN

    26

    S

    Background process attempting read.

    SIGTTOU

    27

    S

    Background process attempting write.

    SIGUSR1

    16

    T

    User-defined signal 1.

    SIGUSR2

    17

    T

    User-defined signal 2.

    SIGPOLL

    22

    T

    Pollable event.

    SIGPROF

    29

    T

    Profiling timer expired.

    SIGSYS

    12

    A

    Bad system call.

    SIGTRAP

    5

    A

    Trace/breakpoint trap.

    SIGURG

    21

    I

    High bandwidth data is available at a socket.

    SIGVTALRM

    28

    T

    Virtual timer expired.

    SIGXCPU

    30

    A

    CPU time limit exceeded.

    SIGXFSZ

    31

    A

    File size limit exceeded

    Default Actions:

    T?- Abnormal termination of the process. The process is terminated with all the consequences of _exit() except that the status made available to wait() and waitpid() indicates abnormal termination by the specified signal.

    A?- Abnormal termination of the process. Additionally, implementation-defined abnormal termination actions, such as creation of a core file, may occur.

    I?- Ignore the signal.

    S?- Stop the process.

    C?- Continue the process, if it is stopped; otherwise, ignore the signal.

    ?

    具體針對powerpc e500內核,異常與信號的對應關系如下:

    ?

    所以有進程訪問了超出其虛擬地址空間的地址,內核報SIGSEGV(segment fault)信號。

    那是什么進程呢?

    其他

    #1,die_counter,表示Oops發生的次數,一般來說,如果有多條Oops,看第一條Oops信息,因為后面的Oops可能是第一條Oops的錯誤傳播導致的。

    ?

    1.3? 寄存器分析

    NIP: C0088B8C LR: C0088CF8 CTR: 00000000?

    NIP是next instruction pointer,值就是當前指令的地址。這里列出了3個寄存器的值。

    LR是link register其值為上一條指令的地址。

    CTR是count register,其值用于循環指令。

    REGS: ce283e20 TRAP: 0300?? Not tainted? (2.6.21.7-EMBSYS-CGEL-3.04.10.P6.F5)??

    TRAP :異常處理函數入口地址;REGS :系統棧pt_regs的基址。pt_regs這個結構封裝了需要在內核入口中保存的最少的狀態信息。比如說每一次的系統調用、中斷、陷阱、故障。

    ??? 0x100:??? "(System Reset)"

    ?????? 0x200:??? "(Machine Check)"

    ?????? 0x300:??? "(Data Access)"

    ?????? 0x380:??? "(Data SLB Access)"

    ?????? 0x400:??? "(Instruction Access)"

    ?????? 0x480:??? "(Instruction SLB Access)"

    ?????? 0x500:??? "(Hardware Interrupt)"

    ?????? 0x600:??? "(Alignment)"

    ?????? 0x700:??? "(Program Check)"

    ?????? 0x800:??? "(FPU Unavailable)"

    ?????? 0x900:??? "(Decrementer)"

    ?????? 0xc00:???? "(System Call)"

    ?????? 0xd00:??? "(Single Step)"

    ?????? 0xf00:???? "(Performance Monitor)"

    ?????? 0xf20:???? "(Altivec Unavailable)"

    ?????? 0x1300:?? "(Instruction Breakpoint)"

    詳細解釋見《PowerPC? e500 Core Family Reference Manual》“5.7 Interrupt Definitions”。

    ?

    tainted :內核錯誤信息,由add_taint設置,解釋如下:

    *? 'P' - Proprietary module has been loaded.

    ?*? 'F' - Module has been forcibly loaded.

    ?*? 'S' - SMP with CPUs not designed for SMP.

    ?*? 'R' - User forced a module unload.

    ?*? 'M' - System experienced a machine check exception.

    ?*? 'B' - System has hit bad_page.

    ?*? 'U' - Userspace-defined naughtiness.

    ?*? 'D' - Kernel has oopsed before

    ?*? 'A' - ACPI table overridden.

    ?*? 'W' - Taint on warning.

    ?*? 'C' - modules from drivers/staging are loaded.

    ?

    MSR: 00021000 <ME>? CR: 22004222? XER: 00000000??

    DAR: 36FEF31E, DSISR: 00800000

    MSR是machine state register;

    CR是condition register;

    XER為Integer Exception Register

    DAR為data address register,其值為造成了內存訪問異常的地址。E500中為Data Exception Address Register (DEAR)

    DSISR為Data Storage Interrupt Status Register,是存儲著發生內存訪問異常原因的寄存器。E500中為Exception Syndrome Register (ESR)。0x00800000表示Store operation中的Alignment, data storage, data TLB error異常。

    ?

    TASK = cffdf180[26] 'events/1' THREAD: ce282000 CPU: 1

    cffdf180:進程task_struct結構體的地址;

    26:進程號;

    events/1:進程名;

    THREAD:進程的內核棧起始地址;

    CPU:當前CPU;

    當前進程也就是'events/1進程,出現SIGSEGV異常了。

    ?

    GPR00: 00100100 CE283ED0 CFFDF180 CF528000 C09EA500 EFFEAD20 CF5188A0 00000000

    GPR08: CF5188BC 00200200 36FEF31E D1FD7F9E 22004222 1010DA44 00000290 00000000?????????????????????????????????????????????????????????????????????

    GPR16: 1011C858 100147F4 BF9BC9C4 10100000 00000001 C0460000 C06454CC 00000000?????????????????????????????????????????????????????

    GPR24: C0640000 CE282000 C0640000 00000005 00000000 00000000 EFFE8EC0 CFFED958

    ? ? PowerPC的ABI規定的寄存器的使用規則如下:

    ? (1)GPR0:屬于易失性寄存器,ABI規定普通用戶不能使用此寄存器。GCC編譯器用此寄存器來保存LR寄存器,Linux PowerPC用此寄存器來傳遞系統調用號碼。

    ? (2)GPR1:屬于專用寄存器,ABI規定用次寄存器來保存堆棧的棧頂指針。

    ? (3)GPR2:屬于專用寄存器,ABI規定普通用戶不使用才寄存器,Linux PowerPC用此寄存器來保存當前進程的進程描述符地址。

    ? (4)GPR3-GPR4:屬于易失性寄存器,ABI使用這兩個寄存器來保存函數的返回值,或者用來傳遞參數。

    ? (5)GPR5-GPR10:也屬于易失性寄存器,加上GPR3和GPR4共8個寄存器用來傳遞函數的參數。當函數的參數超過八個時使用堆棧來傳遞。

    ? (6)GPR11-GPR12:屬于易失性寄存器,ABI規定普通用戶不使用該寄存器,Linux PowerPC有時用這兩個寄存器來存放臨時變量,但是GCC編譯器沒有使用這兩個寄存器。

    ? (7)GPR13:屬于專用寄存器,ABI規定該寄存器sdata段的基地址指針。Linux PowerPC在系統初始化時使用該寄存器來存放臨時變量。GCC有時會根據某些規則將一些常用的數據放入sdata或者sbss段中。應用程序對sdata或者sbss段數據的訪問與對data和bss段數據的訪問機制不同,訪問sdata段的數據速度更快。

    ? (8)GPR14-GPR31:屬于非易失性寄存器。ABI使用這些寄存器來存放一些臨時變量,在應用程序中可以自由使用這些變量。

    ?

    1.4? 調用棧分析

    調用鏈

    ?

    NIP [C0088B8C] free_block+0xc4/0x16c

    LR [C0088CF8] drain_array+0xc4/0x100

    Call Trace:

    [CE283ED0] [C06ABEC0] 0xc06abec0(unreliable)

    [CE283EF0] [C0088CF8] drain_array+0xc4/0x100

    [CE283F10] [C008A70C] cache_reap+0x94/0x13c

    [CE283F30] [C003DA2C] run_workqueue+0xc4/0x198

    [CE283F60] [C003E6D4] worker_thread+0x130/0x154

    [CE283FB0] [C0042E80] kthread+0xd4/0x110

    [CE283FF0] [C0011A70] original_kernel_thread+0x44/0x60

    Instruction dump:

    5400cffe 0f000000 80c4001c 7d1cf214 3c000010 3d200020 80a8001c 60000100

    81660000 61290200 81460004 3906001c <916a0000> 914b0004 90060000 91260004


    [CE283FB0] [C0042E80] kthread+0xd4/0x110
    ?

    CE283FB0:棧地址;

    C0042E80:棧上保存的LR值,即函數返回地址。

    kthread:函數名;

    0xd4/0x110:異常指令偏移/調用函數長度。

    ?

    static void free_block(struct kmem_cache *cachep, void **objpp, int nr_objects, int node)

    ?

    從調用棧上看,內核在drain_array中調用free_block出現異常,查看free_block原型,對比入棧參數(CF528000 C09EA500 EFFEAD20 CF5188A0),可以發現int nr_objects, int node明顯異常,可能推斷調用棧可能已經被踩。

    ?

    指令碼

    Instruction dump:
    5400cffe 0f000000 80c4001c 7d1cf214 3c000010 3d200020 80a8001c 60000100
    81660000 61290200 81460004 3906001c <916a0000> 914b0004 90060000 91260004

    ??????? Instruction dump打印出NIP附近的指令字節碼。其中<916a0000>為NIP的指令碼。

    反匯編定位

    objump -dS vmlinux > /tmp/kernel.s

    通過查找<916a0000>對應的C代碼,確定具體那句C代碼出現異常。

    其中vmlinux為已打開調試信息的,與故障相同版本的內核鏡像。

    ?

    2.MIPS小系統內核異常分析

    ?

    2.1? 異常打印

    0:Oops[#1]:

    ? 0:Cpu 0

    ? 0:Show thread info from vcpu 0

    ? 0: VCPU?? Stack bottom????? Task?????????? ???????Ti at

    ? 0:? 0??? c000000595057fe0??? swapper????????????? c000000595054000

    ? 0:Thread info( c000000595054000 ):

    ? 0:??? Process swapper (pid: 1)

    ? 0:? exec_domain ffffffffc0f299b0

    ? 0:? flags 100000

    ? 0:? tp_value 0

    ? 0:? cpu 0

    ? 0:? preempt_count 2

    ? 0:? regs (null)

    ? 0:STACK_END_MAGIC at va( c000000595054068 ): 57AC6E9D( =? 57AC6E9D)

    ? 0:

    ? 0:$ 0?? :? 0: 0000000000000000? 0: 0000000000000000? 0: 0000000000000000? 0: 0000000000000001? 0:

    ? 0:$ 4?? :? 0: 0000000000000000? 0: 0000000000000000? 0: ffffffffffffffff? 0: 0000000000002976? 0:

    ? 0:$ 8?? :? 0: 0000000000007fff? 0: 000000000000000a? 0: 5f73746172747570? 0: 000000000000006c? 0:

    ? 0:$12?? :? 0: 0000000000000068? 0: 000000000000004c? 0: ffffffffc10bc384? 0: c000000593338000? 0:

    ? 0:$16?? :? 0: 0000000000000000? 0: ffffffffc10e42b8? 0: ffffffffc10e0000? 0: ffffffffc10e0000? 0:

    ? 0:$20?? :? 0: 0000000000000000? 0: 0000000000000080? 0: 0000000000000080? 0: 0000000000000000? 0:

    ? 0:$24?? :? 0: 0000000000000006? 0: ffffffffc06501a8? 0:???????????????? ??0:?????????????????? 0:

    ? 0:$28?? :? 0: c000000595054000? 0: c000000595057c88? 0: 0000000000000000? 0: ffffffffc087bf40? 0:

    ? 0:Hi??? : 0000000000000000

    ? 0:Lo??? : 0000000000000000?

    0:epc?? : ffffffffc087c4b4 _bcore_cleanup+0x34/0x190

    ? 0:??? Not tainted

    ? 0:ra??? : ffffffffc087bf40 _init+0x3e8/0x480

    ? 0:Status: 5400ffe3????? 0:KX?? 0:SX?? 0:UX?? 0:KERNEL?? 0:EXL?? 0:IE?? 0:

    ? 0:Cause : 00800008

    ? 0:BadVA : 0000000000000008

    ? 0:PrId? : 000c1102 (XLP316?? A2? )

    ? 0:<d>Modules linked in:? 0:

    ? 0:Process swapper (pid: 1, threadinfo=c000000595054000, task=c000000595053898, tls=0000000000000000)

    ? 0:Stack :? 0: ffffffffffffffff? 0: ffffffffc10e0000? 0: c000000595193240? 0: 0000000000000001? 0:

    ???????? 0: ffffffffc104365c? 0: ffffffffc087bf40? 0: 000001fac104365c? 0: ffffffffc087cb30? 0:

    ???????? 0: ffffffffc087c3a8? 0: 0000000000000000? 0: ffffffffc0f4a778? 0: c000000595193000? 0:

    ???????? 0: c000000595193240? 0: 0000000000000001? 0: ffffffffc10e0000? 0: c000000595193240? 0:

    ???????? 0: 0000000000000001? 0: ffffffffc104365c? 0: 0000000000000000? 0: 0000000000000080? 0:

    ???????? 0: 0000000000000080? 0: ffffffffc1043c44? 0: 00008a17bc300000? 0: ffffffffc10e0000? 0:

    ???????? 0: c00000059333dd40? 0: 0000000000000000? 0: 3800000000000000? 0: 0000000000000000? 0:

    ???????? 0: 000000009333dd40? 0: ffffffffc1043638? 0: 000000005400ffe0? 0: ffffffffbfff00fe? 0:

    ???????? 0: ffffffffc1070000? 0: ffffffffc1063200? 0: 0000000000000001? 0: ffffffffc104365c? 0:

    ???????? 0: 0000000000000000? 0: 0000000000000080? 0: 0000000000000080? 0: 0000000000000000? 0:

    ???????? 0: ...? 0:

    ? 0:Call Trace: [jiffies: 0xfffff79f]

    ? 0:[<ffffffffc087c4b4>] _bcore_cleanup+0x34/0x190

    ? 0:[<ffffffffc087bf40>] _init+0x3e8/0x480

    ? 0:[<ffffffffc1043c44>] bcmxgs_init_module+0x5e8/0xc00

    ? 0:[<ffffffffc060eebc>] do_one_initcall+0x3c/0x1a0

    ? 0:[<ffffffffc102cc04>] kernel_init+0x220/0x2b8

    ? 0:[<ffffffffc062c730>] kernel_thread_helper+0x10/0x20

    ? 0:

    ? 0:

    Code:? 0: ffbf0028?? 0: 0000802d?? 0: 663142b8?? 0:<dc420008>? 0: 0040f809?? 0: 00000000?? 0: 0202102a? ?0: 1040001d?? 0: 00000000

    ?0:

    ? 0:<4>Disabling lock debugging due to kernel taint


    ?
    2.2? 異常信號

    異常與信號之間的關系:

    2.3? 線程信息分析

    0:Cpu 0:這2個0為當前CPU核ID;

    ??0:Show thread info from vcpu 0

    ? 0: VCPU?? Stack bottom????? Task????????????????? Ti at

    ? 0:? 0??? c000000595057fe0?? ?swapper????????????? c000000595054000

    VCPU:CPU核;

    Stack bottom:棧底指針;

    Task:線程名;

    Ti at:線程thread_info結構體指針;

    ?0:Thread info( c000000595054000 ):

    ? 0:??? Process swapper (pid: 1)

    ? 0:? exec_domain ffffffffc0f299b0

    ? 0:? flags 100000

    ? 0:? tp_value 0

    ? 0:? cpu 0

    ? 0:? preempt_count 2

    ? 0:? regs (null)

    ? 0:STACK_END_MAGIC at va( c000000595054068 ): 57AC6E9D( =? 57AC6E9D)?


    flags :線程標志位,具體標記如下表。此時值為TIF_FIXADE,表示有address errors。
    Thread info( c000000595054000 ):產生異常的線程信息;下面的字段為thread_info結構體中的字段信息。其中,

    preempt_count:為搶占計數。為0時,內核可以安全的執行搶占此線程。不為0,表示當前進程持有鎖不能釋放CPU控制權(不能被搶占)。

    STACK_END_MAGIC:棧底部的魔幻數,可以輔助判斷棧是否被踩。

    #define TIF_SIGPENDING 1 /* signal pending */ #define TIF_NEED_RESCHED 2 /* rescheduling necessary */ #define TIF_SYSCALL_AUDIT 3 /* syscall auditing active */ #define TIF_SECCOMP 4 /* secure computing */ #define TIF_NOTIFY_RESUME 5 /* callback before returning to user */ #define TIF_RESTORE_SIGMASK 9 /* restore signal mask in do_signal() */ #define TIF_USEDFPU 16 /* FPU was used by this task this quantum (SMP) */ #define TIF_POLLING_NRFLAG 17 /* true if poll_idle() is polling TIF_NEED_RESCHED */ #define TIF_MEMDIE 18 #define TIF_FREEZE 19 #define TIF_FIXADE 20 /* Fix address errors in software */ #define TIF_LOGADE 21 /* Log address errors to syslog */ #define TIF_32BIT_REGS 22 /* also implies 16/32 fprs */ #define TIF_32BIT_ADDR 23 /* 32-bit address space (o32/n32) */ #define TIF_FPUBOUND 24 /* thread bound to FPU-full CPU set */ #define TIF_LOAD_WATCH 25 /* If set, load watch registers */ #define TIF_XKPHYS_MEM_EN 26 #define TIF_XKPHYS_IO_EN 27 #define TIF_SYSCALL_TRACE 31 /* syscall trace active */

    ?

    2.4? 寄存器分析?

    ??0:$ 0?? :? 0: 0000000000000000? 0: 0000000000000000? 0: 0000000000000000? 0: 0000000000000001? 0:

    ? 0:$ 4?? :? 0: 0000000000000000? 0: 0000000000000000? 0: ffffffffffffffff? 0: 0000000000002976 ?0:

    ? 0:$ 8?? :? 0: 0000000000007fff? 0: 000000000000000a? 0: 5f73746172747570? 0: 000000000000006c? 0:

    ? 0:$12?? :? 0: 0000000000000068? 0: 000000000000004c? 0: ffffffffc10bc384? 0: c000000593338000? 0:

    ? 0:$16?? :? 0: 0000000000000000? 0: ffffffffc10e42b8? 0: ffffffffc10e0000? 0: ffffffffc10e0000? 0:

    ? 0:$20?? :? 0: 0000000000000000? 0: 0000000000000080? 0: 0000000000000080? 0: 0000000000000000? 0:

    ? 0:$24?? :? 0: 0000000000000006? 0: ffffffffc06501a8? 0:?????????????????? 0:?????????????????? 0:

    ? 0:$28?? :? 0: c000000595054000? 0: c000000595057c88 ?0: 0000000000000000? 0: ffffffffc087bf40? 0:

    ? 0:Hi??? : 0000000000000000

    ? 0:Lo??? : 0000000000000000

    ? 0:epc?? : ffffffffc087c4b4 _bcore_cleanup+0x34/0x190

    ? 0:??? Not tainted

    ? 0:ra??? : ffffffffc087bf40 _init+0x3e8/0x480

    ??0:Status: 5400ffe3????? 0:KX?? 0:SX ??0:UX?? 0:KERNEL?? 0:EXL?? 0:IE?? 0:

    ? 0:Cause : 00800008

    ? 0:BadVA : 0000000000000008

    ? 0:PrId? : 000c1102 (XLP316?? A2? )

    ?

    Mips核心寄存器組有4組,分別是GP, COP0, COP1, COP2。

    其中COP0幾個重要的寄存器解釋如下:

    Status:c0p0狀態cp0_status。其中EXL標示在異常模式中,具體解釋請參照《參考資料6.7 第193頁》

    Cause:00800008,標示 TLB exception(load or instruction fetch)

    BadVA:產生異常的虛擬地址,如地址錯誤、無效的TLB,TLB modified等等。

    2.5? 調用棧分析

    0:Process swapper (pid: 1, threadinfo=c000000595054000, task=c000000595053898, tls=0000000000000000)

    ? 0:Stack :? 0: ffffffffffffffff? 0: ffffffffc10e0000? 0: c000000595193240? 0: 0000000000000001? 0:

    ???????? 0: ffffffffc104365c? 0: ffffffffc087bf40? 0: 000001fac104365c? 0: ffffffffc087cb30? 0:

    ? ???????0: ffffffffc087c3a8? 0: 0000000000000000? 0: ffffffffc0f4a778? 0: c000000595193000? 0:

    ???????? 0: c000000595193240? 0: 0000000000000001? 0: ffffffffc10e0000? 0: c000000595193240? 0:

    ???????? 0: 0000000000000001? 0: ffffffffc104365c? 0: 0000000000000000? 0: 0000000000000080? 0:

    ???????? 0: 0000000000000080? 0: ffffffffc1043c44? 0: 00008a17bc300000? 0: ffffffffc10e0000? 0:

    ???????? 0: c00000059333dd40? 0: 0000000000000000? 0: 3800000000000000? 0: 0000000000000000? 0:

    ???????? 0: 000000009333dd40? 0: ffffffffc1043638? 0: 000000005400ffe0? 0: ffffffffbfff00fe? 0:

    ???????? 0: ffffffffc1070000? 0: ffffffffc1063200? 0: 0000000000000001? 0: ffffffffc104365c? 0:

    ???????? 0: 0000000000000000? 0: 0000000000000080? 0: 0000000000000080? 0: 0000000000000000? 0:

    ? ???????0: ...? 0:

    ? 0:Call Trace: [jiffies: 0xfffff79f]

    ? 0:[<ffffffffc087c4b4>] _bcore_cleanup+0x34/0x190

    ? 0:[<ffffffffc087bf40>] _init+0x3e8/0x480

    ? 0:[<ffffffffc1043c44>] bcmxgs_init_module+0x5e8/0xc00

    ? 0:[<ffffffffc060eebc>] do_one_initcall+0x3c/0x1a0

    ? 0:[<ffffffffc102cc04>] kernel_init+0x220/0x2b8

    ? 0:[<ffffffffc062c730>] kernel_thread_helper+0x10/0x20

    ? 0:

    ? 0:

    Code:? 0: ffbf0028?? 0: 0000802d?? 0: 663142b8?? 0:<dc420008>? 0: 0040f809?? 0: 00000000?? 0: 0202102a?? 0: 1040001d?? 0: 00000000

    ?0:


    Call Trace:出現異常線程的調用棧信息。
    Stack:出現異常線程的堆棧信息。

    Code:異常附近的指令碼打印。其中0:<dc420008>為epc處的指令碼,對應代碼位置為(epc?? : ffffffffc087c4b4 _bcore_cleanup+0x34/0x190)。具體代碼需要反匯編定位。

    反匯編定位方法與Powerpc的相同。

    ?

    分析代碼可知,異常由于訪問了BadVA : 0000000000000008的非法地址,查看_bcore_cleanup代碼,可知此時bde指針沒有初始化,是空指針,所以bde->num_devices的地址剛好是0000000000000008,導致異常。

    異常代碼段如下:

    _bcore_cleanup(void)

    {

    ??? for (unit = 0; unit < bde->num_devices(BDE_ALL_DEVICES); unit++)

    ?

    6.參考資料

    6.1???????? http://en.wikipedia.org/wiki/Unix_signal

    6.2???????? http://www.powerlinuxchina.net/club/viewthread.php?tid=981

    6.3???????? 《PowerPC? e500 Application Binary Interface User’s Guide》

    6.4???????? 《PowerPC? e500 Core Family Reference Manual》

    6.5???????? 《MPC8572E PowerQUICC? III Integrated Host Processor Family Reference Manual》

    6.6???????? 《SYSTEM V APPLICATION BINARY INTERFACE – MIPS RISC Processor Supplement》

    6.7???????? 《XLP 300-/300-Lite-Series-Processor Programmer’s Register Reference Guide》

    6.8???????? http://blog.chinaunix.net/uid-16459552-id-3459993.html

    6.9???????? http://blog.chinaunix.net/uid-16459552-id-3257539.html

    6.10???? http://www.linuxspy.info/2249/tainted-kernel/

    ?

    --EOF--

    轉載于:https://www.cnblogs.com/wahaha02/p/5363793.html

    總結

    以上是生活随笔為你收集整理的Linux Kernel Oops异常分析的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

    一区二区视频在线观看免费 | 日韩 在线观看 | 亚洲成人蜜桃 | 久久成年人 | 欧美激情另类文学 | 精品久久久久久久久久久久久久久久久久 | 亚洲一区二区精品视频 | 成人精品视频久久久久 | 欧美精品一区二区蜜臀亚洲 | 青青河边草免费 | 国产资源av | 911国产在线观看 | 国产福利av在线 | 久久大视频 | 国产天天爽 | 极品久久久久 | 91九色视频在线播放 | 在线亚洲日本 | 狠狠狠狠狠操 | 国产精品免费大片视频 | 色网址99| 精品成人免费 | 久久久精品影视 | 久久综合欧美精品亚洲一区 | 免费看亚洲毛片 | 国产 日韩 欧美 自拍 | 97超碰香蕉 | 欧美日韩亚洲一 | 字幕网av | 日韩中文字幕国产精品 | 久久久网| 日韩字幕| 玖玖在线免费视频 | 国外av在线 | 国产日韩精品在线观看 | 国产精品专区h在线观看 | 麻花豆传媒mv在线观看网站 | 久久99精品久久久久久久久久久久 | 成人黄色在线 | zzijzzij亚洲成熟少妇 | 国模精品一区二区三区 | 玖玖在线免费视频 | 亚州精品一二三区 | 久久国产精品小视频 | 午夜精品一区二区三区在线观看 | 一级一片免费看 | 又黄又色又爽 | 久久综合99| 在线观看一区 | 日韩高清一二区 | 精品国产99国产精品 | 国产一二三四在线观看视频 | 一区二区三区国产精品 | 婷婷久久国产 | 丁香电影小说免费视频观看 | 久久国产精品一国产精品 | 激情婷婷久久 | 91看片淫黄大片在线播放 | 中文字幕亚洲欧美 | 免费网站观看www在线观看 | 免费网址你懂的 | 亚洲精品视频二区 | 在线中文字幕播放 | 精品久久久久一区二区国产 | 91av在线电影 | 波多野结衣在线视频一区 | 操操操com | 成人av高清在线观看 | 免费看污在线观看 | 婷婷综合国产 | 国产精品一区二区62 | 97成人免费视频 | 天天躁日日躁狠狠躁av中文 | 久久电影中文字幕视频 | 涩涩网站在线 | 日韩欧美一区二区在线播放 | 黄污视频网站大全 | 热久久99这里有精品 | 国产v在线播放 | 2021国产精品视频 | 999成人精品 | 香蕉视频久久 | 久久久96| 91桃色视频| 国产精品久久久久久久久蜜臀 | 99亚洲国产精品 | 午夜18视频在线观看 | 精品高清美女精品国产区 | 亚洲精品资源在线 | 亚洲精品中文字幕视频 | 一级免费片 | 91福利视频久久久久 | 视频成人永久免费视频 | 在线观看911视频 | 国产私拍在线 | 日韩三级视频在线看 | 高清精品在线 | 成人h在线播放 | 日韩国产精品一区 | 激情综合网天天干 | 开心激情久久 | 成片免费观看视频大全 | 日韩经典一区二区三区 | 热久久这里只有精品 | 五月婷av | 国产九九在线 | 少妇精69xxtheporn | 日韩最新av在线 | 在线观看视频h | 91九色porny蝌蚪主页 | 亚洲精品免费观看 | 亚洲精品一区二区三区新线路 | 女人高潮一级片 | 国产精品1区 | 在线观看中文字幕第一页 | 涩涩网站在线观看 | 亚洲丁香日韩 | 四虎天堂| 国产精品手机在线观看 | 亚洲成a人片77777kkkk1在线观看 | av免费在线播放 | 成人在线观看影院 | 久久香蕉电影 | 在线影视 一区 二区 三区 | 97成人在线 | 久久精品一区二区三 | 色视频一区| 国产午夜精品一区二区三区 | 天天干天天搞天天射 | 在线观看日韩免费视频 | 97人人澡人人爽人人模亚洲 | 国产成人在线网站 | 99亚洲天堂 | 99福利片 | www.91国产| 一级精品视频在线观看宜春院 | 色婷婷亚洲精品 | 日韩欧美国产免费播放 | 韩国三级在线一区 | 亚欧日韩av | 久久这里只有精品久久 | 亚洲国产精品视频在线观看 | 日韩剧情 | 二区三区在线观看 | 9999精品| 青青河边草手机免费 | 日韩中文字幕免费视频 | 国产色视频一区二区三区qq号 | 国产原创在线视频 | 亚洲春色成人 | 中文字幕免费观看视频 | 亚洲国产精品一区二区久久,亚洲午夜 | 国产做aⅴ在线视频播放 | 91尤物在线播放 | 中文字幕黄色 | 五月婷婷六月丁香在线观看 | 人人射人人射 | 亚洲另类视频在线 | 久久综合中文色婷婷 | 在线中文字母电影观看 | 国产成人精品久久久久 | 97超碰人人模人人人爽人人爱 | 成人a免费看 | 国内丰满少妇猛烈精品播放 | 三级黄色大片在线观看 | 午夜精品久久久久久久99水蜜桃 | 天天射天天做 | 天天草天天干天天射 | 精品在线99| 亚洲国产精品日韩 | 一区二区三区韩国免费中文网站 | av一级片| 91看片成人 | 日日操狠狠干 | av免费网页 | 综合久久精品 | 国产成人精品在线观看 | 亚洲最新视频在线 | 精品久久久久一区二区国产 | 99久久国产免费,99久久国产免费大片 | 中文字幕成人一区 | 狠狠操夜夜 | 最近日韩免费视频 | 国产伦精品一区二区三区照片91 | 深爱开心激情 | 色综合久久久久综合体 | 国内外成人在线视频 | 久久精品久久精品久久 | 久久99国产精品免费网站 | 久艹在线播放 | 91视频电影 | 奇米四色影狠狠爱7777 | 天天操狠狠干 | 天天综合婷婷 | 在线中文字母电影观看 | 国内精品久久久久影院一蜜桃 | 国产成人不卡 | 日韩激情视频在线 | 日韩中文字 | 青青色影院 | 1000部国产精品成人观看 | 久久久久久久久久久久电影 | 亚洲日本欧美 | 国产中文自拍 | 国产丝袜高跟 | 99这里都是精品 | 91人人射 | 日韩a级黄色 | 亚洲国产精品va在线 | 九九久久久久久久久激情 | 国产精品视频永久免费播放 | 天天爽天天爽夜夜爽 | 国产精品美女免费视频 | 欧美一区二区精品在线 | 亚洲精品国产片 | 网址你懂的在线观看 | 日本h视频在线观看 | 国产黄色片一级三级 | 天天操天天爱天天爽 | 久草91视频 | 久草视频观看 | 国产精品va在线观看入 | 国产精品久久久久久久久大全 | 亚洲精品乱码久久久久久蜜桃欧美 | 精品1区2区3区 | 免费观看福利视频 | 中文字幕免费观看 | 国产又粗又猛又黄 | 久久久久久电影 | 国产一区二区三区高清播放 | 婷婷婷国产在线视频 | 久久xxxx| 中文字幕亚洲精品在线观看 | 黄色一级性片 | 狠狠精品 | 美女黄频 | 亚洲国产三级在线 | 国产流白浆高潮在线观看 | a级成人毛片 | 亚洲天堂网在线视频观看 | 一区二区三区国产精品 | 正在播放亚洲精品 | 国产亚洲精品久久久久久久久久 | 国产精品免费在线视频 | 婷婷爱五月天 | 麻豆国产精品一区二区三区 | 国产成人一区二区三区免费看 | 日韩av在线影视 | 中文字幕免费 | 国产精品美女久久久 | 六月丁香久久 | japanesexxxxfreehd乱熟| 色综合天天色综合 | 日韩精品一区二区免费视频 | 在线你懂的视频 | 亚洲精品www | 日韩久久久久久久久久 | 国产精品成人一区二区 | av在线播放亚洲 | 国产午夜精品一区二区三区欧美 | 伊人射 | 欧美黑人巨大xxxxx | 五月天久久婷 | 国产精彩视频一区二区 | 81国产精品久久久久久久久久 | av免费在线观看网站 | 欧美一区二区三区四区夜夜大片 | 爱爱av在线 | 国产精品久久久99 | 国产精品热视频 | 国产青青青 | 日韩av区| 中文字幕网址 | 国产麻豆视频免费观看 | av电影在线观看完整版一区二区 | 黄色午夜 | 久久亚洲成人网 | 亚洲精品网站在线 | 国产一级黄色免费看 | 久久久久成人精品亚洲国产 | 久久久久久国产精品美女 | 免费在线观看亚洲视频 | 91成人看片| 91精品视频一区二区三区 | 久久理伦片 | 国产午夜精品一区 | 日韩欧美在线一区二区 | 视频在线亚洲 | 日韩精品中字 | 日韩中文字幕免费视频 | 国产视频一区在线免费观看 | 视频91在线| 天天操天天摸天天爽 | 国产香蕉久久 | 欧美国产日韩一区二区三区 | 精品国产免费久久 | 亚洲三级精品 | 黄色一级大片在线免费看国产一 | www..com黄色片 | 国产小视频在线 | 最新黄色av网址 | 日韩精品首页 | 亚洲欧美激情插 | 精品国偷自产国产一区 | 国产成人精品综合久久久 | 国产精品毛片完整版 | 麻豆免费在线播放 | 日韩在线观看网站 | 日本 在线 视频 中文 有码 | 91九色精品女同系列 | 香蕉视频在线免费 | 97在线看| 狠狠色丁香九九婷婷综合五月 | 国产精品96久久久久久吹潮 | 国产精品久久久久久久久久尿 | 国产美女免费视频 | 国产黄在线免费观看 | 久久国产精品小视频 | 在线国产能看的 | 99国产免费网址 | 免费高清在线视频一区· | 午夜精品一区二区三区可下载 | 不卡的av在线 | 999国产在线| 日韩网站在线观看 | 欧美成人精品三级在线观看播放 | 一区二区视频免费在线观看 | 97爱爱爱 | 中文字幕2021 | 国产在线视频不卡 | 97理论片 | 美女视频黄在线观看 | 黄色免费av | 丁香花在线视频观看免费 | 日韩欧美xxx | 久久九九九九 | 亚洲另类视频在线 | 日韩专区 在线 | 在线午夜 | 波多野结衣一区二区三区中文字幕 | 91成熟丰满女人少妇 | 久久综合久久综合这里只有精品 | 日韩免费在线视频观看 | 91精品久久久久 | 在线观看aaa | 黄色一级影院 | 久久综合9988久久爱 | 99在线热播精品免费 | 国产精品中文字幕av | 久久久婷 | 日韩精品视频免费专区在线播放 | 国产一区二区三区免费观看视频 | 99久久99久久精品免费 | 久久久www成人免费精品 | 免费视频 三区 | 婷婷看片 | 国产精彩视频一区二区 | 国产91精品在线播放 | 免费日韩 精品中文字幕视频在线 | 色视频成人在线观看免 | 四虎影视国产精品免费久久 | 婷婷av网| 久久精品影视 | 久久久久久久99 | 91视频最新网址 | 精品国产一区二区三区在线 | 色综合久久综合中文综合网 | 久久久久久毛片精品免费不卡 | 日韩在线观看你懂得 | 99视频在线精品 | 麻豆一区在线观看 | 九月婷婷综合网 | 国产精品久久久久婷婷二区次 | 最近中文字幕国语免费av | 在线观看亚洲a | 精品少妇一区二区三区在线 | 天天爽天天爽夜夜爽 | 在线看v片 | 在线成人一区二区 | 精品国产电影 | 黄色影院在线播放 | 日韩av看片| 四虎在线视频 | 国产精品激情在线观看 | 国产一区二区久久 | www.伊人网| 国产精品自产拍在线观看网站 | 人人爽久久涩噜噜噜网站 | 九九日九九操 | 天天操天天爽天天干 | 久久国产精品久久w女人spa | 亚洲精品免费在线观看视频 | 成人h在线播放 | 伊人国产视频 | 亚洲一区二区三区91 | 国产黄免费看 | 久久久www| 日韩在线免费视频观看 | 国产一级片视频 | 国产做aⅴ在线视频播放 | 久草在线在线 | 日本中文字幕视频 | 色视频在线 | 中文字幕在线人 | 中文在线中文资源 | 国产高清在线精品 | 欧美激情另类文学 | 99 久久久久| 一区在线电影 | 最新国产精品久久精品 | 一级片色播影院 | 日韩电影一区二区在线 | ww视频在线观看 | 国产精品久久久久久久久费观看 | 免费看片亚洲 | 欧美一区中文字幕 | 青青草国产精品视频 | 美女久久网站 | 99热在线国产精品 | 久久99国产视频 | 亚洲一区 av | 日韩在线高清视频 | 操操操夜夜操 | 中文字幕.av.在线 | 国产精品精品久久久久久 | 国精产品999国精产品岳 | 国产中年夫妇高潮精品视频 | 欧美激情视频一二区 | 在线免费观看黄网站 | 在线99视频 | 亚洲免费在线视频 | 精产嫩模国品一二三区 | 国产午夜精品免费一区二区三区视频 | 国产精品国内免费一区二区三区 | 91av在线国产| 日韩视频免费看 | 美女免费视频一区二区 | 成人免费观看av | 亚洲精品高清在线 | 欧美日韩国产欧美 | 欧美在线aaa | 中文字幕 国产视频 | 久草精品在线播放 | 国产999 | 亚洲最新av网址 | 国产黄色片一级 | 高清不卡一区二区三区 | 999国产在线 | 国产色在线| 五月婷婷久久综合 | 国产黄色片久久久 | 激情综合电影网 | 久久综合五月天婷婷伊人 | 中文在线字幕免费观 | www成人精品| 国产不卡免费视频 | 久久精品日产第一区二区三区乱码 | 超碰在线人人艹 | 国产在线超碰 | 久久爽久久爽久久av东京爽 | 欧美日韩18 | 日韩精品视频在线观看网址 | 日韩精品一区二区三区丰满 | 成人在线视频免费观看 | 人人爽久久涩噜噜噜网站 | 麻豆视频一区 | 久草久草视频 | 日韩高清激情 | 精品xxx | 天天做综合网 | 一区二区三区高清不卡 | 十八岁以下禁止观看的1000个网站 | 欧美一级性生活片 | 精品在线观看国产 | 日狠狠| 天天躁日日躁狠狠躁av中文 | 久久久国产精品亚洲一区 | 日韩综合视频在线观看 | 久草电影网| 99精品在线观看视频 | 国产精品永久久久久久久久久 | 久久精品直播 | 麻豆传媒视频在线免费观看 | 可以免费看av | 狠狠狠色狠狠色综合 | 韩国av永久免费 | 色美女在线 | 精品久久视频 | 久久艹精品 | 久草在线免费看视频 | 91chinesexxx | 久久99热国产 | 天天干干 | 欧洲一区二区三区精品 | 一级理论片在线观看 | 欧美性精品| 日本久久久久久久久久久 | 国产亚洲精品无 | 一区二区三区 中文字幕 | 日韩中文在线字幕 | 狠狠干美女 | 久草在线免费新视频 | 91精品久久久久久综合乱菊 | 最新真实国产在线视频 | 国产精品久久久免费看 | 欧美日韩精品区 | 天天曰天天射 | 99这里只有精品视频 | 日韩网站在线看片你懂的 | 欧美日韩精品影院 | 四虎www | 高清不卡毛片 | 五月天国产 | 欧美激情综合网 | 视频在线国产 | 日日干干夜夜 | av国产网站| 欧美日韩精| 久久久精品国产一区二区电影四季 | 很黄很污的视频网站 | 亚洲精品美女在线 | 欧美日韩不卡一区二区三区 | 日韩在线观看一区二区 | 97在线视频免费观看 | 国产日韩欧美精品在线观看 | 国产99黄 | 久久福利| 伊人国产视频 | 91精品国自产在线观看 | 爱爱一区 | 国产一级小视频 | 在线黄色观看 | 国产精品免费久久久 | 久久免费视频4 | 久久久网站| 丁香九月婷婷综合 | 国产成人一级 | 国产在线 一区二区三区 | 999久久久久久久久久久 | 久久久久久久久艹 | 操久 | 久久国产精品一区二区三区四区 | 久久综合九色欧美综合狠狠 | 91免费国产在线观看 | 成年人三级网站 | 福利视频在线看 | 欧美精品久久人人躁人人爽 | 中文字幕在线播放日韩 | 97视频在线观看成人 | 天天摸天天操天天爽 | 中文字幕在线观看91 | 搡bbbb搡bbb视频 | 激情五月综合 | 国产高清精品在线 | 亚洲91中文字幕无线码三区 | 亚洲精品国产精品久久99 | 人人爽人人爽人人爽学生一级 | 91麻豆精品国产91久久久使用方法 | 激情网站五月天 | 久久精品一区二区三 | 亚洲成人黄色在线 | 久久成人在线视频 | 久久综合狠狠综合久久狠狠色综合 | 午夜av一区二区三区 | 国产成人三级三级三级97 | 精品国产片| 肉色欧美久久久久久久免费看 | 欧美激情精品久久 | 午夜影院一级 | 国产美女被啪进深处喷白浆视频 | 免费大片黄在线 | 亚州精品天堂中文字幕 | www.天堂av| 免费www视频 | 婷婷五月情 | av资源网在线播放 | 久久午夜羞羞影院 | 天天色婷婷 | 97超碰中文 | 亚洲二区精品 | 亚洲影音先锋 | 天堂激情网 | www.国产在线观看 | 在线三级播放 | 丁香5月婷婷 | 五月情婷婷 | 三级在线视频播放 | 久久久久久久毛片 | 99久热在线精品视频成人一区 | 狠狠干 狠狠操 | 成人av av在线 | 在线观看国产一区 | 操高跟美女| 91热精品 | 久久免费视屏 | 国产精品中文字幕在线播放 | 一区二区亚洲精品 | 欧美日视频 | 青青草华人在线视频 | 色香网 | 亚洲高清视频一区二区三区 | 亚洲一级电影 | 四虎成人网 | 日本在线观看中文字幕 | 国产破处在线播放 | 91丨九色丨丝袜 | 日韩性片| 在线看片91 | 中文字幕日韩在线播放 | 日韩专区 在线 | 亚洲黄色一级电影 | 成人午夜电影网 | 亚洲黄色免费网站 | 五月婷婷黄色 | 国产精品午夜免费福利视频 | 亚洲人成人天堂h久久 | 夜色资源站wwwcom | 亚洲国产视频网站 | 免费人成网ww44kk44 | 丁香免费视频 | 国产精品18久久久久久久网站 | www.日本色 | 日韩电影在线视频 | av短片在线观看 | 色黄www小说| 亚洲人成人天堂h久久 | 99精品欧美一区二区蜜桃免费 | 久久精品国产精品亚洲 | 国产免费一区二区三区最新 | 久久av一区二区三区亚洲 | 干 操 插 | 狠狠躁日日躁夜夜躁av | 91福利区一区二区三区 | 国产精品久久久久久久久久久杏吧 | 特级西西www44高清大胆图片 | 天天玩天天操天天射 | 手机看片国产日韩 | 久久中文网 | 免费婷婷| 色偷偷88欧美精品久久久 | 久久一级片 | 亚洲一区二区视频在线 | 深爱婷婷网 | 在线观看视频亚洲 | 五月天com | 国产精品久久久网站 | 成人国产精品电影 | 91九色视频观看 | 中文字幕乱码在线播放 | 久久乐九色婷婷综合色狠狠182 | 最近免费中文字幕mv在线视频3 | 亚洲欧美日韩精品久久久 | 欧日韩在线| 午夜色场 | 久久久国产精品网站 | 黄色99视频 | 久久精品这里热有精品 | 韩国视频一区二区三区 | 天天操福利视频 | 深爱五月激情五月 | 干亚洲少妇 | 欧美一二三区播放 | 激情五月av | 免费在线视频一区二区 | 国产亚州精品视频 | 在线色资源 | 久久久久久久久久久国产精品 | 欧美日产在线观看 | 欧美日本日韩aⅴ在线视频 插插插色综合 | 亚洲精品美女在线观看播放 | 中文字幕在线看视频国产中文版 | 亚洲 av网站| 成年人毛片在线观看 | 久久在线免费视频 | 亚洲欧美视频在线 | 免费观看高清 | 96亚洲精品久久久蜜桃 | 国产精品18久久久 | 久久久五月天 | 日韩免费视频观看 | 亚洲综合五月 | 91九色pron| 日韩精品2区 | 国产在线观看你懂得 | 国产精品嫩草影院123 | 伊人久久影视 | 久草视频资源 | av黄网站| 国产一区二区精品久久91 | 国产日产精品久久久久快鸭 | 五月综合| 天天干天天怕 | 久久久久久国产精品久久 | 高清av中文字幕 | 色久综合 | 久久国产高清视频 | 在线观看国产 | 国产一区二区在线免费播放 | 黄色精品在线看 | 日韩国产精品一区 | 在线播放国产一区二区三区 | 国产福利在线免费 | 久久精品一区 | www.国产毛片| 一级黄色大片在线观看 | 婷婷丁香社区 | 婷婷综合在线 | 日韩精品视频在线免费观看 | 精品在线小视频 | 免费合欢视频成人app | 亚洲欧美日韩国产一区二区 | 日韩精品欧美视频 | 亚洲精品日韩一区二区电影 | 国产热re99久久6国产精品 | 在线视频 你懂得 | 香蕉久久久久久久 | 日韩欧美综合精品 | 国产成人福利 | 日日综合| 97视频免费看 | 成人国产精品免费观看 | 国产精品久久久久久久久蜜臀 | 成人免费一区二区三区在线观看 | 日韩中文字幕国产精品 | 免费看搞黄视频网站 | 999ZYZ玖玖资源站永久 | 91理论电影| 波多野结衣在线视频一区 | 一区二区成人国产精品 | www.夜夜骑.com | 91九色在线观看视频 | 免费一级片在线 | 天天综合成人网 | 黄色的网站在线 | 一区二区视频免费在线观看 | 成人av播放| 成人a在线观看高清电影 | 视频一区二区国产 | 99久久久久国产精品免费 | 成人小视频在线观看免费 | 91一区二区三区在线观看 | 国产精品中文久久久久久久 | 丰满少妇高潮在线观看 | 日本少妇久久久 | 99亚洲精品在线 | 精品在线免费观看 | 国产精品福利小视频 | 999国内精品永久免费视频 | 亚洲一区二区三区毛片 | 亚洲精品在线视频网站 | 国产精品av在线 | 国产破处视频在线播放 | 国产亚洲精品久久网站 | 国产黄网站在线观看 | 国产亚洲精品中文字幕 | 狠狠色丁香婷婷综合久小说久 | 一级性av| 亚洲国产精品va在线看黑人动漫 | 日韩免费一区二区在线观看 | 亚洲综合激情 | 国产精品精品 | 中文字幕一区三区 | 欧美精品乱码99久久影院 | 高清av在线| 黄色软件在线观看免费 | 天天爱天天射 | 伊人网站| 成人天堂网 | 欧美精品中文在线免费观看 | 精品一区二区三区四区在线 | 欧美精品中文在线免费观看 | 久久极品 | 一区二区三区四区五区在线视频 | 亚洲欧美国产视频 | 色诱亚洲精品久久久久久 | av亚洲产国偷v产偷v自拍小说 | 91成人网在线观看 | 久久精品电影院 | 国产剧情久久 | 中文伊人 | 特黄免费av | av免费看电影 | 久久国产精品一区二区 | 人人插人人| 日韩最新在线 | 波多野结衣电影一区 | 激情文学综合丁香 | 99久精品视频 | 中文av字幕在线观看 | 9999毛片 | 黄色小说在线免费观看 | 九九免费在线观看视频 | 亚洲尺码电影av久久 | 国产精品久久久久久久久软件 | 一区二区三区在线免费观看 | 五月天久久精品 | 亚洲成人国产 | 在线观看视频你懂的 | 国产资源在线视频 | 久久69av | 欧美精品久久久久久久亚洲调教 | av黄色一级片 | 在线观看av网站 | 操操操日日日 | 久久国产精品影片 | 日韩精品视频久久 | 狠狠色丁香婷婷综合久小说久 | 国产亚洲人成网站在线观看 | 国产色久 | 综合精品久久 | 九九三级毛片 | 国产免费中文字幕 | 在线免费观看黄色小说 | 国产黄色精品视频 | 色干干 | 欧美另类高清 | 国产精品视频全国免费观看 | 欧日韩在线视频 | 国际av在线| 欧美福利精品 | 久久在线| 亚洲更新最快 | av福利在线导航 | 蜜臀av夜夜澡人人爽人人桃色 | 99热国内精品 | 久久久久综合网 | 麻豆免费视频观看 | 久草视频在线资源 | 91中文字幕永久在线 | 亚洲精品日韩一区二区电影 | 五月激情在线 | 日韩欧美一区二区在线观看 | 懂色av懂色av粉嫩av分享吧 | 激情五月婷婷激情 | 亚洲日本va中文字幕 | 欧美成人亚洲 | 亚洲专区视频在线观看 | 国产偷v国产偷∨精品视频 在线草 | 国产精品theporn | 欧美日韩高清在线一区 | 精品日韩在线一区 | 五月婷香 | 国产精品大全 | 久久草草影视免费网 | 日韩有码网站 | 亚洲影院一区 | 久久国产电影 | 欧洲色吧 | 日本天天色 | 97成人精品区在线播放 | 色偷偷88888欧美精品久久久 | 国产一性一爱一乱一交 | 欧美在线一级片 | 亚洲精品看片 | 五月婷婷中文 | 久久国产精品免费看 | 亚洲黄污| 免费亚洲一区二区 | 国产高清一级 | 亚洲激情av | 日日夜夜天天久久 | 亚洲国内精品在线 | 久久综合免费 | 夜夜躁日日躁狠狠躁 | 欧美一区二区三区四区夜夜大片 | 久久精品国产精品亚洲 | 国产黄色观看 | 国产在线观看污片 | 中文字幕一区在线观看视频 | 又爽又黄又刺激的视频 | 国产精品一区二区精品视频免费看 | 亚洲一区二区精品在线 | 中国一级特黄毛片大片久久 | 久久精品中文视频 | 天天综合网 天天综合色 | 激情综合啪 | 中文字幕日韩无 | 中文字幕在线观看一区 | 麻豆久久久 | 亚洲精品中文字幕视频 | 久久麻豆视频 | 欧美a√大片| 亚洲精品永久免费视频 | 日韩在线播放视频 | 成人午夜黄色影院 | 中文字幕在线看视频国产 | 丝袜+亚洲+另类+欧美+变态 | 欧洲黄色片 | 国精产品永久999 | 久久久久久免费网 | 91黄站| 色综合天天综合网国产成人网 | 日日操日日插 | 久 久久影院 | 国产高清在线 | 免费看日韩 | 国产一级黄大片 | 91丨九色丨蝌蚪丨老版 | 国产成人精品一二三区 | 免费观看mv大片高清 | 亚洲精品免费在线视频 | 久久区二区 | 丁香视频全集免费观看 | 久久久久久久久免费 | 国产理论一区二区三区 | 丁香五月网久久综合 | av免费电影网站 | 日韩,精品电影 | 亚洲婷婷免费 | 91免费视频国产 | 免费看一级黄色大全 | 国产精品欧美日韩在线观看 | 国产精品成人av在线 | 色综合天天色综合 | 色吊丝在线永久观看最新版本 | 日韩理论电影在线 | 在线直播av | 91探花系列在线播放 | 一区二区视频在线播放 | 国产成人一区二区啪在线观看 | 成人97人人超碰人人99 | 婷婷九月丁香 | 久草观看视频 | 午夜在线免费观看视频 | 久久亚洲私人国产精品va | 欧美在线视频a | 久久99视频免费观看 | 91精品推荐 | 日本丰满少妇免费一区 | 日韩精品中文字幕在线播放 | 91在线精品秘密一区二区 | 91免费看黄色| av高清免费 | 69国产成人综合久久精品欧美 | 成人午夜片av在线看 | 国产网站av | 97av影院 | 蜜臀av性久久久久蜜臀av | 久久精品aaa | 免费高清影视 | 青青啪| 成人sm另类专区 | 亚洲不卡av一区二区三区 | 激情综合一区 | 婷久久 | 国产明星视频三级a三级点| 久久99热这里只有精品国产 | 亚洲美女免费精品视频在线观看 | 欧美精品一区二区蜜臀亚洲 | 992tv在线观看网站 | 五月婷婷视频在线 | 国产精品嫩草在线 | 国产一区二区影院 | 欧美日韩不卡在线视频 | 国产一二三区av | 久久精品99久久 | 一区中文字幕电影 | 国产精品永久免费观看 | 午夜精品av在线 | 久久91久久久久麻豆精品 | 亚洲天天摸日日摸天天欢 | 女人魂免费观看 | 在线播放 亚洲 | 亚洲国产精品电影在线观看 | 国产69久久 | 午夜天使 | 欧美一区日韩一区 | 超碰97人人爱 | 久久人人爽人人爽人人片av软件 | 中文字幕免 | 精品91| av在观看| 日韩网站在线观看 | 在线观看免费中文字幕 | 狠狠的操| 蜜桃av人人夜夜澡人人爽 | 成年人免费看的视频 | 国产一级免费视频 | www.久久久.com | 欧美精品亚洲精品 | 成人一级免费电影 | 成人av午夜| 久久精品99国产精品日本 | 国产精品午夜久久 | 中文字幕精品三级久久久 | 青草草在线 | 国语久久| 精品在线观看一区二区三区 | 中文字幕第一页在线播放 | 天天婷婷 | 草久久av| 黄色三级网站在线观看 | 国产精品私拍 | 色噜噜色噜噜 | 亚洲综合少妇 | 在线观看中文字幕第一页 | 亚洲1级片| 亚洲国产丝袜在线观看 |