日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

基于Zabbix IPMI监控服务器硬件状况

發布時間:2024/4/17 编程问答 71 豆豆
生活随笔 收集整理的這篇文章主要介紹了 基于Zabbix IPMI监控服务器硬件状况 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

公司有多個分部,且機房沒有專業值班,機房等級不夠。在這種情況下,又想實時監控機房環境,于是使用IPMI方式來達到目的。由于之前已經部署了Zabbix監控系統,本次將結合Zabbix自帶的IPMI,完成服務器溫度及風扇轉速等的監控。

1.環境說明

被監控端服務器型號:Dell PowerEdge R510
規劃分配的IPMI地址: 10.103.1.100

2.Zabbix監控平臺說明

Zabbix版本: 3.2.1,在安裝時,未使用--with-openipmi
Zabbix網絡接口可以連通10.103.1.100

3.前置學習

維基百科IPMI: http://zh.wikipedia.org/wiki/IPMI
IBM DeveloperWorks -- 使用ipmitool實現Linux系統下對服務器的ipmi管理:http://www.ibm.com/developerworks/cn/linux/l-ipmi/
Dell -- Managing Dell PowerEdge Servers Using IPMItool:http://www.dell.com/downloads/global/power/ps4q04-20040204-Murphy.pdf
Zabbix IPMI checks:https://www.zabbix.com/documentation/3.2/manual/config/items/itemtypes/ipmi
使用IPMITOOL實現終端重定向(課外讀物):http://docs.linuxtone.org/ebooks/Dell/ipmitool.pdf

4.配置IPMI

4.1.配置IPMI地址

可以參考前置推薦中的《Managing Dell PowerEdge Servers Using IPMItool》在服務器啟動時進行IPMI地址的配置,并開啟IPMI Over LAN。
也可以使用Dell的iDRAC開啟IPMI功能,具體可以查看文章最后的參考資料。

4.2.獲取傳感器信息

登錄Zabbix服務器,通過ipmitool遠程訪問Dell服務器傳感器信息

# ipmitool -I lan -H 10.103.1.100 -U root -P calvin -L user sensor list # ipmitool -I lan -H 10.103.1.100 -U root -P calvin -L user sensor get "FAN MOD 1B RPM"

4.3.安裝IPMItool軟件包

# yum -y install OpenIPMI OpenIPMI-devel ipmitool freeipmi

4.4.配置Zabbix

注:為了支持IPMI,需要在zabbix server/proxy安裝時增加--with-openipmi參數

服務器端配置zabbix IPMI pollers
zabbix_server.conf/zabbix_proxy.conf

# sed -i '/# StartIPMIPollers=0/aStartIPMIPollers=5' zabbix_server.conf # service zabbix-server restart

4.5.導入監控模板

下面提供DELL的2個型號的IPMI模板:
template-ipmi-dell-poweredge-r510
template-ipmi-dell-poweredge-2950
添加監控主機,關聯上本模板,并在IPMI頁面,設置Authentication algorithm為Default,Privilege level為User, Username為sensor, Password為sensor_pass,保存即可。
使用此種方法獲取數據的結果就是效率很差,基本沒什么數據。

5.使用Zabbix External checks自定義IPMI

本來是選擇nagios的IPMI插件:check_ipmi_sensor,文件是:check_ipmi_sensor_v3-v3.9.tar.gz
具體使用方法詳見:http://www.thomas-krenn.com/en/wiki/IPMI_Sensor_Monitoring_Plugin

5.1.安裝perl-IPC-Run模塊

yum -y install perl-IPC-Run perl-Getopt-Long

5.2.使用check_ipmi_sensor查看效果

但是發現報錯。

# ./check_ipmi_sensor -f ipmi.cfg -H 10.103.1.100 -vvv ------------- debug output for sel (-vvv is set): ------------/usr/sbin/ipmi-sel was executed with the following parameters:/usr/sbin/ipmi-sel -h 10.103.1.100 --config-file ipmi.cfg --driver-type=LAN_2_0 --output-event-state --interpret-oem-data --entity-sensor-namesoutput of FreeIPMI: ID | Date | Time | Name | Type | State | Event 1 | Apr-08-2011 | 06:42:13 | System Board SEL | Event Logging Disabled | Nominal | Log Area Reset/Cleared 2 | Jan-01-1970 | 08:00:31 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 3 | Jan-01-1970 | 08:00:36 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 4 | Aug-15-2011 | 23:09:53 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 5 | Aug-16-2011 | 11:38:25 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 6 | Aug-16-2011 | 11:38:25 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 7 | Aug-16-2011 | 11:38:55 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 8 | Jun-10-2012 | 22:41:13 | System Board Ambient Temp | Temperature | Warning | Upper Non-critical - going high ; Sensor Reading = 45.00 C ; Threshold = 45.00 C 9 | Jun-11-2012 | 02:53:53 | System Board Ambient Temp | Temperature | Nominal | Upper Non-critical - going high ; Sensor Reading = 43.00 C ; Threshold = 45.00 C 10 | Nov-05-2012 | 21:56:42 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 11 | Nov-14-2012 | 21:53:58 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 12 | Nov-14-2012 | 21:53:58 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 13 | Nov-14-2012 | 21:54:19 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 14 | Nov-15-2012 | 16:12:03 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 15 | Nov-17-2012 | 17:14:34 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 16 | Nov-17-2012 | 17:14:34 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 17 | Nov-17-2012 | 17:15:40 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 18 | Nov-19-2012 | 20:47:57 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 19 | Nov-19-2012 | 20:50:04 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 20 | Jan-01-1970 | 08:00:33 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 21 | Jan-01-1970 | 08:00:38 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 22 | Jun-27-2014 | 17:27:38 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 23 | Jun-27-2014 | 17:27:53 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 24 | Jan-01-1970 | 08:00:31 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 25 | Jan-01-1970 | 08:00:36 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 26 | Oct-31-2016 | 05:48:35 | System Board Ambient Temp | Temperature | Warning | Lower Non-critical - going low ; Sensor Reading = 8.00 C ; Threshold = 8.00 C 27 | Oct-31-2016 | 09:00:38 | System Board Ambient Temp | Temperature | Nominal | Lower Non-critical - going low ; Sensor Reading = 10.00 C ; Threshold = 8.00 C ------------- debug output for sensors (-vvv is set): ------------script was executed with the following parameters:./check_ipmi_sensor -f ipmi.cfg -H 10.103.1.100 -vvvcheck_ipmi_sensor version:3.9FreeIPMI version:ipmi-sensors - 1.2.9FreeIPMI was executed with the following parameters:/usr/sbin/ipmi-sensors -h 10.103.1.100 --config-file ipmi.cfg --quiet-cache --sdr-cache-recreate --interpret-oem-data --output-sensor-state --ignore-not-available-sensors --driver-type=LAN_2_0 --output-sensor-thresholdsFreeIPMI return code: 0output of FreeIPMI: Record ID | Sensor Name | Sensor Group | Monitoring Status | Sensor Units | Sensor Reading 5 | Ambient Temp | Temperature | Nominal | C | 28.000000 7 | CMOS Battery | Battery | Nominal | N/A | 'OK' 8 | VCORE PG | Voltage | Nominal | N/A | 'State Deasserted' 9 | VCORE PG | Voltage | Nominal | N/A | 'State Deasserted' 10 | 0.75 VTT PG | Voltage | Nominal | N/A | 'State Deasserted' 11 | 0.75 VTT PG | Voltage | Nominal | N/A | 'State Deasserted' 12 | CPU VTT PG | Voltage | Nominal | N/A | 'State Deasserted' 13 | 1.5V PG | Voltage | Nominal | N/A | 'State Deasserted' 14 | 1.8V PG | Voltage | Nominal | N/A | 'State Deasserted' 15 | 5V PG | Voltage | Nominal | N/A | 'State Deasserted' 16 | MEM CPU2 FAIL | Voltage | Nominal | N/A | 'State Deasserted' 17 | 5V Riser PG | Voltage | Nominal | N/A | 'State Deasserted' 18 | MEM CPU1 FAIL | Voltage | Nominal | N/A | 'State Deasserted' 19 | VTT CPU2 FAIL | Voltage | Nominal | N/A | 'State Deasserted' 20 | VTT CPU1 FAIL | Voltage | Nominal | N/A | 'State Deasserted' 21 | 0.9V PG | Voltage | Nominal | N/A | 'State Deasserted' 22 | CPU2 1.8 PLL PG | Voltage | Nominal | N/A | 'State Deasserted' 23 | CPU1 1.8 PLL PG | Voltage | Nominal | N/A | 'State Deasserted' 24 | 1.1 FAIL | Voltage | Nominal | N/A | 'State Deasserted' 25 | 1.0 LOM FAIL | Voltage | Nominal | N/A | 'State Deasserted' 26 | 1.0 AUX FAIL | Voltage | Nominal | N/A | 'State Deasserted' 27 | Heatsink Pres | Entity Presence | Nominal | N/A | 'Entity Present' 28 | iDRAC6 Ent Pres | Entity Presence | Critical | N/A | 'Entity Absent' 29 | USB Cable Pres | Entity Presence | Nominal | N/A | 'Entity Present' 31 | Riser Presence | Entity Presence | Nominal | N/A | 'Entity Present' 32 | FAN MOD 1A RPM | Fan | Nominal | RPM | 3480.000000 34 | FAN MOD 2A RPM | Fan | Nominal | RPM | 3480.000000 36 | FAN MOD 3A RPM | Fan | Nominal | RPM | 3480.000000 39 | FAN MOD 4A RPM | Fan | Nominal | RPM | 3480.000000 40 | Presence | Entity Presence | Nominal | N/A | 'Entity Present' 41 | Presence | Entity Presence | Nominal | N/A | 'Entity Present' 42 | Presence | Entity Presence | Nominal | N/A | 'Entity Present' 43 | Presence | Entity Presence | Nominal | N/A | 'Entity Present' 44 | Presence | Entity Presence | Nominal | N/A | 'Entity Present' 45 | Status | Processor | Nominal | N/A | 'Processor Presence detected' 46 | Status | Processor | Nominal | N/A | 'Processor Presence detected' 47 | Status | Power Supply | Nominal | N/A | 'Presence detected' 48 | Current | Current | Nominal | A | 0.400000 49 | Current | Current | Nominal | A | 0.400000 50 | Voltage | Voltage | Nominal | V | 218.000000 51 | Voltage | Voltage | Nominal | V | 218.000000 52 | Status | Power Supply | Nominal | N/A | 'Presence detected' 53 | Status | Cable/Interconnect | Nominal | N/A | 'Cable/Interconnect is connected' 54 | OS Watchdog | Watchdog 2 | Nominal | N/A | 'OK' 56 | Intrusion | Physical Security | Nominal | N/A | 'OK' 57 | PS Redundancy | Power Supply | Nominal | N/A | 'Fully Redundant' 58 | Fan Redundancy | Fan | Nominal | N/A | 'Fully Redundant' 60 | System Level | Current | Nominal | W | 168.000000 61 | Power Optimized | OEM Reserved | Nominal | N/A | 'Good' 62 | Drive | Drive Slot | Nominal | N/A | 'Drive Presence' 65 | Cable SAS A | Cable/Interconnect | Nominal | N/A | 'Cable/Interconnect is connected' 66 | Cable SAS B | Cable/Interconnect | Nominal | N/A | 'Cable/Interconnect is connected' 67 | DKM Status | OEM Reserved | N/A | N/A | 'OEM Event = 0000h' 119 | FAN MOD 5A RPM | Fan | Nominal | RPM | 3480.000000--------------------- end of debug output --------------------- IPMI Status: Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in string ne at ./check_ipmi_sensor line 759. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in string ne at ./check_ipmi_sensor line 759. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in string ne at ./check_ipmi_sensor line 759. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in string ne at ./check_ipmi_sensor line 759. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in string ne at ./check_ipmi_sensor line 759. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in string ne at ./check_ipmi_sensor line 759. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in string ne at ./check_ipmi_sensor line 759. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in string ne at ./check_ipmi_sensor line 759. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in string ne at ./check_ipmi_sensor line 759. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in string ne at ./check_ipmi_sensor line 759. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in string ne at ./check_ipmi_sensor line 737. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 738. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in string ne at ./check_ipmi_sensor line 749. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in concatenation (.) or string at ./check_ipmi_sensor line 750. Use of uninitialized value in string ne at ./check_ipmi_sensor line 759. Critical [iDRAC6 Ent Pres = Critical ('Entity Absent'), System Board Intrusion = Critical (Physical Security), System Board Intrusion = Critical (Physical Security), Disk Drive Bay 1 Drive 2 = Critical (Drive Slot), Disk Drive Bay 1 Drive 2 = Critical (Drive Slot), System Board Ambient Temp = Warning (Temperature), Disk Drive Bay 1 Drive 2 = Critical (Drive Slot), Disk Drive Bay 1 Drive 2 = Critical (Drive Slot), Disk Drive Bay 1 Drive 2 = Critical (Drive Slot), Disk Drive Bay 1 Drive 2 = Critical (Drive Slot), System Board Intrusion = Critical (Physical Security), System Board Intrusion = Critical (Physical Security), System Board Intrusion = Critical (Physical Security), System Board Intrusion = Critical (Physical Security), System Board Ambient Temp = Warning (Temperature)] | 'Ambient Temp'=28.000000;:;: 'FAN MOD 1A RPM'=3480.000000;:;: 'FAN MOD 2A RPM'=3480.000000;:;: 'FAN MOD 3A RPM'=3480.000000;:;: 'FAN MOD 4A RPM'=3480.000000;:;: 'Current'=0.400000;:;: 'Current'=0.400000;:;: 'Voltage'=218.000000;:;: 'Voltage'=218.000000;:;: 'System Level'=168.000000;:;: 'FAN MOD 5A RPM'=3480.000000;:;: Ambient Temp = 28.000000 (Status: Nominal) CMOS Battery = 'OK' (Status: Nominal) VCORE PG = 'State Deasserted' (Status: Nominal) VCORE PG = 'State Deasserted' (Status: Nominal) 0.75 VTT PG = 'State Deasserted' (Status: Nominal) 0.75 VTT PG = 'State Deasserted' (Status: Nominal) CPU VTT PG = 'State Deasserted' (Status: Nominal) 1.5V PG = 'State Deasserted' (Status: Nominal) 1.8V PG = 'State Deasserted' (Status: Nominal) 5V PG = 'State Deasserted' (Status: Nominal) MEM CPU2 FAIL = 'State Deasserted' (Status: Nominal) 5V Riser PG = 'State Deasserted' (Status: Nominal) MEM CPU1 FAIL = 'State Deasserted' (Status: Nominal) VTT CPU2 FAIL = 'State Deasserted' (Status: Nominal) VTT CPU1 FAIL = 'State Deasserted' (Status: Nominal) 0.9V PG = 'State Deasserted' (Status: Nominal) CPU2 1.8 PLL PG = 'State Deasserted' (Status: Nominal) CPU1 1.8 PLL PG = 'State Deasserted' (Status: Nominal) 1.1 FAIL = 'State Deasserted' (Status: Nominal) 1.0 LOM FAIL = 'State Deasserted' (Status: Nominal) 1.0 AUX FAIL = 'State Deasserted' (Status: Nominal) Heatsink Pres = 'Entity Present' (Status: Nominal) iDRAC6 Ent Pres = 'Entity Absent' (Status: Critical) USB Cable Pres = 'Entity Present' (Status: Nominal) Riser Presence = 'Entity Present' (Status: Nominal) FAN MOD 1A RPM = 3480.000000 (Status: Nominal) FAN MOD 2A RPM = 3480.000000 (Status: Nominal) FAN MOD 3A RPM = 3480.000000 (Status: Nominal) FAN MOD 4A RPM = 3480.000000 (Status: Nominal) Presence = 'Entity Present' (Status: Nominal) Presence = 'Entity Present' (Status: Nominal) Presence = 'Entity Present' (Status: Nominal) Presence = 'Entity Present' (Status: Nominal) Presence = 'Entity Present' (Status: Nominal) Status = 'Processor Presence detected' (Status: Nominal) Status = 'Processor Presence detected' (Status: Nominal) Status = 'Presence detected' (Status: Nominal) Current = 0.400000 (Status: Nominal) Current = 0.400000 (Status: Nominal) Voltage = 218.000000 (Status: Nominal) Voltage = 218.000000 (Status: Nominal) Status = 'Presence detected' (Status: Nominal) Status = 'Cable/Interconnect is connected' (Status: Nominal) OS Watchdog = 'OK' (Status: Nominal) Intrusion = 'OK' (Status: Nominal) PS Redundancy = 'Fully Redundant' (Status: Nominal) Fan Redundancy = 'Fully Redundant' (Status: Nominal) System Level = 168.000000 (Status: Nominal) Power Optimized = 'Good' (Status: Nominal) Drive = 'Drive Presence' (Status: Nominal) Cable SAS A = 'Cable/Interconnect is connected' (Status: Nominal) Cable SAS B = 'Cable/Interconnect is connected' (Status: Nominal) FAN MOD 5A RPM = 3480.000000 (Status: Nominal)不過根據它的提示(其實插件也是調用如下命令),可以使用/usr/sbin/ipmi-sel -h 10.103.1.100 --config-file ipmi.cfg --driver-type=LAN_2_0 --output-event-state --interpret-oem-data --entity-sensor-names執行結果是:# /usr/sbin/ipmi-sel -h 10.103.1.100 --config-file ipmi.cfg --driver-type=LAN_2_0 --output-event-state --interpret-oem-data --entity-sensor-names ID | Date | Time | Name | Type | State | Event 1 | Apr-08-2011 | 06:42:13 | System Board SEL | Event Logging Disabled | Nominal | Log Area Reset/Cleared 2 | Jan-01-1970 | 08:00:31 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 3 | Jan-01-1970 | 08:00:36 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 4 | Aug-15-2011 | 23:09:53 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 5 | Aug-16-2011 | 11:38:25 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 6 | Aug-16-2011 | 11:38:25 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 7 | Aug-16-2011 | 11:38:55 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 8 | Jun-10-2012 | 22:41:13 | System Board Ambient Temp | Temperature | Warning | Upper Non-critical - going high ; Sensor Reading = 45.00 C ; Threshold = 45.00 C 9 | Jun-11-2012 | 02:53:53 | System Board Ambient Temp | Temperature | Nominal | Upper Non-critical - going high ; Sensor Reading = 43.00 C ; Threshold = 45.00 C 10 | Nov-05-2012 | 21:56:42 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 11 | Nov-14-2012 | 21:53:58 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 12 | Nov-14-2012 | 21:53:58 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 13 | Nov-14-2012 | 21:54:19 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 14 | Nov-15-2012 | 16:12:03 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 15 | Nov-17-2012 | 17:14:34 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 16 | Nov-17-2012 | 17:14:34 | Disk Drive Bay 1 Drive 2 | Drive Slot | Critical | Drive Fault ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 17 | Nov-17-2012 | 17:15:40 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 18 | Nov-19-2012 | 20:47:57 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 19 | Nov-19-2012 | 20:50:04 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 20 | Jan-01-1970 | 08:00:33 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 21 | Jan-01-1970 | 08:00:38 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 22 | Jun-27-2014 | 17:27:38 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 23 | Jun-27-2014 | 17:27:53 | Disk Drive Bay 1 Drive 2 | Drive Slot | Nominal | Drive Presence ; OEM Event Data2 code = 01h ; OEM Event Data3 code = 02h 24 | Jan-01-1970 | 08:00:31 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 25 | Jan-01-1970 | 08:00:36 | System Board Intrusion | Physical Security | Critical | General Chassis Intrusion ; Intrusion while system Off 26 | Oct-31-2016 | 05:48:35 | System Board Ambient Temp | Temperature | Warning | Lower Non-critical - going low ; Sensor Reading = 8.00 C ; Threshold = 8.00 C 27 | Oct-31-2016 | 09:00:38 | System Board Ambient Temp | Temperature | Nominal | Lower Non-critical - going low ; Sensor Reading = 10.00 C ; Threshold = 8.00 C

5.3編寫Zabbix外部檢查(External checks)腳本

# pwd /usr/local/zabbix/share/zabbix/externalscripts # cat check_ipmi

下面是腳本內容

#!/bin/bash #用于檢測ipmi相關信息 #Create on 2016-011-18 #@author: Chinge_Yangargs="$*" echo $(date +%F-%T) $args >> /tmp/check_ipmi.debugcheck_ipmi_dir=/usr/local/zabbix/shell/check_ipmi_sensor check_ipmi_bin=$check_ipmi_dir/check_ipmi_sensoripmi_sensors=/usr/sbin/ipmi-sensors ipmi_cfg=$check_ipmi_dir/ipmi.cfg#$check_ipmi_bin -f $ipmi_cfg -v $args #${ipmi_sel} $args --config-file $ipmi_cfg --driver-type=LAN_2_0 --output-event-state --interpret-oem-data --entity-sensor-names options="--quiet-cache --sdr-cache-recreate --interpret-oem-data --output-sensor-state --ignore-not-available-sensors --driver-type=LAN_2_0 --output-sensor-thresholds"function usage(){echo "Usage: `basename $0` options (-h HOST|-n NAME)" }function check(){result=$($ipmi_sensors -h $host --config-file $ipmi_cfg $options|grep "$name"|awk -F"| " '{print $NF}') printf "%.4f\n" $result }if [ $# -lt 4 ] thenusageexit 55 fi # 用法: scriptname -options # 注意: 必須使用破折號 (-) # 參數后接冒號,表示必須接值 while getopts ":h:n:" Option;docase $Option inh)host=$OPTARG;;n)name=$OPTARG;;*)usage;; # 默認情況的處理esac doneshift $(($OPTIND - 1)) # (譯者注: shift命令是可以帶參數的, 參數就是移動的個數) # 將參數指針減1, 這樣它將指向下一個參數. # $1 現在引用的是命令行上的第一個非選項參數, #+ 如果有一個這樣的參數存在的話.checkexit 0

添加執行權限

chmod a+x check_ipmi

5.4新建自定義模板

這里就不詳細介紹內容了,其實就是改改上文中的模板而來,一張圖看完內容:

給2張圖看看效果:

好吧,最后發現,就算是自定義腳本,仍然是獲取數據艱難,腳本執行ipmi的命令都timeout。。。。


參考資料:
http://pengyao.org/zabbix-monitor-ipmi-1.html
http://zh.community.dell.com/techcenter/w/techcenter_wiki/189.idrac-7
http://www.weibo.com/p/1001603921723593500304
http://www.thomas-krenn.com/en/wiki/IPMI_Sensor_Monitoring_Plugin

轉載于:https://blog.51cto.com/ygqygq2/1874277

總結

以上是生活随笔為你收集整理的基于Zabbix IPMI监控服务器硬件状况的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

五月婷在线观看 | 亚洲va男人天堂 | av资源免费观看 | av电影一区 | 超碰av在线 | 伊人成人激情 | 一区二区三区在线视频111 | 97在线精品 | 免费观看黄色12片一级视频 | 日韩三级视频在线观看 | 黄色一级免费电影 | 在线视频日韩欧美 | 日韩三级不卡 | 在线精品在线 | 69xxxx欧美| 国内精品久久久久久 | 天天射综合网站 | 日本久久综合网 | 久久色中文字幕 | 玖玖爱国产在线 | 久久夜av | 亚洲天堂首页 | 成人av一级片| 免费在线观看午夜视频 | 国产高清在线看 | 国产精品伦一区二区三区视频 | 欧美粗又大 | 国产成人精品亚洲日本在线观看 | 久久精品国产亚洲精品 | 国内精品毛片 | 97在线看片| 欧美在线日韩在线 | 久久久免费视频播放 | 久草热视频 | 国产日产欧美在线观看 | 在线免费色视频 | 亚洲妇女av| 丁香久久 | 黄色特级一级片 | 国产精品粉嫩 | 高清不卡毛片 | 国产成人精品免费在线观看 | 激情欧美丁香 | 欧美乱码精品一区 | 国产一区二区在线免费视频 | av福利免费 | 精品久久一二三区 | 日韩久久精品 | av福利电影 | 久久无码av一区二区三区电影网 | 天天看天天干 | 99欧美视频 | 中文字幕色婷婷在线视频 | 国产精品午夜久久久久久99热 | 国模视频一区二区三区 | 中文字幕亚洲国产 | 日韩免费视频线观看 | 国产精品自产拍在线观看桃花 | 国产精品一区二区在线免费观看 | 久草视频在线资源 | 久久久麻豆视频 | 国产免费中文字幕 | 国产成人精品999在线观看 | 黄色免费在线看 | 亚洲精品永久免费视频 | 九九欧美视频 | 国产九九热 | 日韩网站免费观看 | 日韩av免费网站 | www.97视频 | 久久99精品国产麻豆婷婷 | 亚洲日本va中文字幕 | 亚洲欧美日韩在线一区二区 | 亚洲精品国产精品国自产观看 | 91精品国产成 | 黄色aa久久 | 999国内精品永久免费视频 | 婷婷在线视频观看 | 天天搞夜夜骑 | 天天综合狠狠精品 | 欧美日韩国产一区二区在线观看 | 91精品欧美| 五月天色丁香 | 国产精品情侣视频 | 最近中文字幕大全中文字幕免费 | 成年人国产在线观看 | 久久综合久久综合久久 | 国产一级a毛片视频爆浆 | 国产成人精品一区二区三区 | 91最新在线视频 | 啪啪肉肉污av国网站 | 中文字幕av电影下载 | 国产精品欧美久久久久无广告 | 欧美日韩国产综合网 | 黄网在线免费观看 | 香蕉色综合 | 成人国产精品久久久久久亚洲 | 日日操狠狠干 | 天天天天综合 | 欧美日韩一区二区三区视频 | 久久精品国产精品亚洲 | 九九激情视频 | av成人免费观看 | 美女在线观看av | 91黄视频在线 | 99久久er热在这里只有精品15 | 美女网站视频免费都是黄 | 精品爱爱 | 狠狠色丁香 | a√国产免费a| 狠狠操综合网 | 欧美成人精品三级在线观看播放 | 菠萝菠萝蜜在线播放 | 91精品久久久久久久99蜜桃 | 久久视频在线免费观看 | 久久精品久久精品 | 欧美国产亚洲精品久久久8v | 国产精品原创av片国产免费 | 99热精品在线观看 | 国产精品欧美一区二区 | 国产精品 国产精品 | 久久久不卡影院 | 在线综合 亚洲 欧美在线视频 | 国产成人精品一区二区三区在线 | 欧美精品一区二区在线观看 | 成人黄色在线 | av在线一二三区 | 欧美性生交大片免网 | 激情五月婷婷网 | 国产精品美女久久久久久2018 | 精品影院| 激情五月激情综合网 | 夜夜夜夜猛噜噜噜噜噜初音未来 | 国产精品九九九九九 | 九九在线免费视频 | 99精品国产成人一区二区 | 高清视频一区二区三区 | 91视频啪| 国产午夜三级一区二区三 | 日日夜夜天天射 | 久久久久久久看片 | 娇妻呻吟一区二区三区 | 国产精品色在线 | 欧美激情综合五月色丁香小说 | 九九九热精品免费视频观看网站 | 99精品国产99久久久久久福利 | 在线国产精品视频 | 国产精品美女久久久久久免费 | 最近久乱中文字幕 | av大全在线 | 国产日韩欧美视频 | 国产精品久久久久久久久久99 | 日韩欧美精品在线视频 | 中文字幕一二三区 | 97人人模人人爽人人喊网 | 91av片 | 91大神电影 | 在线观看中文字幕2021 | 成人av av在线 | av东方在线 | 欧美做受高潮 | 日韩在线观看视频一区二区三区 | 91 中文字幕 | 人人爽人人爽人人片av免 | 婷婷色综合网 | 亚洲精品午夜一区人人爽 | 丁香网五月天 | 亚洲国产精品一区二区久久hs | 日本黄色大片儿 | 久久情侣偷拍 | 日韩av手机在线看 | 色中射 | 午夜国产福利在线 | 午夜精选视频 | 日本特黄特色aaa大片免费 | 婷婷电影在线观看 | 亚洲一区免费在线 | 97在线看 | 成人免费xxxxxx视频 | 五月天中文字幕mv在线 | 日韩欧美视频在线免费观看 | 国内精品久久久久久久影视麻豆 | 国产亚洲精品久久久久久电影 | 免费黄色在线网站 | 久草在线在线视频 | 日韩精品一区二区在线视频 | 免费在线观看av网站 | 国产高清视频在线观看 | 日韩1级片| 亚洲日日夜夜 | 99av国产精品欲麻豆 | 国内精品久久久久久久久久久 | 久久人人爽人人片av | 亚州欧美视频 | 国产视频一区二区在线 | 亚洲开心色| 嫩嫩影院理论片 | 91丨精品丨蝌蚪丨白丝jk | 国产精品久久久久久久久久直播 | 日本在线视频一区二区三区 | 综合国产在线 | 国产精品大片在线观看 | 国产污视频在线观看 | 亚洲精品乱码久久久久久 | 丁香激情综合久久伊人久久 | 在线免费观看欧美日韩 | 久久视频精品 | 夜夜骑首页 | 亚洲在线高清 | 久热免费在线 | 亚洲二级片 | 97色在线观看免费视频 | 99精品观看 | 在线观影网站 | 色视频在线免费 | 成人在线视 | 99久久久国产精品免费99 | 欧美日在线 | 亚洲乱亚洲乱妇 | 国产精品久久久av | 色视频网站免费观看 | 五月婷婷中文字幕 | 97精品电影院 | 一区在线观看 | 欧美一级片免费观看 | 又黄又刺激的视频 | 四虎影视成人永久免费观看亚洲欧美 | 嫩草av在线 | 91精品视频在线 | 亚洲另类视频在线观看 | 久久草在线视频国产 | 国产网站av | 亚洲精品国产精品国产 | 五月激情在线 | 六月丁香六月婷婷 | 日日麻批40分钟视频免费观看 | 超碰在线98 | 精品一区二区电影 | 热热热热热色 | 天天干,天天射,天天操,天天摸 | 粉嫩高清一区二区三区 | 日本久久久影视 | 色综合天天色 | 日本高清久久久 | 久久久久高清 | 999久久久免费视频 午夜国产在线观看 | 欧美日韩国产高清视频 | 国产成人一区二区三区 | 人人涩| 国产91精品久久久久久 | 黄色免费网战 | 日韩精品中文字幕av | av超碰免费在线 | 亚洲免费视频在线观看 | 亚洲精品字幕 | 91麻豆精品国产自产在线游戏 | 亚洲成人av一区 | 成人av教育| 色婷婷国产在线 | 国产区第一页 | 亚洲成a人片在线www | 欧美另类视频 | 国际精品久久 | 一区二区精品国产 | 91亚洲精品在线观看 | 日韩成人免费在线电影 | 日韩精品久久久久久中文字幕8 | 国产成人精品在线播放 | 亚洲精品国产精品乱码在线观看 | 国产精品久久久久久久久软件 | 国产精品一区二区在线 | 天天操天天操天天操天天操天天操天天操 | 精品亚洲男同gayvideo网站 | 日韩精品视频免费在线观看 | 24小时日本在线www免费的 | 欧美性色综合网站 | 99精品欧美一区二区三区黑人哦 | 亚洲电影在线看 | 国产一区在线免费观看 | 亚洲精品麻豆 | 日韩久久午夜一级啪啪 | 日韩高清免费在线 | av线上免费观看 | 三上悠亚一区二区在线观看 | 精品中文字幕在线 | 国产一区二区三区在线 | 波多野结衣在线视频免费观看 | 黄污网站在线观看 | 99看视频在线观看 | 国产又黄又硬又爽 | 激情av综合 | 一区二区视频在线看 | 国产不卡免费视频 | 日韩成人中文字幕 | 久久一区二 | 日韩精品无码一区二区三区 | 国产美女永久免费 | 日韩精品第1页 | 亚洲成人软件 | 最新亚洲视频 | 最新日本中文字幕 | 国产尤物在线 | 久久天天拍 | 日韩字幕 | 国产精品久久久久永久免费 | 欧美一区中文字幕 | 久久五月婷婷丁香社区 | 欧美午夜激情网 | 日韩美av在线| 免费视频xnxx com | 天天干天天操天天干 | 久久天天操 | 91视频免费看网站 | 久久婷亚洲五月一区天天躁 | 特片网久久| 99久久婷婷国产综合精品 | 成人中文字幕在线观看 | 天天操综合网站 | 国产精品成人一区二区三区吃奶 | 日韩av电影国产 | 国产aaa毛片 | 国产手机精品视频 | 永久免费av在线播放 | 国产视频网站在线观看 | 二区三区毛片 | 久久久久久久久免费 | 成年人在线观看网站 | 午夜久久久久久久久久久 | 国产1区在线观看 | 精品主播网红福利资源观看 | 中文字幕 二区 | 国产又粗又长的视频 | 久久视频免费观看 | 黄色片视频免费 | 日韩色av色资源 | 500部大龄熟乱视频使用方法 | 国产裸体bbb视频 | 色欧美综合| 4438全国亚洲精品在线观看视频 | bbb搡bbb爽爽爽 | 一区二区伦理 | 在线 国产 亚洲 欧美 | 欧美日韩在线视频一区二区 | 欧美午夜精品久久久久久孕妇 | 在线观看日韩精品视频 | 国产a网站| 精品久久影院 | 国产一二三区av | 久久人人97超碰com | 91成人网在线 | 日韩在线中文字幕 | 2023亚洲精品国偷拍自产在线 | 99精品免费网 | 在线亚洲天堂网 | www.色国产 | 丁香花在线视频观看免费 | 日韩一级成人av | 激情偷乱人伦小说视频在线观看 | 操操操操网| 国产中文字幕视频在线观看 | 丁香六月在线 | 天天操天天操天天操天天操天天操 | 国产99精品在线观看 | 毛片激情永久免费 | 日韩专区在线播放 | 国内亚洲精品 | 久久66热这里只有精品 | 免费99视频 | 欧美一性一交一乱 | 国产在线资源 | 久久免费视频这里只有精品 | 国产小视频免费在线网址 | 精品在线观看一区二区 | 国产一区二区三区免费在线观看 | 激情视频一区 | 在线观看 国产 | 国产日本在线播放 | 亚洲黄色成人av | 新av在线 | 人人舔人人干 | 亚洲高清不卡av | 国产高清视频免费在线观看 | 婷婷色网站 | 日韩免费在线网站 | 五月婷婷在线视频观看 | 波多野结衣最新 | 亚洲污视频 | 天天天在线综合网 | 激情影音 | 婷婷5月色 | 亚洲精品国产日韩 | 亚洲涩涩网站 | 成人精品一区二区三区中文字幕 | 亚洲视频免费在线 | 免费观看的av网站 | 99综合电影在线视频 | 欧美va日韩va| 黄色一级在线免费观看 | 日韩1页 | 亚洲作爱 | 色网av| 欧美精品被 | 激情五月在线观看 | 成人精品一区二区三区电影免费 | 日日操日日 | 欧美午夜性| 在线天堂中文在线资源网 | av成人动漫在线观看 | 米奇影视7777 | 麻豆久久一区二区 | 在线看日韩av| 国产三级av在线 | 免费高清看电视网站 | 久久久久久蜜av免费网站 | 国产成人一区二区三区影院在线 | 西西www444 | 日韩在线第一区 | 久99热| 午夜黄色大片 | 日韩精品欧美专区 | 国产精品99久久免费观看 | 又黄又爽又色无遮挡免费 | 久久这里| 中文字幕精 | 美女一区网站 | www国产一区 | 人人草人人做 | 97在线资源 | 免费美女av | 亚洲做受高潮欧美裸体 | 成年人网站免费在线观看 | 亚洲涩涩网站 | 中文字幕 在线 一 二 | 日韩区在线观看 | 一区二区三区免费在线观看视频 | 香蕉日日| 免费h精品视频在线播放 | 日本久久精品 | 黄网站免费看 | 亚洲国产成人精品久久 | 亚洲精品日韩一区二区电影 | 伊人天堂av| www.久久久精品 | 97超碰人人澡人人爱 | 99精品黄色片免费大全 | 中文字幕丝袜制服 | 黄色一级大片免费看 | 日韩av黄 | 免费看一级片 | 97超碰在线播放 | 99精品视频中文字幕 | 99在线观看 | 91日韩精品 | 欧美一级特黄aaaaaa大片在线观看 | 成人午夜影视 | 亚洲第一区在线观看 | 男女啪啪视屏 | 久久精品国产亚洲精品 | 亚洲电影影音先锋 | 一本色道久久综合亚洲二区三区 | 亚洲91精品在线观看 | avcom在线| 伊人婷婷色 | 中文字幕在线视频一区 | 欧美在线一二 | 国产99久久精品一区二区300 | 成人黄色视 | 在线黄色观看 | 又黄又爽又色无遮挡免费 | 日韩一三区 | 特级毛片爽www免费版 | 三级在线视频播放 | 特黄免费av | 精品久久免费看 | 在线观看国产高清视频 | 中文在线www | 蜜桃麻豆www久久囤产精品 | 日韩二区在线播放 | 最近更新好看的中文字幕 | 国产免费人成xvideos视频 | 久草在线免费资源站 | 麻豆国产精品永久免费视频 | 国产精品嫩草影视久久久 | 97色在线观看免费视频 | 精品麻豆 | 欧美福利网站 | 欧美极品少妇xxxxⅹ欧美极品少妇xxxx亚洲精品 | 成人在线视频免费看 | 成年人免费在线观看 | 免费观看第二部31集 | 亚洲精品欧洲精品 | 久久综合九色综合欧美就去吻 | 99久免费精品视频在线观看 | 97品白浆高清久久久久久 | 99色免费 | 中文字幕在线播放日韩 | 97国产大学生情侣酒店的特点 | 天天鲁天天干天天射 | 亚洲精品456在线播放乱码 | 超碰日韩在线 | 亚洲欧洲中文日韩久久av乱码 | 91视频网址入口 | 99久久99精品| av免费在线观看网站 | av888av.com| 四虎在线免费观看视频 | 日韩簧片在线观看 | 天堂av色婷婷一区二区三区 | 亚洲一区二区精品视频 | 免费av福利 | 四虎永久视频 | 日韩精品一区二区三区视频播放 | 99视频在线免费看 | 国产一区在线精品 | 日日夜夜免费精品 | 国产精品久久久久久999 | 亚洲成免费 | 男女视频久久久 | av大全在线免费观看 | 国产97在线观看 | 天天干干 | 日韩网站免费观看 | 黄网站色 | 国产又黄又猛又粗 | 亚洲精品字幕 | 日韩精品中文字幕在线不卡尤物 | 特级黄色片免费看 | 黄色毛片视频 | 欧美日韩高清一区二区三区 | 亚洲精品国偷自产在线91正片 | 亚洲一区二区天堂 | 精品少妇一区二区三区在线 | 美女网站色在线观看 | 久久免费视频在线观看 | 探花国产在线 | 成人国产精品久久久 | 国产99久久久久久免费看 | 免费观看一级成人毛片 | 亚洲综合少妇 | av一级一片 | 中文成人字幕 | 久久久国产精品一区二区三区 | 国产一区二区精品 | 国产精品麻豆三级一区视频 | 欧美日本在线观看视频 | 91精品视频免费 | 亚洲 欧洲 国产 日本 综合 | 国产91学生粉嫩喷水 | 国内精品久久天天躁人人爽 | 精品国产乱码久久久久久1区二区 | 最新日韩视频在线观看 | 久久久香蕉视频 | 久久艹中文字幕 | 一区二区不卡在线观看 | 国产1区在线观看 | 美女视频一区 | 超级碰碰免费视频 | 中文字幕成人一区 | 久久伊人精品一区二区三区 | 国产电影黄色av | 在线视频精品播放 | 色网站中文字幕 | 日本精品视频网站 | 午夜国产福利视频 | 久久色视频 | 久章草在线观看 | 中文字幕一区二区三区四区视频 | 欧美激情另类文学 | 在线亚洲观看 | 成人h在线播放 | 精品久久久久免费极品大片 | 中文在线a∨在线 | 天天·日日日干 | 国产在线v | 日本一区二区不卡高清 | 区一区二区三在线观看 | 五月激情片 | 伊人久久五月天 | 精品国产一区二区三区四 | 玖玖综合网 | 久久综合中文色婷婷 | 欧美激情综合五月色丁香 | 日韩 在线 | 国产精品精品国产婷婷这里av | 久久99热这里只有精品国产 | 人人爽爽人人 | 六月久久婷婷 | a色视频| 日韩福利在线观看 | 成年人在线观看 | 四虎永久免费在线观看 | 国产亚州av | 丁香九月婷婷综合 | 色香网 | www夜夜操| 99精品国产福利在线观看免费 | 国产一区二区在线免费 | 超碰大片| 国内久久久 | 免费在线观看av网址 | 黄网站色 | 在线观看va| bayu135国产精品视频 | 69av在线视频 | 免费视频91蜜桃 | 一区二区三区在线免费观看 | 在线观看黄网站 | 999成人国产| 在线成人国产 | 狠狠干激情 | 久久国产精品免费观看 | 玖玖视频网 | 国产最新精品视频 | 欧美性成人 | 麻豆传媒一区二区 | 日本中文在线 | 日韩中文字幕视频在线 | 久久久久久久18 | 亚洲精品一区二区三区新线路 | 亚洲激情五月 | 福利一区二区 | 91欧美国产 | 91精品啪在线观看国产81旧版 | 欧美极品xxx | 国产香蕉97碰碰碰视频在线观看 | 水蜜桃亚洲一二三四在线 | 午夜久久电影网 | 91人人澡人人爽人人精品 | 极品久久久 | 在线看v片 | 在线免费观看黄色 | 国产小视频网站 | 日本成人中文字幕在线观看 | 免费国产在线精品 | 国产精品久久久久久久妇 | 三级a毛片 | 911av视频 | 亚洲乱码在线 | 精品国产一区二区三区久久久久久 | 日韩在线免费 | 欧美亚洲免费在线一区 | 亚洲精品国产精品久久99热 | www.超碰97.com| 国产99久久久国产精品免费二区 | 操操色| 国产福利一区二区三区在线观看 | 最近2019中文免费高清视频观看www99 | 一级黄色片在线播放 | 丁香婷婷自拍 | 中文在线免费一区三区 | 欧美一级性生活片 | 亚洲一区二区高潮无套美女 | 国产成人精品国内自产拍免费看 | 狠狠色狠狠色综合日日小说 | 国产精品久久久久久久免费大片 | 日韩午夜高清 | 日韩丝袜 | av综合在线观看 | 成人午夜精品福利免费 | 亚洲精品短视频 | www.天天成人国产电影 | 黄色a在线 | 久久久久中文字幕 | 97成人在线观看视频 | 天天干,天天干 | 欧美性猛片,| 91在线资源 | 日韩精品91偷拍在线观看 | 国产精品美乳一区二区免费 | 成人羞羞视频在线观看免费 | 日韩剧 | 最新国产福利 | 国产高清精 | 成人免费一级 | 欧美成天堂网地址 | 超碰人人在线 | 久久热亚洲 | 国产999在线观看 | 99视频在线精品国自产拍免费观看 | 午夜在线观看 | 欧美一区二区三区不卡 | 毛片www | 91在线porny国产在线看 | 久久99久国产精品黄毛片入口 | 国产精品美女视频 | 91丨九色丨蝌蚪丨对白 | 久久久视屏 | 欧美成人黄色片 | 天天操天天干天天摸 | 精品亚洲一区二区三区 | 国产精品久久久久久久婷婷 | 欧美巨大荫蒂茸毛毛人妖 | 日本黄色大片免费看 | 天无日天天操天天干 | 五月天天天操 | 91精品国产三级a在线观看 | 欧美日韩在线免费视频 | 久久社区视频 | 国产毛片久久 | 97精品国产97久久久久久春色 | 亚洲国产精品一区二区尤物区 | 国产麻豆精品传媒av国产下载 | 日韩专区中文字幕 | 欧洲一区精品 | 亚洲激情视频在线 | 久久亚洲综合色 | 国产精品观看视频 | 91福利在线观看 | 麻豆影视在线免费观看 | 久久成人黄色 | 婷色在线 | 成人免费观看a | 99 久久久久| 黄色午夜 | 免费高清在线观看电视网站 | 久久九九精品久久 | 手机在线小视频 | 久久激情五月丁香伊人 | 久久免费视频一区 | 久久99热久久99精品 | 婷婷五月在线视频 | 久久久久免费网 | 伊人久久电影网 | 免费在线激情电影 | 国产日韩欧美在线 | 97av超碰| 日产乱码一二三区别免费 | 黄在线 | 在线国产专区 | 日韩在线播放av | 91av电影在线 | 精品国产乱码一区二 | 在线观看黄色大片 | 亚洲免费小视频 | 99精品在线免费在线观看 | 亚洲国产成人久久综合 | 黄色电影网站在线观看 | 91亚色免费视频 | 91麻豆操| 91视频免费看片 | 四虎在线免费观看 | 免费中午字幕无吗 | 视频国产一区二区三区 | 亚洲精品视频 | 久久国产亚洲视频 | 激情婷婷色 | 18性欧美xxxⅹ性满足 | 久久国产精品99久久人人澡 | 中文字幕在线观看你懂的 | 色噜噜狠狠狠狠色综合久不 | 日日夜夜爱 | 欧美视频在线二区 | 天天干天天搞天天射 | 日韩一区在线播放 | 国产二区精品 | 国产精品免费在线播放 | 国产精品久久久久久久久免费看 | 在线看片成人 | 91精品少妇偷拍99 | 深爱开心激情网 | av电影免费在线 | 国产一区二区电影在线观看 | 亚洲无毛专区 | 国产不卡免费视频 | 国产欧美精品在线观看 | 96看片 | 成人羞羞视频在线观看免费 | 91色欧美| 欧美va在线观看 | 天天射,天天干 | 色国产在线 | 免费在线观看国产黄 | 久久久久久久久久久久久国产精品 | 成人在线免费观看网站 | 人人草人| 国产黄色视 | www久久com| 久久久黄色免费网站 | 亚洲精品视频大全 | 国产精品久久99综合免费观看尤物 | 久久蜜臀一区二区三区av | 亚洲综合在线一区二区三区 | 激情在线网 | 五月婷婷综合在线视频 | 麻豆视频国产 | 亚洲免费观看在线视频 | 美女视频黄免费的 | 精品国内自产拍在线观看视频 | 亚洲精品视频网址 | 国产精品毛片一区 | 国产一区视频在线观看免费 | 麻豆国产露脸在线观看 | 91av影视| 91色视频| 日韩中文幕 | 久久精精品视频 | 中文资源在线播放 | 成人av av在线 | 亚洲第二色| 国产高清av免费在线观看 | 在线导航av| sesese图片| 成人在线免费视频观看 | 国产精品女同一区二区三区久久夜 | 欧美福利视频 | 天天射天天操天天干 | 人人干网站 | 日韩在线视频国产 | 在线国产日本 | 色就干| 免费看污的网站 | 久热av在线 | 欧美性受极品xxxx喷水 | 一本一道久久a久久精品蜜桃 | 日本少妇高清做爰视频 | 国产日韩欧美视频在线观看 | 日韩免费小视频 | 91精品国产九九九久久久亚洲 | 极品嫩模被强到高潮呻吟91 | 久久电影日韩 | 最近日本韩国中文字幕 | 成人在线一区二区 | 国产视频在线一区二区 | 国产精品久久久久一区二区三区共 | 美女网站在线播放 | 亚洲91中文字幕无线码三区 | 人人干狠狠干 | 欧美一二三四在线 | 久精品视频在线观看 | 亚洲一区二区视频在线 | 五月天免费网站 | 久久久久国产a免费观看rela | 这里只有精彩视频 | 中文字幕影片免费在线观看 | 欧美成人精品三级在线观看播放 | 国产日韩一区在线 | 免费福利片 | 久久精品中文字幕一区二区三区 | 手机看片国产 | 精品国产视频在线观看 | 97国产精品亚洲精品 | 五月天视频网站 | 六月丁香综合 | 夜夜爽www | 色91在线视频 | av在线日韩 | 天天天天天天天操 | 国产一区在线视频播放 | av在线免费不卡 | 免费一级日韩欧美性大片 | 成人午夜电影网站 | 欧美不卡在线 | 久久国产成人午夜av影院宅 | 久久精品国产免费看久久精品 | 欧美国产日韩一区二区三区 | 国产色黄网站 | 亚洲综合色激情五月 | 五月天婷亚洲天综合网精品偷 | 欧美一级电影 | 亚洲国产中文在线观看 | 国产福利一区二区在线 | 一区二区激情 | 国产精品白丝jk白祙 | 国产精品视频地址 | 亚洲人成人在线 | 久青草国产在线 | 久久国产精品色婷婷 | 777xxx欧美 | 99热最新精品 | 免费视频一级片 | 97在线观看免费高清 | 97超级碰| 韩国一区二区三区在线观看 | 人人干免费 | 日韩欧美一区二区三区在线 | 国产精品成人一区二区三区吃奶 | 日韩精品中文字幕在线观看 | 欧美日韩在线观看一区二区三区 | www.少妇| 1区2区视频 | 久久久国产精品久久久 | 亚洲一区二区三区精品在线观看 | 色激情在线 | 久久香蕉电影网 | 国内外成人免费在线视频 | 日韩毛片在线播放 | 国产成人精品久久久久 | 国产丝袜美腿在线 | 丁香 久久 综合 | 久久婷婷色 | 一区二区三区在线免费播放 | 在线精品亚洲一区二区 | 少妇av网| 日本黄色免费电影网站 | 黄色影院在线观看 | 国产黄视频在线观看 | 日韩一区二区三区在线观看 | 国产成人香蕉 | 在线观看亚洲专区 | 日韩中文久久 | 久久九九久久精品 | 国产精品观看在线亚洲人成网 | 91成人久久 | 在线免费三级 | 可以免费观看的av片 | 91视频免费观看 | 欧美色图东方 | 欧美一区二区三区在线播放 | 在线观看不卡的av | 国产一级视屏 | 91手机在线看片 | 四虎成人免费影院 | av888.com| 在线观看韩日电影免费 | 在线观看视频h | 97成人在线免费视频 | 99热精品视 | 日本黄网站 | 日韩试看 | 91免费高清观看 | 麻豆小视频在线观看 | 亚洲高清在线视频 | 97超碰在 | 久久国产亚洲 | 91精品播放 | 精品美女久久久久 | 国产色影院 | 久久99精品久久久久久三级 | 波多野结衣亚洲一区二区 | 成人天堂网 | 99久久精品无码一区二区毛片 | 香蕉久草在线 | 国产精品青青 | 国产亚洲精品成人av久久影院 | 国产一级免费视频 | 91亚洲在线 | 国产成人精品免费在线观看 | 在线国产中文字幕 | 亚洲一区黄色 | 午夜精品久久久久99热app | 久久夜色精品国产欧美乱 | 天堂av免费观看 | 中文字幕在线观看一区二区三区 | 中文字幕在线观看的网站 | 在线观看免费一区 | 麻豆一区在线观看 | 亚洲国产精品视频在线观看 | 九九综合九九综合 | 日日天天狠狠 | 日韩色一区二区三区 | 国产激情电影综合在线看 | 亚洲一二区视频 | 国产高清在线观看 | 最新色站 | 午夜影视剧场 | 日韩在线观看视频一区二区三区 | av在线官网 | 91色网址| 免费日韩三级 | 久久久在线视频 | 成 人 黄 色 视频免费播放 | 亚洲激情影院 | 91在线视频免费91 | 一二三久久久 | 午夜av一区二区三区 | 久久99精品国产 | 波多野结衣精品视频 | 特级西西www44高清大胆图片 | 欧美动漫一区二区三区 | 99免在线观看免费视频高清 | 日韩中文字幕第一页 | 久操视频在线免费看 | 久久精品99久久久久久2456 | 国产成人免费高清 | 国产精品久久久久久电影 | 免费一级片在线观看 | 九九九在线观看视频 | 操操操天天操 | av在线亚洲天堂 | 欧美日韩国产成人 | 国产色妞影院wwwxxx | 99久久er热在这里只有精品66 | 超碰国产97 | 美腿丝袜一区二区三区 | 最近中文字幕国语免费高清6 | 97视频播放 | 国产亚洲精品久久久网站好莱 | 久久久久久久久久久久国产精品 | 91福利视频免费观看 | 国产五月 | 免费人成在线观看网站 | 国产精品一区二区麻豆 | 国产 一区二区三区 在线 | 亚洲永久精品一区 | 高清一区二区 | 国产小视频在线观看 | 久久黄色成人 | 久久久久国产精品免费免费搜索 |