日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 综合教程 >内容正文

综合教程

Websphere 学习(二)

發布時間:2023/12/15 综合教程 45 生活家
生活随笔 收集整理的這篇文章主要介紹了 Websphere 学习(二) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

–參考Websphere性能學習筆記

1.WAS日志
WebSphere的日志信息:
…/profiles/Appsrv01/logs/server下主要日志:
SystemErr.log : 系統出錯日志
SystemOut.log : 系統中所有活動的日志
trace.log : 系統中所有跟蹤的事件的日志
startServer.log : 啟動服務器事件的日志
stopServer.log : 停止服務器事件的日志
native_stderr.log : GC垃圾收集日志,這表明了內存管理是否正常。通過一些工具,比如:ISA里的 PMAT (IBM Pattern Modeling and Analysis Tool for Java Garbage Collector)可以查看GC歷史趨勢,看有沒有內存泄漏的問題。
IBM Http Server(IHS)與Plugin日志信息 : httpserver/../logs下相關日志如果有相關was拋錯等首先查看以上日志文件。
WebSphere的日志對問題定位非常關鍵,如果用戶安裝部署、配置資源或者運行應用程序出了問題,都需要看日志才能明白到底是哪里,哪個環節出了問題,才能進一步解決問題。
比如:WAS安裝失敗,需要看/logs/install/log.txt,甚至如果失敗發生在該文件創建之前,需要去 看/waslogs/下的臨時日志;server啟動不起來,需要看SystemOut.log; 連接數據源失敗也需要看SystemOut.log;JNDI name找不到,需要察看SystemOut.log里,它是在哪里找的?為什么找不到?;有時候根據需要,還要看ffdc目錄下得log, SystemOut.log里會打印在某個時間點生成了一個ffdc log,文件文是什么。
FFDC log即First Failure Data Capture,即抓一些錯誤發生第一時間的log。

WebSphere Application Server 日志記錄基礎結構是基于標準 Java 的日志記錄基礎結構(即java.util.logging)建立的。在一個典型的 WebSphere Application Server 配置中,日志記錄被設置為將普通和嚴重的日志消息分別寫入兩個文件,即SystemOut.log 和 SystemErr.log。
System.out 日志用于監視正在運行的應用程序服務器的運行狀況。
System.err 日志包含用于執行問題分析的異常堆棧跟蹤信息。

WebSphere Application Server 中還有其他兩個日志文件:JVM native_stdout 和 native_stderr 文件。與 SystemOut.log 和 SystemErr.log 不同,這兩個文件實際上是由 JVM 本身處理的,只包含與該 JVM 的操作有關的消息,而不包含來自 WebSphere Application Server 運行時的消息。

假設在native_stderr.log里有這么一段日志:

<AF[3160]: Allocation Failure. need 2621456 bytes, 195 ms since last AF>
<AF[3160]: managing allocation failure, action=2 (5049520/1073740288)>
  <GC(3538): GC cycle started Wed Jul 30 17:41:02 2008
  <GC(3538): freed 4619080 bytes, 0% free (9668600/1073740288), in 6135 ms>
  <GC(3538): mark: 992 ms, sweep: 28 ms, compact: 5115 ms>
  <GC(3538): refs: soft 0 (age >= 32), weak 0, final 7, phantom 3>
  <GC(3538): moved 6184798 objects, 298397088 bytes, reason=1, used 101520 more bytes>
<AF[3160]: managing allocation failure, action=3 (9668600/1073740288)>
<AF[3160]: managing allocation failure, action=4 (9668600/1073740288)>
<AF[3160]: managing allocation failure, action=6 (9668600/1073740288)>
JVMDG217: Dump Handler is Processing OutOfMemory - Please Wait.
JVMDG315: JVM Requesting Heap dump file
JVMDG318: Heap dump file written to C:Program FilesIBMWebSphereAppServerprofilesdefaultheapdump.20080730.174102.3784.phd
JVMDG303: JVM Requesting Java core file
JVMDG304: Java core file written to C:Program FilesIBMWebSphereAppServerprofilesdefaultjavacore.20080730.174149.3784.txt
JVMDG274: Dump Handler has Processed OutOfMemory.
<AF[3160]: Insufficient space in Javaheap to satisfy allocation request>
<AF[3160]: completed in 92673 ms>

第一行是說需要2621456 bytes內存,分配失?。?
然后第二行告知可用內存只有5049520 bytes;
第三行GC開始回收內存;
第四行回收了4619080 bytes,總的可用內存變為9668600bytes。0% free是指當前可用/總內存大小,9668600/1073740288=0.0090,被約等于0了。
第五行開始不知道在干什么,猜測是移動數據以獲取連續空間?
第十一行終于報內存不足了,然后會記錄兩個日志文件,heapdump、javacore.log。
根據這兩個日志的時間,可以到sysetemOut.log中查看當時在做什么操作。

再看一段:

<AF[2]: Allocation Failure. need 524 bytes, 383 ms since last AF>
<AF[2]: managing allocation failure, action=0 (528723272/536869376)>
  <GC(2): GC cycle started Sat Apr 05 21:40:31 2008
  <GC(2): freed 3529224 bytes, 99% free (532252496/536869376), in 10 ms>
  <GC(2): mark: 7 ms, sweep: 3 ms, compact: 0 ms>
  <GC(2): refs: soft 0 (age >= 32), weak 0, final 7, phantom 0>
<AF[2]: completed in 11 ms>

這段應該說明,可用內存很大,但申請連續內存時可能還是不足。這段日志記錄的是gc回收后就正好夠了,所以沒有了上一段日志中的move.

WebSphere監控方法
方案一、通過perfServletApp進行監控
perfServletApp項目是由WebSphere提供的(在安裝目錄下可以找到PerfServletApp.ear,默認沒有部署),用于簡單的端對端檢索性能數據,IBM 或第三方供應商提供的任何工具都可以處理此性能數據。通過servlet訪問,返回XML格式的信息。

方案二、使用JMX接口開發監控程序
通過使用 PerfMBean 或個別MBean,您可使用AdminClient API 獲取性能監控基礎結構(PMI)數據

查看JMX通過SOAP連接WebSphere的端口:
應用程序服務器 > serverName > 端口 ==> SOAP_CONNECTOR_ADDRESS

參考:
http://yunzhu.iteye.com/blog/971254
http://yunzhu.iteye.com/blog/953387
http://www.ibm.com/developerworks/cn/websphere/downloads/peformtuning.html

2 常用監控指標分析

2.1 JVM
2.1.1 JVM 級的診斷
參考:
http://www.ibm.com/developerworks/cn/websphere/techjournal/0702_supauth/0702_supauth.html
在其核心中,WebSphere Application Server 首先是一個 JVM 進程。因此,為所有的 JVM 進程提供一系列診斷工具的想法是十分自然的。實際上,在 WebSphere Application Server 的用戶們遇到的問題中,有一部分是在 JVM 級首先表現出來的,如內存不足、崩潰等。
? verboseGC 日志大概是最常見的JVM 診斷類型。它顯示了 JVM 生存期間,各個垃圾回收周期的順序。它作為確定問題時的一項初始的輔助工具,常常具有不可估量的價值,它被用來檢測和診斷 JVM 中所有類型的內存分配異常問題,如內存泄漏、碎片,以及與 GC 有關的性能問題等等。IBM Support Assistant 中提供的 PMAT 工具,目前是幫助分析 verboseGC 日志文件內容的基本工具。
? 線程轉儲也是一種極為常見的 JVM 診斷類型。線程轉儲(也是一個 javacore) 可以根據管理員的請求觸發,也能在 JVM 中遇到某種特殊情況時自動觸發。線程轉儲是一個文本文件,包含了 JVM 狀態的關鍵方面的一個相對較短的快照。該快照最常用的部分是 JVM 中當前活動線程的列表,線程轉儲也因此得名。線程轉儲最常見的用途是診斷 JVM 中出現掛起、崩潰或 CPU 占用率過高的原因。線程轉儲是相對較短的文本文件,可以用簡單的文本編輯器進行檢查。不過,若是使用某種特殊的工具,用來解析和組織其中的內容,自動檢測并突出關鍵信息和異常,常常會更有效。現在用于此用途的工具主要有兩種:IBM Support Assistant 中提供的ThreadAnalyzer 和AlphaWorks 上提供的 Thread and Monitor Dump Analyzer。
? 堆轉儲是由 JVM 生成的另一種形式的轉儲,可以按需生成,也可以在滿足特殊條件時自動生成。通常,堆轉儲通常是一個很大的文件,它包含當前 JVM 堆中所有對象的一個列表。它用于在出現內存不足的情況下執行深入分析。例如,分析者可以找出哪些對象在堆中占用了最多的空間,哪些對象正在增殖,等等。由于堆存儲是一個很大的文件,手動檢查是不切實際的。Memory Dump Diagnostic for Java 工具 (MDD4J) 可以在 IBM Support Assistant 中找到,目前它是執行此類分析的主要工具。
? 第三類 JVM 轉儲是系統轉儲,或是簡單的核心文件。這是開銷最大、但也是最完整的轉儲方式。它是一個巨大的二進制文件,反映了 JVM 的全部內容:每一個 Java 對象及其字段、每一個線程、每個內存區域,等等。系統轉儲的最初用途是在其他類型的轉儲不夠用或無法生成時,幫助診斷崩潰、掛起或復雜的內存分配問題。不過,由于系統轉儲非常完整,它也能用來獲取 WebSphere Application Server 運行時當前狀態的多方面信息,甚至運行時期間應用程序的執行信息。預計將來系統轉儲在這方面還會有更多的用途。在IBM 之外可獲得的WebSphere Application Server JVM 系統轉儲內容檢查工具相對較少。因此,一般情況下,系統轉儲應發送給IBM Support 做深入分析。不過 IBM 最近引入了一項被稱為 Diagnostic Tooling Framework for Java (DTFJ) 的新技術,將使系統轉儲檢查工具的開發變得容易起來。預計基于 DTFJ 技術的工具在未來將得到廣泛使用。
? 最后,JVM 還提供了自己的 JVM 跟蹤工具,與 WebSphere 跟蹤工具不同,它在單個 Java 方法調用級、以及 JVM 實現操作的內部事件級提供了跟蹤工具。這種類型的跟蹤最常用于內部 JVM 問題的診斷,偶爾也用來診斷 WebSphere Application Server 級的問題。不過,方法級別的跟蹤對于 WebSphere 跟蹤而言是很有用的輔助手段。我們計劃在不久的將來擴展它的用途并編寫相關文檔。
Java Diagnostics Guide 是一個主要的信息來源,提供與各種類型的 JVM 級診斷工具和相應的轉儲生成方法相關的信息。這些工具中的每一個都具有各自格式的文檔。


2.1.2 HeapSize
可監控FreeMemory、ProcessCpuUsage、UsedMemory

調整JVM堆大小
JVM 中最大堆大小有三方面限制:相關操作系統的數據模型(32-bt還是64-bit)限制;系統的可用虛擬內存限制;系統的可用物理內存限制。32位系統下,一般限制在1.5G~2G;64為操作系統對內存無限制。

默認設置
VU:100
HeapSize:200
FreeMemory:28~8
TRT:5.8

調整Initial Heap Size和Maximum Heap Size為512M
VU:100
HeapSize:524
FreeMemory:380~179
TRT:8.1

調整Initial Heap Size和Maximum Heap Size為64M
在WebSphere的控制臺查看TPV,提示:
錯誤 500
處理請求時發生一個錯誤: /ibm/console/secure/layouts/contentLayout.jsp
消息: java.lang.OutOfMemoryError


2.1.3 GC日志分析
在WAS中打開詳細GC日志輸出

方法1、在管理控制臺中點擊服務器 > 應用服務器 > server1(或者是您自己定義服務器名) > JAVA和進程管理 > 進程定義 > Java虛擬機 > 選中詳細垃圾回收選項,重啟應用服務器,即可生效。打開垃圾回收開關后,關于內存的使用情況的日志會存儲到相應的日志目錄中的native_stdout.log文件中,并且可以通過分析該文件中的信息快速的找到產生問題的根源。

方法2、在通用JVM參數輸入框中添加:-Xverbosegclog:gc.log

用PMAT(IBM Pattern Modeling and Analysis Tool for Java Garbage Collector)分析GC日志:
java -Xmx512m -jar ga414.jar

在負載測試過程中收集垃圾回收統計數據是很有幫助的,但大大小小的每次回收都會被記錄下來,所以請記住在運行最終的基準之前要禁用詳細垃圾回收。

2.1.4 策略
參考:
http://www.webspherechina.net/home/space.php?uid=275&do=blog&id=52178
https://blog.csdn.net/suifeng3051/article/details/48292193
https://blog.csdn.net/antony9118/article/details/51375662
https://blog.csdn.net/shen_guo/article/details/50343135

在IBM SDK 5.0提供了四種不同的GC策略優化配置(IBM 在WebSphere 6.1版本開始,IBM JDK 升級到IBM SDK5.0,也就是常說的JDK1.5),詳細如下:

序號 策略 選項 描述 備注
1 針對吞吐量進行優化 -Xgcpolicy:optthruput WAS默認策略。對于吞吐量比短暫的 GC 停頓更重要的應用程序,通常使用這種策略。每當進行垃圾收集時,應用程序都會停頓。
1 針對停頓時間進行優化 -Xgcpolicy:optavgpause 通過并發地執行一部分垃圾收集,在高吞吐量和短 GC 停頓之間進行折中。應用程序停頓的時間更短。
1 分代并發 -Xgcpolicy:gencon 以不同方式處理短期存活的對象和長期存活的對象。采用這種策略時,具有許多短期存活對象的應用程序會表現出更短的停頓時間,同時仍然產生很好的吞吐量。 推薦
1 子池 -Xgcpolicy:subpool 采用與默認策略相似的算法,但是采用一種比較適合多處理器計算機的分配策略。建議對于有 16 個或更多處理器的 SMP 計算機使用這種策略。這種策略只能在 IBM pSeries? 和 zSeries? 平臺上使用。需要擴展到大型計算機上的應用程序可以從這種策略中受益。

在Sun Jvm也有自己特色的GC策略,如:
可參考: java垃圾回收精粹

http://www.importnew.com/8335.html

序號 策略 選項 描述 備注
1 并發收集器(并發標記清理收集器,CMS) -XX:+UseConcMarkSweepGC 并發收集器與應用程序同時運行。這些收集器在某點上(比如壓縮時),一般都不得不停止其他操作,以完成特定的任務,但是因為其他應用程序可進行其他的后臺操作,所以中斷其他處理的實際時間大大降低。
2 并行收集器 -XX:+UseParallelGC 并行收集器使用某種傳統的算法,并使用多線程并行地執行它們的工作。在多cpu機器上使用多線程技術可以顯著的提高java應用程序區性的可擴展性。
3 串行收集器 -XX:+UseSerialGC 用單線程處理所有垃圾回收工作,因為無需多線程交互,所以效率比較高,對于單處理器系統真是絕佳上選.但是,也無法使用多處理器的優勢,所以此收集器適合單處理器機器。當然,此收集器也可以用在小數據量(100M左右)情況下的多處理器機器上。

并行GC

-XX:+UseParallelGC
-XX:ParallelGCThreads= either equal to number of cpu or on multi core systems set it to somewhere between .5-1xNumber of cores.
配置并行收集器的線程數,即:同時多少個線程一起進行垃圾回收。此值最好配置與處理器數目相等。

-XX:+UseParallelOldGC:配置年老代垃圾收集方式為并行收集。JDK6.0支持對年老代并行收集。

2.1.5 HeapDump
參考:
http://www.webspherechina.net/?viewnews-6051.html
http://guotufu.iteye.com/blog/1123890

2.2 線程
http://www.oschina.net/question/129540_21818
Web 容器線程池
一般來說,每個服務器 CPU,5 至 10 個線程將會提供最佳吞吐量。另外我們也可以利用 WAS 自帶的 TPV 來幫助我們設置 Web 容器線程池。對系統做一個壓力測試,保持一定的負載,觀測 TPV 中的 PercentMaxed 和 ActiveCount的值,PercentMaxed 表示所有線程被使用的平均百分比,如果該值較大,那么就應該增大線程池的值;ActiveCount 表示被激活的線程個數,如果該值遠小于當前線程池的大小,那么可以考慮減小線程池的值??梢?使用 WAS 管理控制臺進行 Web 容器線程池的配置,位于 Application servers > AppServer name > Thread pools > WebContainer
http://space.itpub.net/11605445/viewspace-600491


Web容器線程池
要點就是:“通常,對于每個服務器 CPU,5 至 10 個線程將會提供最佳吞吐量”(現在的一個cpu可以用核來代替)。比如你的Pc Server有2塊CPU,每塊CPU都是4核,那么你一個Application Server可以設置的最小值和最大值可以分別為40、80。但是一般考慮到能充分利用CPU和Memory,或者為不同的應用啟用不同的application server,一臺Pc Server上并不僅有這么一個appserver,而且還有別的進程在占用著CPU,所以默認的10到50(Linux 系統上 25 個)是一個比較合適的值,當然更準確的值需要通過性能測試來確定。

在進行性能測試的時候,如果吞吐率不是很滿意,或者在TPV中看到線程池占用一直是最大值,不要立刻就調大線程池的設置——往往吞吐率會更一步下降。這時候要注意CPU占用率的情況、vmstat的r列值,特別是System狀態占用率的情況,如果接近10%,甚至超過10%,那么可以肯定系統在進程切換上面消耗的資源太多了。下調線程池的大小反而會提升吞吐率,而且會由于吞吐率的提升降低頁面平均響應時間。

這篇文章也許會使你對線程池大小對性能的影響有個感性的認識:
http://www.ibm.com/developerworks/cn/java/l-threadPool/


調整線程池:
服務器 > 應用程序服務器 > server_name > 線程池 > WebContainer

默認線程池設置:
50
50
60000

VU:10
TRT:0.401
TP:4473169

監控到PoolSize:8

VU:30
TRT:0.911
TP:5392938

監控到PoolSize:12

VU:50
TRT:1.492
TP:4916714

監控到PoolSize:12

VU:100
TRT:3.203
TP:4178110

監控到PoolSize:4

修改線程池設置:
5
5
60000

VU:50
TRT:1.525
TP:4820978

監控到
ActiveCount:2
PoolSize:3
PercentMaxed:0

VU:100
TRT:2.458
TP:5390173

監控到
ActiveCount:2
PoolSize:3
PercentMaxed:0

修改線程池設置:
2
2
60000

VU:100
TRT:3.092
TP:4265748

監控到
ActiveCount:1
PoolSize:2
PercentMaxed:0

修改線程池設置:
1
1
60000
啟動不了控制臺!只能找到server.xml文件修改回去!

2.3 Web應用程序
重點關注servlet、jsp的請求數、服務時間:

2.4 Session

主要關注ActiveCount、LiveCount

Session timeout:
The default value of Session Timeout is 30 minutes. Reducing this value to a lower number can help reduce memory consumption requirements, allowing a higher user load to be sustained for longer periods of time. Reducing the value too low can interfere with the user experience.

How To Set:
In the WebSphere Administrative Console: Servers > Application Servers > WebSphere Portal > Container Settings: Web Container Settings > Session Management > Session Timeout -> Set Timeout


內存中最大會話量:100
Timeout:2分鐘
VU:100
提示錯誤:
Action.c(31): Error -26612: HTTP Status-Code=500 (Internal Server Error) for “http://192.168.1.101:9080/PlantsByWebSphere/servlet/AccountServlet?action=login&updating=false”

內存中最大會話量:1000、允許溢出
Timeout:2分鐘
VU:100
不提示錯誤
內存使用:518M
TRT:7.9

內存中最大會話量:1000、允許溢出
Timeout:30分鐘
VU:100
內存使用:497M->513M(LiveCount和ActiveCount持續增加)
TRT:8.5

2.5 JDBC
主要關注:
WaitingThreadCount
FaultCount
PercentUsed
FreePoolSize

應用程序讀取數據庫有2種方式,一種是直接連接數據庫,一種是調用連接池。
1) 直連是程序直接創建物理連接,調用數據庫進行數據讀取。直連的創建會帶來很大的系統開銷,若程序中多處頻繁使用直連,會造成應用服務器資源消耗過多,影響程序的性能。
2) 連接池是創建和管理一個物理連接的緩沖池,其中會保留一定數量創建的物理連接不關閉,當有客戶端請求時,調用連接池,可以有效減少物理連接的創建次數,降低直連所帶來的系統開銷,緩解應用服務器壓力,提高程序性能。

調整設置連接池屬性:
資源 > JDBC > 數據源> 連接池屬性 > 常規屬性
包括:
-連接超時時間
-最大連接數
-最小連接數
-收集時間
-未使用的超時時間
-時效超時
-清除策略(一般選擇整個池)

連接超時值確保小于事務超時

連接超時
概述:
連接超時是指,當對指定連接池進行請求時,池中沒有可用連接(連接全部被使用,或者數據庫請求超時),當請求時間到達指定之間時未響應,那麼這個時候就會產生超時異常,通過日志可以發現。
意義:
連接超時的設置,是對我們應用響應速度的一種把關,客戶往往要求我們的產品在多長時間必須有響應,所以連接超時的設置,可以讓我們發現哪些程序點有響應速度問題,可能是數據庫查詢語句問題,也有可能是程序邏輯死循環,再有可能就是數據庫表結構需要優化,還有可能是最大連接數到達最大值。

最大連接數
概述:
最大連接數是指當前連接池中允許創建的最大物理連接數,當到達指定值后,將不允許創建物理連接。和連接超時相對應,當達到最大值后,連接請求將等待,直到池中有空閑連接為止,否則報連接超時錯誤。當使用集群機制時,會同時存在多個相同連接池,這個時候需要考慮最大數量的設置。
意義:
最大連接數可以有效控制創建物理連接的數量,連接池的大小影響著服務器資源的占用情況,若連接池過大,則會長期占用服務器可利用資源,若連接池過小,無法滿足現場環境應用高負載使用壓力。最大連接數的設置應根據TPV觀測數據進行合理配置。

最小連接數
概述:
最小連接數是指當前連接池要保留的最小物理連接,其決定未使用超時維護機制的下限,連接池的創建不是根據最小連接數而特意創建,而是根據用戶請求而創建,系統會一直維護最小的連接數目。
意義:
最小連接數使應用服務器保持一定數量的物理連接,利用應用服務器維護機制,合理分配服務器資源。當應用程序訪問頻繁,但訪問人數少的情況下,最小連接數的合理配置,可以將有效的資源進行充分利用,滿足特定應用需求。

收集時間
概述:
收集時間是連接池維護機制的核心,是指每次維護連接池的時間間隔。其有兩個維護指標,分別為未使用超時和時效超時,其值應該小于兩個指標中的任何一個。每一次維護周期中,連接池都會將連接池中超時的物理連接關閉,以減少系統占用資源。
意義:
合理的收集時間設置,是幫助我們關閉不必要的連接,節省系統資源占用的有效途徑。收集時間設置不易過大,因為時間間隔過長,會使很多未被使用的物理連接持續占用資源。若收集時間過小,則頻繁的維護會帶來很多系統開銷,連接池的主要精力都放到了維護上。

未使用的超時
概述:
未使用的超時指池中的物理連接空閑未使用的時間間隔,每隔指定時間,系統會為連接標記,幫助收集時間在維護過程中進行關閉。未使用的超時應該小于實效超時時間,并且其以最小連接數為標準,當連接數超過最小連接數時,其才起作用。
意義:
未使用超時的設置,幫助我們關閉不必要的空閑連接,釋放系統資源,并且減少數據庫開銷。根據現場環境使用情況,我們可以根據系統訪問頻繁程序,來定制合理的未使用超時,如果過小,當訪問頻繁程度大時,總需要重新創建,如果過大,當訪問頻繁程度不大時,連接池又空閑占用過多。

時效超時
概述:
實效超時指關閉物理連接的時間間隔,這個值是指到達指定的時間后,關閉滿足時間條件的物理連接,若這個物理連接未使用,則直接關閉,若這個連接正在使用,則當前事務結束后,關閉此連接。這個值不受最小連接數的影響,若沒有新創建的連接,此機制會關閉連接直到為0。
意義:
時效超時的設置,是為了方式應用程序或者數據庫造成的數據庫連接持續占用,可能導致的原因包括程序邏輯錯誤,數據庫宕機導致的錯誤等。還有一種情況為人為導致,就是若某個用戶持續占用一個資源不放,會導致其他用戶無法訪問。所以時效超時的設置,是對不合理使用應用,或者鏈接錯誤等進行強行關閉,保證程序的穩定性和持久性。

3 性能監控工具
3.1 IBM Support Assistant (ISA) Workbench
下載:
http://www-01.ibm.com/software/support/isa/

IBM Monitoring and Diagnostic Tools for Java - Health Center
簡介:
http://www.ibm.com/developerworks/java/jdk/tools/healthcenter/
The IBM Monitoring and Diagnostic Tools for Java - Health Center (Health Center) enables you to assess the current status of a running Java application. Health Center continuous monitoring provides information to identify and help resolve problems with your application:
? Identify if native or heap memory is leaking
? Discover which methods are taking most time to run
? Pin down I/O bottlenecks
? Visualize and tune garbage collection
? View any lock contentions
? Analyse unusual WebSphere? Real Time events
? Monitor your applications Thread activity
Use Health Center to help you:
? Optimize application performance
? Improve application stability and uptime
? Reduce system resource usage
? Reduce the time to resolve problems
? Drive down development and maintenance costs
? Trigger System dumps for analysis in IBM Monitoring and Diagnostics Tools for Java Memory Analyser
? Turn on verbosegc collection for analysis in IBM Monitoring and Diagnostics Tools for Java Garbage Collection and Memory Visualizer

安裝使用:
http://www.ibm.com/developerworks/java/jdk/tools/healthcenter/getting_started.html
1、下載安裝IBM Support Assistant Workbench.

2、在Workbench中安裝Health Center:

IBM Monitoring and Diagnostic Tools for Java - Garbage Collection and Memory Visualizer
IBM Monitoring and Diagnostic Tools for Java™ - Garbage Collection and Memory Visualizer 是詳細的 GC 數據可視化器。GC and Memory Visualizer 解析并繪制各種日志類型,包括詳細的 GC 日志、-Xtgc 輸出、本機內存日志(來自于 ps、svmon 和 perfmon 的輸出)。
它提供:
- 各種詳細的 GC 數據值的圖形顯示
- 調優推薦和問題檢測(如內存泄漏)
- 報告、原始日志、表格化數據和圖視圖
- 將數據另存為 HTML 報告、jpeg 圖像或 .csv 文件(導出到電子表格)
- 查看和對比多條記錄
- optthruput、optavgpause 和 gencon GC 方式的分析

參考:
WebSphere troubshooting-用工具分析GC Log
http://hi.baidu.com/onroading/item/5f26139619641ab983d2959d

IBM Pattern Modeling and Analysis Tool for Java Garbage Collector (PMAT)
IBM Pattern Modeling and Analysis Tool for Java Garbage Collector (PMAT) parses IBM verbose GC trace, analyzes Java heap usage, and recommends key configurations based on pattern modeling of Java heap usage. Only verbose GC traces generated from IBM JDKs are supported. (PMAT is a Technology Preview and is in English only.)

參考:
http://www-01.ibm.com/support/docview.wss?uid=swg27007240&aid=1

IBM Thread and Monitor Dump Analyzer for Java
參考:
http://guotufu.iteye.com/blog/1123890

What is IBM Thread and Monitor Dump Analyzer for Java?During the run time of a Java™ process, some Java Virtual Machiness (JVMs) may not respond predictably and oftentimes seem to hang up for a long time or until JVM shutdown occurs. It is not easy to determine the root cause of these sorts of problems.
By triggering a javacore when a Java process does not respond, it is possible to collect diagnostic information related to the JVM and a Java application captured at a particular point during execution. For example, the information can be about the operating system, the application environment, threads, native stack, locks, and memory. The exact contents are dependent on the platform on which the application is running.
On some platforms, and in some cases, javacore is known as “javadump.” The code that creates javacore is part of the JVM. One can control it by using environment variables and run-time switches. By default, a javacore occurs when the JVM terminates unexpectedly. A javacore can also be triggered by sending specific signals to the JVM. Although javacore or javadump is present in Sun Solaris JVMs, much of the content of the javacore is added by IBM and, therefore, is present only in IBM JVMs.
IBM Thread and Monitor Dump Analyzer for Java analyzes javacore and diagnoses monitor locks and thread activities in order to identify the root cause of hangs, deadlocks, and resource contention or monitor bottlenecks.

How does it work?This technology analyzes each thread information and provides diagnostic information, such as current thread information, the signal that caused the javacore, Java heap information (maximum Java heap size, initial Java heap size, garbage collector counter, allocation failure counter, free Java heap size, and allocated Java heap size), number of runnable threads, total number of threads, number of monitors locked, and deadlock information.
In addition, IBM Thread and Monitor Dump Analyzer for Java provides the recommended size of the Java heap cluster (applicable only to IBM SDK 1.4.2 and 1.3.1 SR7 or above) based on the heuristic analysis engine.
IBM Thread and Monitor Dump Analyzer for Java compares each javacore and provides process ID information for threads, time stamp of the first javacore, time stamp of the last javacore, number of garbage collections per minute, number of allocation failures per minute, time between the first javacore and the last javacore, number of hang suspects, and list of hang suspects.
This technology also compares all monitor information in javacore and detects deadlock and resource contention or monitor bottlenecks, if there are any.

Database Connection Pool Analyzer for IBM WebSphere Application Server
參考:
http://www-01.ibm.com/support/docview.wss?rs=180&uid=swg21254645
http://yishueitian326.blog.163.com/blog/static/28586375201010935436260/
http://www-01.ibm.com/support/docview.wss?uid=swg21392440

簡介:
IBM Database Connection Pool Analyzer helps you to resolve JDBC connection pool related problems through its heuristic analysis engine. This tool is a tech preview and is available in English only.

IBM Trace and Request Analyzer for WebSphere Application Server
A tool that detects delays and hangs in WebSphere(R) trace and HTTP plug-in trace. This tool is a tech preview and is available in English only.

WebSphere Application Server Performance Tuning Toolkit
參考:
http://www.ibm.com/developerworks/cn/websphere/downloads/peformtuning.html

3.2 Nagios WAS
https://www.oschina.net/p/nagios-was/similar_projects?lang=21&sort=view&p=3

Nagios WAS 是個用來監控 IBM 的 WebSphere 應用服務器的 Nagios 插件。監控的內容包括:
MonitorJvmHeapsize
MonitorJdbcConnectionPools
MonitorThreadPools
MonitorLiveSessions

3.3 LoadRunner監視WebSphere (略)

總結

以上是生活随笔為你收集整理的Websphere 学习(二)的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

蜜臀av性久久久久av蜜臀三区 | 激情久久久久 | 国产精品久久久网站 | 免费在线播放av电影 | 亚洲三级性片 | 一级免费黄色 | 亚洲精品美女久久久 | 四虎国产永久在线精品 | 国产丝袜一区二区三区 | 久久国语 | 久久久久免费精品视频 | 国产精品9999久久久久仙踪林 | 视频国产区 | 国产黄网站在线观看 | 午夜精品一区二区三区可下载 | 亚洲情影院 | 婷婷色网址 | 在线国产中文 | 97精品一区二区三区 | 91视频免费看 | 久久久久免费网 | 97成人超碰 | 不卡国产在线 | 精品在线亚洲视频 | 久草视频免费在线播放 | 欧美aⅴ在线观看 | 91网在线看 | 国产精品免费观看视频 | 国产福利电影网址 | 日韩成人精品 | 黄毛片在线观看 | 久久影院精品 | 黄色毛片视频免费 | avhd高清在线谜片 | 欧美9999| 成人免费中文字幕 | 2019中文在线观看 | av午夜电影 | 国产精品情侣视频 | 丁香婷婷自拍 | 久久久.com| 亚洲精品一区二区三区在线观看 | 草久在线 | 国内视频一区二区 | 久久精品久久99 | 91成人看片 | 国产 视频 高清 免费 | 色综合激情久久 | 国产精品久久久久免费观看 | 国产喷水在线 | 五月婷婷激情综合网 | 美女视频黄频大全免费 | 黄色91在线 | 国产又粗又猛又黄 | 中文字幕丝袜美腿 | 日韩最新av在线 | 在线免费观看视频一区 | 欧美日韩午夜爽爽 | 五月激情电影 | 国产激情电影综合在线看 | 日韩视频在线观看视频 | v片在线播放 | 91看片网址| 日韩精品一区二区三区中文字幕 | 欧美日韩亚洲精品在线 | 亚洲精品视频一 | 天天干天天射天天操 | 亚洲欧洲精品一区二区精品久久久 | 国产一区av在线 | 狠狠操狠狠插 | 中文字幕在线观看国产 | 国产在线1区 | 日韩一区二区三区免费视频 | 日韩综合视频在线观看 | 国产精品黄色 | 国产精品高潮呻吟久久av无 | 日韩欧美69| 精品国产美女在线 | 欧美一级性生活 | 国内精品久久久久影院一蜜桃 | 91伊人久久大香线蕉蜜芽人口 | 日韩v欧美v日本v亚洲v国产v | 色婷婷亚洲综合 | 亚洲成a人片在线观看中文 中文字幕在线视频第一页 狠狠色丁香婷婷综合 | 日韩免费在线播放 | 密桃av在线 | 综合激情av | 99成人在线视频 | 免费在线观看中文字幕 | www.天天草| 视频在线观看亚洲 | 综合精品久久久 | 中文字幕亚洲不卡 | av一二三区 | www亚洲国产 | 久久理论视频 | 最近免费中文字幕 | 伊人五月天av | 激情视频综合网 | 欧美日本在线视频 | 日韩动态视频 | 国产视频在线播放 | 久久你懂的 | 成人小视频在线播放 | 久热免费 | 亚洲一区免费在线 | 日日爽天天 | 99这里只有久久精品视频 | 欧美一区二区三区特黄 | 97超碰成人在线 | 日韩一区二区三区视频在线 | 国产精品私人影院 | 国产精品女 | 日本久久久久久久久 | 蜜桃视频在线观看一区 | 国产一性一爱一乱一交 | 国内精品久久久久 | 久久综合给合久久狠狠色 | 久久精品直播 | 日韩免费观看一区二区 | 成年人免费在线观看网站 | 亚洲精品高清视频在线观看 | 一区二区欧美日韩 | 亚洲午夜大片 | 特级毛片网站 | 日本特黄特色aaa大片免费 | 中文字幕一区二区三区四区视频 | 久久久久欧美精品 | 在线播放精品一区二区三区 | 国产精品一区二区果冻传媒 | 精品一区二区日韩 | 久久图 | 久久理论电影 | 国产精品免费久久久久影院仙踪林 | 中文字幕在线第一页 | 日本激情动作片免费看 | 亚洲国产中文字幕在线 | www.久久91 | 日韩天堂在线观看 | 一区二区电影网 | 人人干天天射 | 成人av片免费观看app下载 | www.狠狠| 精品在线观看国产 | 成人黄色电影视频 | 久久久久久久久久免费 | 九九视频免费在线观看 | 国产又粗又猛又色又黄网站 | 91精品成人久久 | 久久久国产精品麻豆 | 日本不卡久久 | 日韩在线免费高清视频 | 国产成人精品一区二 | 日韩欧美网址 | 亚洲精品免费视频 | 免费男女羞羞的视频网站中文字幕 | 丝袜美腿在线 | 97色视频在线 | 国产美女被啪进深处喷白浆视频 | 91中文字幕| 亚洲全部视频 | 丝袜美女在线观看 | 麻豆一精品传二传媒短视频 | 啪啪肉肉污av国网站 | av电影在线观看完整版一区二区 | 日韩电影一区二区三区 | 久久99在线观看 | 在线成人观看 | 国产91勾搭技师精品 | 国产精品久久免费看 | 黄色av播放| 免费观看的黄色片 | 久草电影在线观看 | 日韩a欧美| 亚洲美女免费精品视频在线观看 | 四虎在线视频 | 国内久久久 | 免费在线一区二区三区 | 亚洲精品动漫成人3d无尽在线 | 天天操天天干天天操天天干 | 国产精品a久久久久 | 91成人欧美 | 国产成人一区二区三区在线观看 | 九色自拍视频 | 99精品国产一区二区三区麻豆 | 婷婷精品国产一区二区三区日韩 | av大片网址 | 豆豆色资源网xfplay | 亚洲精品国产免费 | 中文字幕 国产精品 | 在线精品在线 | 天干啦夜天干天干在线线 | 亚洲精品视频免费在线观看 | 久久国产亚洲精品 | 欧美va电影 | av在线免费观看黄 | 天天插天天干 | 五月婷婷综合激情网 | 婷婷在线精品视频 | 日日日网 | 全久久久久久久久久久电影 | 欧美激情精品一区 | 免费在线观看av网站 | 狠狠干综合 | 九热精品 | 成年人黄色免费看 | 99久久精品免费看国产一区二区三区 | 久久亚洲影院 | 99热最新网址 | 久久婷婷丁香 | 国产精品一区二区av日韩在线 | 一区二区三区久久 | 国产一卡二卡在线 | 国产99在线播放 | 国产午夜小视频 | 亚洲精品女人 | 黄色视屏av| 伊人夜夜 | av青草 | 五月天丁香综合 | 日韩xxxxxxxxx | 一区二区三区在线观看 | 综合亚洲视频 | 五月婷婷丁香激情 | 国产一区二区三区午夜 | 色老板在线 | 日韩一区二区在线免费观看 | 欧美午夜寂寞影院 | 免费看成年人 | 在线观看黄 | 十八岁以下禁止观看的1000个网站 | 久久免费黄色网址 | av片子在线观看 | 91精品一区二区在线观看 | 亚洲第一av在线 | 免费看国产曰批40分钟 | 国产伦理一区二区 | 国产中文字幕视频 | 国产高清免费av | 色老板在线视频 | 最新久久免费视频 | 成人在线观看日韩 | 黄色a视频 | 免费看国产黄色 | 麻豆小视频在线观看 | 97国产大学生情侣酒店的特点 | 亚洲伊人婷婷 | 麻豆影视在线播放 | 黄色精品视频 | 精品国产一区二区三区男人吃奶 | 一级电影免费在线观看 | 国产专区在线看 | 色噜噜狠狠色综合中国 | 91精品国产高清 | 在线 国产 亚洲 欧美 | 亚洲欧美日韩中文在线 | 中文字幕黄色av | av成年人电影 | 国产精品国产三级国产 | 国产精品一二三 | 在线 国产 亚洲 欧美 | 又黄又爽又无遮挡的视频 | 久久三级视频 | 国产伦理久久精品久久久久_ | 国产一区二区手机在线观看 | 黄色大片av | 天天操天天干天天爱 | 中文av不卡 | 免费网站在线观看人 | 久久久精品久久日韩一区综合 | 美腿丝袜一区二区三区 | 国产青春久久久国产毛片 | 深夜福利视频一区二区 | 日韩午夜在线 | 激情小说网站亚洲综合网 | 亚洲天堂在线观看完整版 | 欧美老人xxxx18| 日韩手机在线观看 | 国产成人777777| 亚洲精品视频在线观看免费视频 | 最新日韩在线观看 | 国产精品视频一二三 | 国产成人免费网站 | 久久精品在线 | 欧美日韩免费一区 | 综合在线观看 | 国产手机在线观看 | 久99久在线视频 | 在线免费观看的av网站 | 午夜视频在线观看一区二区 | 国产亚洲婷婷 | 一本色道久久精品 | 天天操综合网 | 在线免费观看的av | 91精品国产综合久久福利 | 天天色天天操综合网 | 亚洲欧美国产精品久久久久 | 国产精品丝袜久久久久久久不卡 | 国产麻豆果冻传媒在线观看 | 国产精品精品视频 | 激情五月婷婷 | 免费在线观看成年人视频 | 韩国av不卡 | 人人干人人草 | 在线探花| 国产成人a亚洲精品 | 91av看片| 激情图片久久 | 特级西西444www大精品视频免费看 | 久久艹艹| 色福利网 | 久久视频在线观看中文字幕 | 1024在线看片 | 日本精品视频在线观看 | 亚洲精品一区二区三区四区高清 | 国产九九九九九 | www.婷婷色 | 美女视频黄的免费的 | 91成人精品一区在线播放69 | 日韩欧美视频在线播放 | 国产精品理论在线观看 | av一级免费| www好男人 | 亚色视频在线观看 | 中文字幕乱在线伦视频中文字幕乱码在线 | 久久6精品| 久久99精品热在线观看 | 9999亚洲 | 日韩三区在线观看 | 久久午夜色播影院免费高清 | 91亚洲精品在线 | 亚洲精品高清视频在线观看 | 国产精品女教师 | 探花视频在线观看免费 | 日韩免费网址 | 国产精品久久久久久久久免费 | 国产精品视频永久免费播放 | av电影中文字幕在线观看 | 狠狠色丁香婷婷综合基地 | 99人成在线观看视频 | 在线a人v观看视频 | 人人爱夜夜操 | 97人人澡人人添人人爽超碰 | 免费热情视频 | 国产精品k频道 | 在线观看精品黄av片免费 | 欧美91精品久久久久国产性生爱 | 欧美日韩亚洲在线观看 | 天天综合网 天天综合色 | 日韩欧美在线中文字幕 | 日本中文字幕电影在线免费观看 | 日韩精品中文字幕在线 | 精品一二三四在线 | 久久视频精品在线 | 欧美极品一区二区三区 | 一区二区激情视频 | 日韩精品一区二区三区三炮视频 | 久久久久久久久久久久国产精品 | 91亚洲狠狠婷婷综合久久久 | 亚洲精品乱码久久久久久写真 | av超碰在线 | 91视频成人免费 | 色综合天天狠狠 | 色七七亚洲影院 | 亚洲午夜精品福利 | a黄色| 国产精品99久久久久久久久久久久 | 日精品| 最新日本中文字幕 | 久久日本视频 | 天天天天天天天操 | av大片免费看 | 91中文字幕视频 | 91系列在线 | 精品亚洲视频在线 | 中文在线字幕免 | 欧美日韩高清一区 | 激情在线网站 | 在线观看完整版 | 亚洲精选视频在线 | 亚洲精品h | 午夜精品久久久久久久久久久 | 黄色a一级片 | 最近最新中文字幕视频 | 国产97在线播放 | 在线成人小视频 | 久久99这里只有精品 | 免费a网址 | 国产精品国内免费一区二区三区 | 99精品在线看 | 91麻豆精品国产91久久久更新时间 | av成人亚洲 | 91试看 | 国产99久久九九精品 | 毛片基地黄久久久久久天堂 | 一 级 黄 色 片免费看的 | 黄色av网站在线免费观看 | 欧美亚洲国产日韩 | 国产91在线观看 | 国产原创在线观看 | 在线国产能看的 | 欧美综合在线观看 | 久久久国内精品 | 国产精品久久久久av福利动漫 | 日韩中文免费视频 | 久久久网页 | 最近中文字幕大全中文字幕免费 | 国产做aⅴ在线视频播放 | 色视频在线看 | 9999精品| 中文字幕激情 | 日韩在线视频国产 | a视频免费在线观看 | 久草www| 日韩有色 | 国产亚洲精品中文字幕 | 国产精品久久亚洲 | 国内精品久久久久 | www.色com| 国产精品99久久久精品免费观看 | 亚洲精选国产 | 97超碰色偷偷 | www.天天射.com | 精品你懂的 | 亚洲色图 校园春色 | 久久深夜福利免费观看 | 在线播放精品一区二区三区 | 精品中文字幕在线 | 色88久久| 日韩 精品 一区 国产 麻豆 | 不卡视频在线看 | 婷婷丁香狠狠爱 | 在线播放一区二区三区 | aaa日本高清在线播放免费观看 | 亚洲影视资源 | 日操操| 久操视频在线观看 | 欧美国产日韩在线视频 | 久久国产剧场电影 | 在线观看免费国产小视频 | 人人插人人舔 | 中文字幕超清在线免费 | 色吊丝在线永久观看最新版本 | 日韩高清无线码2023 | 又黄又爽又刺激 | av不卡免费看 | 精品国产欧美一区二区三区不卡 | 综合久久精品 | 三级视频片 | 精品在线视频一区二区三区 | 中文字幕日韩免费视频 | 99精品乱码国产在线观看 | 国内精品久久久久 | 日韩精品免费在线观看视频 | 国产精品一区二区三区观看 | 亚洲精品影视 | 国产精品成人一区二区三区吃奶 | 久久人人做 | 91精品区| 91丨九色丨高潮丰满 | 国产精品久久久亚洲 | 欧美专区日韩专区 | 韩国精品福利一区二区三区 | 婷婷综合av | 日韩网站在线 | 国产精品久久久久久久久久久免费 | 欧美日韩视频在线观看一区二区 | 日韩在线第一区 | 日本系列中文字幕 | 国产欧美在线一区 | 在线观看黄网 | 人人射网站 | 中文免费 | 亚洲精品乱码久久久久久蜜桃欧美 | 精品视频免费播放 | 亚洲精品国久久99热 | 国产 中文 日韩 欧美 | 成人免费在线视频观看 | 五月婷婷综合久久 | 91资源在线视频 | 日本性视频 | 香蕉网站在线观看 | 久久精品99久久久久久 | 日日夜色| 色婷婷狠狠五月综合天色拍 | 久久精品中文字幕免费mv | 欧美一级视频免费看 | 手机成人免费视频 | 亚洲成人av电影在线 | 天天天插 | 91丨九色丨首页 | 国产一级高清 | 欧美伦理一区二区三区 | av在线中文 | 俺要去色综合狠狠 | 天天玩夜夜操 | 久久综合之合合综合久久 | 国产精品激情偷乱一区二区∴ | 97超碰中文字幕 | 乱男乱女www7788| 午夜精品一区二区三区视频免费看 | 欧美色一色 | 国产精品第一页在线 | 欧美精品少妇xxxxx喷水 | 国产亚洲精品久久久久5区 成人h电影在线观看 | 91在线区 | 亚洲永久在线 | 国产精品99久久免费黑人 | 中国黄色一级大片 | 日韩av免费在线看 | 国产成人在线网站 | 亚洲精品欧美视频 | 亚洲欧美国产精品 | 久久久久久久久久久久久久免费看 | 日本黄色免费看 | 美女黄久久 | 国产免费专区 | 久久五月情影视 | 欧美激精品 | 天堂在线一区二区 | 亚洲九九影院 | 一级黄色电影网站 | 日韩欧美在线影院 | 日韩在线观看视频免费 | 丁香免费视频 | 久久er99热精品一区二区 | 99爱视频| 色网站在线观看 | 亚洲涩涩一区 | 青春草视频 | 91视视频在线直接观看在线看网页在线看 | 五月婷婷久久丁香 | 日本巨乳在线 | 国产资源av| 一区二区三区免费在线 | 91av在线播放| 日韩在线观看网址 | 久久免费精彩视频 | 黄色毛片一级片 | 香蕉久草在线 | 在线 欧美 日韩 | 日日干天天爽 | 亚洲经典中文字幕 | 亚洲视频分类 | 久久字幕网 | 毛片久久久 | 亚洲精区二区三区四区麻豆 | 91福利国产在线观看 | av大片免费看 | 成人久久网 | 精品国产区 | 99久久国产免费看 | 免费精品视频在线 | 狠狠操狠狠干天天操 | 五月激情片 | 国产日韩在线一区 | 中文字幕之中文字幕 | 国产精品毛片久久蜜 | 色com网| 在线免费观看麻豆视频 | 超碰在线亚洲 | 国产精成人品免费观看 | 日韩在线| 久久国产系列 | 国产亚洲婷婷 | 日韩一区二区免费视频 | 久久精品99国产精品亚洲最刺激 | 超碰在线9 | 久久人人爽 | 亚洲精品人人 | 国产欧美精品一区二区三区四区 | 久久国产精品一二三区 | 日本在线中文在线 | 国产麻豆成人传媒免费观看 | 一区二区视频播放 | 激情欧美xxxx | 综合精品久久久 | 美国三级黄色大片 | 蜜臀久久99精品久久久无需会员 | 久久香蕉国产精品麻豆粉嫩av | 欧美整片sss| 麻豆视传媒官网免费观看 | 国产福利av在线 | 五月天婷婷免费视频 | 中文字幕在线观看完整 | 成年人网站免费在线观看 | 亚洲视频在线免费观看 | 毛片的网址 | 91视频免费视频 | 欧美污污网站 | 超碰国产在线观看 | 毛片无卡免费无播放器 | 国产成人免费观看久久久 | 成人一区二区在线观看 | 少妇精69xxtheporn| 91在线色 | 欧美午夜性| 超碰最新网址 | 国产不卡在线 | 波多野结依在线观看 | 成人免费视频观看 | 国产精品美女久久久久久久 | 天天射天天搞 | 天天综合网 天天综合色 | 在线天堂日本 | 日本夜夜草视频网站 | 国产又粗又硬又爽视频 | 成年人在线观看网站 | 99久久日韩精品免费热麻豆美女 | 91最新网址 | 黄色亚洲在线 | 日韩av不卡在线观看 | 一本一道波多野毛片中文在线 | 日韩欧美区 | 五月婷婷毛片 | 久久国产一区 | 麻豆影视网站 | 四虎影视成人 | 免费视频成人 | 亚洲成aⅴ人片久久青草影院 | 五月婷婷综合在线 | 日日夜夜操操操操 | av天天草| 欧美日韩精品免费观看视频 | 337p日本欧洲亚洲大胆裸体艺术 | 97超碰人人澡 | 99精品热视频只有精品10 | 久久国产综合视频 | 午夜在线观看 | 精品国产电影一区 | 很黄很污的视频网站 | 亚洲国产中文在线 | 五月天综合色 | 亚洲欧美日韩一二三区 | 视频成人永久免费视频 | 在线日韩三级 | 91亚色免费视频 | 免费观看v片在线观看 | 久久精品99国产精品亚洲最刺激 | 激情综合网五月婷婷 | 91片黄在线观看动漫 | 欧美日韩国产精品一区 | 俺要去色综合狠狠 | 亚洲欧美偷拍另类 | 欧美一级电影免费观看 | 最新国产一区二区三区 | 六月丁香在线视频 | 欧美日韩视频在线观看一区二区 | av亚洲产国偷v产偷v自拍小说 | 久久综合九色综合欧美就去吻 | 又黄又爽又无遮挡免费的网站 | 91女神的呻吟细腰翘臀美女 | 久久久久久久久久久久久久电影 | 日本视频高清 | 日韩免费在线播放 | 国产玖玖在线 | 美女网站色在线观看 | 一区二区三区国产欧美 | 国产成人一区二区在线观看 | 久久在线 | 美女视频黄是免费的 | 成人一区电影 | 在线播放av网址 | 日韩一区二区免费播放 | 91天堂素人约啪 | 黄色成人av在线 | 亚洲a资源 | 人人看人人草 | 特及黄色片 | 国产在线a | 亚洲少妇影院 | 国语黄色片 | 在线观看播放av | 国产精品99视频 | 粉嫩aⅴ一区二区三区 | 91视频com| 日韩网页| 国产精品一区在线观看你懂的 | 天天干天天做 | 天天干,天天操,天天射 | 二区三区在线视频 | 国产3p视频 | 在线导航福利 | 免费高清男女打扑克视频 | 亚洲黄色影院 | 91久久爱热色涩涩 | 在线观看国产v片 | 91福利视频久久久久 | 精品亚洲免费 | 亚洲人在线视频 | a级黄色片视频 | 亚洲激情| 婷婷开心久久网 | 日本精品久久久久中文字幕 | 成人在线观看影院 | 日韩欧美视频一区二区三区 | av片免费播放 | 日本三级中文字幕在线观看 | 波多野结衣网址 | 黄色av免费| 免费在线观看一区 | 亚洲国产成人久久 | 美女在线免费观看视频 | 美女网站色在线观看 | 中文字幕视频网站 | 午夜精品视频一区二区三区在线看 | 91在线免费看片 | 中文字幕一区二区三区久久蜜桃 | 91亚洲精品久久久蜜桃借种 | 玖玖在线看 | 草 免费视频 | av在线之家电影网站 | 亚洲影视九九影院在线观看 | 日韩理论片| 免费av在线网站 | 92中文资源在线 | 久久亚洲区 | 一级黄色免费网站 | 丰满少妇高潮在线观看 | 欧美精品一区二区三区一线天视频 | 免费久草视频 | 在线超碰av| 亚洲少妇久久 | www.天天成人国产电影 | 成人黄色片在线播放 | 亚洲一区日韩精品 | 中文字幕av在线不卡 | 手机成人在线 | 久久黄色片子 | 一区二区 久久 | 91天天操 | 特级西西www44高清大胆图片 | 成人黄色小说在线观看 | av蜜桃在线 | 丁香色婷 | 国产精品资源 | 天天综合导航 | www.久久91| 久久久电影 | 欧美激情视频三区 | av电影在线免费观看 | 蜜桃视频成人在线观看 | 超碰97免费在线 | 九九在线播放 | 18女毛片| 精品一区二区精品 | 91视频专区| 成人一区二区三区中文字幕 | 国产一区av在线 | 黄色网址a| 在线观看的a站 | 成人欧美一区二区三区黑人麻豆 | 亚洲精品在线观看av | 婷婷黄色片 | 久久久久女教师免费一区 | 国产精品国产三级国产不产一地 | 久视频在线 | 国产高清在线一区 | 欧美久久久久久久 | 黄色免费观看网址 | 99精品视频99 | 亚洲专区欧美专区 | 99精品免费| 中文字幕丝袜 | 免费看的黄色 | 最近中文字幕高清字幕免费mv | 久久久999 | 蜜臀av在线一区二区三区 | 国产精品久久久久久久妇 | 国产青草视频在线观看 | 91丨九色丨蝌蚪丨老版 | 久久人人97超碰精品888 | 正在播放国产精品 | 日韩电影精品 | 久久国产精品久久精品 | 国产丝袜高跟 | 欧美日韩在线视频一区 | 国产无限资源在线观看 | 日韩大片在线播放 | 亚洲一级国产 | 日韩资源在线 | 中文av网 | 日韩欧美中文 | 国产亚洲aⅴaaaaaa毛片 | 深爱激情亚洲 | 91精品国产一区 | 欧美日韩视频在线观看一区二区 | 国产精品精品国产色婷婷 | 日韩videos高潮hd | 国产精品美女久久久久久 | 亚洲va男人天堂 | 国产精品九九视频 | 开心婷婷色 | 深爱激情站 | 午夜精品视频一区二区三区在线看 | 精品国产乱码久久久久久1区二区 | 成年人视频免费在线播放 | 日韩成人在线免费观看 | 欧美在线一级片 | 国产一线天在线观看 | 久草在线最新视频 | 最近中文字幕高清字幕在线视频 | 亚洲一级理论片 | 香蕉视频在线看 | 中文字幕制服丝袜av久久 | 五月天久久精品 | 国产91av视频在线观看 | 欧美久久影院 | 欧美伊人网 | 欧美日韩中文国产 | 国产精品一区二区三区免费看 | 超碰在线最新网址 | 国产香蕉久久精品综合网 | 国产精品黑丝在线观看 | 激情综合网五月激情 | 麻豆成人精品 | www免费看片com| www.97视频 | 激情久久久久久久久久久久久久久久 | 亚洲国产精品久久久久婷婷884 | 国产成人精品一区二区三区福利 | 免费视频你懂得 | av一级免费 | 日韩videos | 麻豆综合网 | 日本性生活免费看 | 国产黑丝袜在线 | 98超碰在线 | 国产精品视频地址 | 国产中文字幕在线视频 | 456免费视频| 在线观看视频一区二区三区 | 精品一区二区在线免费观看 | 国产精品亚洲片夜色在线 | 久草网站在线观看 | www.色的| 天天操天天色天天射 | av成年人电影 | 国产免费资源 | a久久久久 | 丁香电影小说免费视频观看 | 亚洲天天看 | 国产成人一二三 | 国产精品成久久久久三级 | 最近日本韩国中文字幕 | 国产人成看黄久久久久久久久 | 国产亚洲成av人片在线观看桃 | 国产日韩精品在线 | 天天艹| 亚洲视频1 | 99精品影视| 久草爱| 国产日韩欧美在线 | 黄a在线| 欧美a级在线免费观看 | 久久av免费观看 | 免费看黄色小说的网站 | 综合国产在线观看 | 在线免费观看的av | 日韩专区中文字幕 | 天天天干天天天操 | 在线观看中文字幕亚洲 | 亚洲日韩欧美视频 | 96av在线视频 | 97超级碰 | 国产一区不卡在线 | 韩国一区二区在线观看 | 日韩黄色中文字幕 | 亚洲成人中文在线 | 午夜精品久久久久 | 天堂中文在线视频 | 91九色国产视频 | 欧美国产精品久久久久久免费 | 国产中文字幕一区 | 在线观看视频免费播放 | 欧美极品少妇xxxx | 亚洲日本va中文字幕 | 96在线| 一区二区三区在线观看中文字幕 | 国产无遮挡又黄又爽在线观看 | 国产精品久久中文字幕 | 精品亚洲欧美无人区乱码 | 欧美国产不卡 | 天天综合网久久综合网 | 在线观看91精品视频 | 久久久不卡影院 | 麻豆视频国产 | 日日夜夜中文字幕 | 国产91在线免费视频 | 男女啪啪网站 | 久久久久久久久久久电影 | 久久精品一区二区 | 日韩高清在线一区 | 毛片在线播放网址 | 欧美性色黄大片在线观看 | 精品视频9999 | 黄色免费电影网站 | 丁香婷婷深情五月亚洲 | 99精品久久久久久久久久综合 | 免费看在线看www777 | 色综合久久久久综合 | 亚洲视频观看 | 7799av | 亚洲精品黄 | 亚洲影视九九影院在线观看 | 深爱婷婷 | 一级性av| av免费看网站 | 深夜免费福利在线 | 午夜美女wwww| 日韩精品免费一线在线观看 | 三级黄色免费片 | 888av| 中文字幕视频三区 | 五月天天色 | 日本精品久久久久久 | 国产精品国产自产拍高清av | 日韩大片免费观看 | 毛片网站观看 | av黄色免费在线观看 | 一级一级一片免费 | 婷婷激情五月综合 | 日韩视频免费观看高清完整版在线 | 91亚洲精品久久久中文字幕 | 最近免费中文视频 | 日韩成人av在线 | 麻豆国产露脸在线观看 | 久久福利在线 | 久草在线观看视频免费 | 日韩三级成人 | 欧美精品xx | 日韩精品视频在线观看免费 | 国产日韩精品一区二区三区在线 | 性色xxxxhd | 国产一区二区在线免费播放 | 亚洲视频大全 | 国产精品2018 | 日韩免费福利 | 综合网伊人 | 亚洲精品777 | 亚洲国产中文字幕在线观看 | av免费黄色 | 国产亚洲精品电影 | 日本黄色免费在线观看 | 色婷婷伊人 | 日韩免费看的电影 | 色综合色综合久久综合频道88 | 久久国产色 | 亚洲精品视频二区 | 天堂在线一区二区三区 | 国产午夜精品在线 | 九九国产视频 | 玖玖在线免费视频 | 91经典在线 | 国产精品久久一 | 精品国产一区二区三区久久久 | 国产精品嫩草影院123 | 在线观看国产成人av片 | 久久成人国产精品入口 | av不卡中文 | 美女网站视频免费都是黄 | 狠狠的操狠狠的干 | 一区二区三区免费看 | 99热手机在线| 国内精品久久久久久久久 | 精品国模一区二区三区 | 黄免费网站 | 亚洲国产精品成人精品 | 人人舔人人射 | av天天澡天天爽天天av | 日韩在线 | 狠狠的操狠狠的干 | av成人资源| 成人免费看黄 | 岛国一区在线 | 日韩一区二区三免费高清在线观看 | 91中文字幕在线观看 | 久久婷婷丁香 | 韩国一区视频 | 日日干影院 | 一区二区三区精品在线视频 | 一区二区三区免费播放 | 欧美男男激情videos | 久久精品视频观看 | 天天色天天操天天爽 | 免费麻豆视频 | 欧美精品小视频 | 国产精品一区二区麻豆 | 国产午夜精品久久 | 91专区在线观看 | 成人黄色在线视频 | 亚洲精品国偷拍自产在线观看蜜桃 | 欧美精品日韩 | 欧美99热 | 国产日韩精品一区二区在线观看播放 | 国产va饥渴难耐女保洁员在线观看 | 久草在线视频看看 | 久久精品美女 |