日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

java应用的优化【转】

發(fā)布時間:2025/3/21 编程问答 43 豆豆
生活随笔 收集整理的這篇文章主要介紹了 java应用的优化【转】 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

XX銀行網(wǎng)銀系統(tǒng)是一套全新的對公業(yè)務(wù)渠道類系統(tǒng),經(jīng)過兩年的建設(shè),將逐步對外提供服務(wù)。

該系統(tǒng)融合了原來多個對公渠道系統(tǒng),并發(fā)量是以前多個系統(tǒng)之和,吞吐量要求將大幅上升。為了使廣大對公客戶使用系統(tǒng)時獲得更快的響應(yīng)時間體驗,項目組對系統(tǒng)進(jìn)行了持續(xù)的性能測試和優(yōu)化。這一過程中,形成了一套針對新建系統(tǒng)進(jìn)行性能測試和優(yōu)化的方法論。

該方法論包括測試環(huán)境準(zhǔn)備、測試功能優(yōu)先級、性能優(yōu)化原則、常用性能指標(biāo)及工具、工具使用方法、常見性能問題原因和優(yōu)化方法,以及典型案例和進(jìn)一步優(yōu)化方法的討論。

由于系統(tǒng)已經(jīng)開發(fā)完成,根據(jù)性能優(yōu)化修改范圍盡可能小且不引入更多問題的原則,本文將只討論對系統(tǒng)進(jìn)行局部優(yōu)化的方法,而系統(tǒng)初始設(shè)計時為了提高性能而進(jìn)行的設(shè)計不在討論范圍之內(nèi)。

我們使用Linux操作系統(tǒng),壓測工具為loadrunner,中間件版本包括IHS8.5.5.9、WAS8.5、IBMJDK1.7(IBM J9VM)、DB2V10、Redis3.2.3。

一、應(yīng)用系統(tǒng)性能評價指標(biāo)

  • 響應(yīng)時間:盡快的給用戶返回響應(yīng),體現(xiàn)系統(tǒng)處理請求的速度;

  • 吞吐量TPS:每秒完成的事務(wù)數(shù),體現(xiàn)系統(tǒng)處理能力;

  • 并發(fā)性:業(yè)務(wù)請求高并發(fā)時,系統(tǒng)能否穩(wěn)定運行;

  • 擴展性:單機處理能力不足時,系統(tǒng)能否橫向擴展。

TPS = 并發(fā)用戶數(shù) / 響應(yīng)時間

二、常見性能監(jiān)控指標(biāo)及工具

1、操作系統(tǒng)監(jiān)控指標(biāo)及工具

主要監(jiān)控指標(biāo):CPU、系統(tǒng)CPU、內(nèi)存、磁盤IO、網(wǎng)絡(luò)IO、請求耗時。

常用命令:

  • top –H –p pid:cpu負(fù)載監(jiān)控,實時查看占用cpu高的線程;

  • vmstat:系統(tǒng)負(fù)載監(jiān)控;

  • pidstat:cpu讓步式上下文切換監(jiān)控,監(jiān)控鎖競爭;

  • iostat:磁盤利用率監(jiān)控;

  • nmon:監(jiān)控cpu、內(nèi)存、io使用率 ./nmon -f -t -s 2 -c 100 每2秒采集一次,共100次;

  • netstat -anp|grep端口或IP|grep ESTABLISHED|wc -l:服務(wù)器連接數(shù)監(jiān)控。

2、JVM監(jiān)控指標(biāo)及工具

  • Jconsole,監(jiān)控cpu、內(nèi)存垃圾回收。

JVM啟動參數(shù)中增加:

-Dcom.sun.management.jmxremote.port=1088

-Dcom.sun.management.jmxremote.authenticate=false

-Dcom.sun.management.jmxremote.ssl=false

  • jvisualvm,cpu采樣、java方法耗時分析、jvm線程??煺?、監(jiān)控cpu、內(nèi)存垃圾回收。

CPU抽樣:

線程快照:

  • jca457.jar,ibm javacore線程快照分析:

  • ga456.jar,ibmjvm垃圾回收gc分析:

  • ha456.jar,ibmjvm內(nèi)存,heapdump分析,內(nèi)存溢出時使用;

  • TProfiler,cpu采樣、java方法cpu耗時分析,cpu高,響應(yīng)慢時使用;

  • JProfiler,cpu采樣、java方法cpu耗時分析,cpu高,響應(yīng)慢時使用;

  • OracleDeveloperStudio12.6-linux-x86,cpu采樣、java方法cpu耗時分析,cpu高,響應(yīng)慢時使用。

三、性能測試前置條件

1、數(shù)據(jù)庫表數(shù)據(jù)量準(zhǔn)確

要和生產(chǎn)數(shù)據(jù)量保持一致,至少一個數(shù)量級。數(shù)據(jù)分布盡量均勻。

2、測試環(huán)境和生產(chǎn)一致

測試環(huán)境機器配置、參數(shù)、代碼盡可能和生產(chǎn)保持一致(數(shù)據(jù)庫服務(wù)器硬件除外)。

3、合理確定并發(fā)用戶量

系統(tǒng)并發(fā)用戶量有多種算法可以估算:

  • 平均并發(fā)用戶數(shù):

    C=nL/T(n是考察時間內(nèi)用戶登錄數(shù),L是用戶平均在線時間長度,T是考察值時間長度)

    并發(fā)用戶數(shù)峰值:C’=C + 3*根號C

  • 用戶總量/統(tǒng)計時間*影響因子:

    網(wǎng)銀用戶量100萬,根據(jù)2/8原則, 80%用戶在上午9點到11點,下午2點到4點之間登錄系統(tǒng),每次登錄耗時1到1.5秒。則并發(fā)用戶為:

    1000000*0.8/4/3600*1.5=82.5,

    1000000*0.8/4/3600*1=55

  • 根據(jù)系統(tǒng)用戶數(shù)計算:

    并發(fā)用戶數(shù)=系統(tǒng)最大在線用戶數(shù)的8%到12%

  • 根據(jù)TPS估計:

    C=(Think Time + 1)* TPS,

    網(wǎng)銀用戶思考時間10s,

    C=(10+1)* 3=33。

4、預(yù)估各功能交易量,確定壓測功能優(yōu)先級

根據(jù)交易量從大到小排名,排名靠前的優(yōu)先壓測。

5、設(shè)置性能問題認(rèn)定標(biāo)準(zhǔn)

比如響應(yīng)時間超過3s、TPS低于10、服務(wù)器cpu占用率超過70%、jvm堆內(nèi)存使用100%、垃圾回收頻繁、網(wǎng)絡(luò)IO或磁盤IO達(dá)到瓶頸等……都可能是性能問題。

四、性能優(yōu)化一般思路

1、找到性能瓶頸

性能瓶頸定義:導(dǎo)致系統(tǒng)TPS低、響應(yīng)時間長、資源(CPU、內(nèi)存、網(wǎng)絡(luò))占用高等問題的關(guān)鍵程序模塊。提升該程序模塊的性能,可以大幅度改善性能。

常見的性能瓶頸原因包括:數(shù)據(jù)庫慢查詢SQL、日志打印、xml大報文解析和格式轉(zhuǎn)換、復(fù)雜業(yè)務(wù)邏輯、鎖競爭等。

2、如何找到性能瓶頸

  • 使用LoadRunner給每個接口的增加事務(wù),記錄其響應(yīng)時間和TPS,最慢的那個接口往往是瓶頸;

  • 分析慢交易的日志,查看是哪個操作耗時最長;

  • 分析數(shù)據(jù)庫快照,看是否有執(zhí)行較慢或者全表掃描的SQL;

  • 通過Javacore查看線程正在執(zhí)行的代碼,是大部分阻塞在IO上,還是大部分在進(jìn)行計算。針對不同的問題,使用不同的分析工具。詳細(xì)內(nèi)容可以看下一章節(jié)。

3、針對性能瓶頸進(jìn)行合理優(yōu)化

性能優(yōu)化原則:

  • 先優(yōu)化瓶頸問題;

  • 方案簡單,盡量不引入更多復(fù)雜性,盡量不降低業(yè)務(wù)體驗;

  • 滿足系統(tǒng)性能要求即可,不引入新的bug。

五、常見問題及優(yōu)化方法

1、SQL執(zhí)行時間長

問題現(xiàn)象:系統(tǒng)響應(yīng)時間長、數(shù)據(jù)庫cpu高。

問題原因:全表掃描、索引低效、排序溢出。

解決方法:

  • 通過DB2數(shù)據(jù)庫快照查看執(zhí)行時間長的SQL,查看該SQL執(zhí)行計劃,在cost比較高的SQL上增加合適索引。要求所有大表SQL執(zhí)行計劃的cost低于100,超過100的SQL要評審。對于排序溢出、可參考數(shù)據(jù)中心規(guī)范設(shè)置排序堆大小,規(guī)范中排序堆設(shè)置為AUTOMATIC。

  • 制定數(shù)據(jù)庫表清理策略。根據(jù)數(shù)據(jù)的生命周期要求,對流水類的數(shù)據(jù)定期進(jìn)行清理備份,不再長期保留。定期對全庫的表結(jié)構(gòu)進(jìn)行reorg、runstats操作,以提高索引效率。

排查方法:

  • 獲得數(shù)據(jù)庫快照:db2 get snapshot for all on corpdb >gswyzfzzshpl1207.log

  • 從快照中提取慢SQL,Toad查看SQL執(zhí)行計劃

  • Db2命令方式查看SQL執(zhí)行計劃:db2expln -d corpdb -t -g -q "SQL語句"

  • 執(zhí)行計劃查看方法:自上而下查看cost最大的分支,找到未走索引或索引使用不當(dāng)?shù)谋?/p>

2、數(shù)據(jù)庫出現(xiàn)死鎖

問題現(xiàn)象:數(shù)據(jù)庫快照檢測到存在數(shù)據(jù)庫死鎖,或通過db2evmon -db corpdb -evm DB2DETAILDEADLOCK>dlock.txt生成死鎖監(jiān)控文件,快照或監(jiān)控文件中存在deadlock的情況。

問題原因:全表掃描、大事務(wù)、更新相同表記錄的SQL執(zhí)行順序交叉等。

解決方法:縮短事務(wù)路徑長度,避免全表掃描。如果必須存在大事務(wù),則更新相同表的SQL執(zhí)行順序一致,并且堅決避免全表掃描。網(wǎng)銀系統(tǒng)指令發(fā)送功能全表掃描+全局大事務(wù),導(dǎo)致數(shù)據(jù)庫死鎖。

排查方法:根據(jù)死鎖監(jiān)控文件dlock.txt找到導(dǎo)致死鎖的SQL,以及該SQL持有的鎖,分析該SQL可能存在的問題。

3、線程阻塞在日志記錄上

問題現(xiàn)象:系統(tǒng)響應(yīng)時間長、通過javacore查看很多線程阻塞在打印日志上。

問題原因:log4j1.x版本較低,性能較差;大報文日志多次輸出。

解決方法:

  • 減少無效日志、刪除無用日志,減少大日志輸出。

  • 升級log4j組件到log4j2,參考log4j2官方文檔,配置合理的日志緩沖區(qū),采用高效的Appenders,比如RollingRandomAccessFile。但log4j2仍然采用同步日志,不采用異步日志。因為網(wǎng)銀系統(tǒng)日志量較大,異步日志隊列很快就滿了,如果單條日志存在大報文,還有可能導(dǎo)致內(nèi)存溢出,因此不適合采用異步日志。如果日志量少(壓測產(chǎn)生日志的速度,低于日志寫入文件的速度),則可以使用異步日志,大幅提高性能。如果日志量較大,則不建議使用異步日志。

排查方法:

  • JVM啟動參數(shù)中增加-XX:+HeapDumpOnCtrlBreak,壓測進(jìn)行時,kill -3 pid 殺幾個javacore,使用jca457.jar工具打開并分析。推薦使用該工具,因為該工具可以對所有線程狀態(tài)進(jìn)行統(tǒng)計,并生成餅狀圖,方便查看。

  • 壓測進(jìn)行時,使用jvisualvm獲取jvm快照,分析線程堆棧。

4、多線程并發(fā)問題

問題現(xiàn)象:采用合理的并發(fā)數(shù)壓測,系統(tǒng)出現(xiàn)邏輯錯誤、交易失敗或異常報錯。經(jīng)查是由于對象中變量被異常修改導(dǎo)致。

問題原因:系統(tǒng)中全局對象中的類變量或全局對象,被多個線程修改。

解決方法:排查系統(tǒng)中所有持有全局對象或類變量的代碼,檢查其全局變量是否可能被多個線程并行修改。

修改方法:

  • 將全局變量轉(zhuǎn)成方法內(nèi)的局部變量;

  • 對全局變量進(jìn)行同步控制比如syncronized代碼塊,或者java.util.concurrent鎖。

排查方法:并發(fā)問題很可能是由全局變量或者對象導(dǎo)致,準(zhǔn)確識別全局變量,通過閱讀代碼找問題。建議應(yīng)用梳理所有可能存放全局對象的代碼,統(tǒng)一管控,或者把所有全局對象放到一個類中,方便管理。

5、打開了太多文件

問題現(xiàn)象:采用合理的并發(fā)數(shù)壓測,交易失敗,或后臺日志報錯:To many open files。

問題原因:

  • 讀取配置文件或者業(yè)務(wù)數(shù)據(jù)文件后,未關(guān)閉文件流;

  • /etc/security/limits.conf中最大打開文件數(shù)配置過小。

解決方法:

  • 使用lsof –p pid 命令查看進(jìn)程打開的文件,如果大部分文件都是同一類型的文件,說明可能未關(guān)閉文件流。找到打開文件的代碼,關(guān)閉文件流即可。

  • 如果不存在未關(guān)閉文件流的問題,且業(yè)務(wù)本身就需要處理大量文件,則修改/etc/security/limits.conf文件如下內(nèi)容:

* hard nproc 10240

* soft nproc 10240

6、內(nèi)存泄漏

問題現(xiàn)象:JVM內(nèi)存耗盡,后臺日志拋出OutOfMemeryError異常 ;

問題原因:內(nèi)存溢出問題可能的原因比較多,可能是全局的List、Map等對象不斷被擴大,也可能是程序不慎將大量數(shù)據(jù)讀到內(nèi)存里;可能是循環(huán)操作導(dǎo)致,也可能后臺線程定時觸發(fā)加載數(shù)據(jù)導(dǎo)致。

解決方法:對于ibmjdk純java應(yīng)用,在jvm啟動時設(shè)置-XX:+HeapDumpOnOutOfMemory Error參數(shù),會在內(nèi)存溢出時生成heapdump文件。使用ha456.jar工具打開heapdump文件,分析大對象是如何產(chǎn)生的。

當(dāng)然,在heapdump中對象類型可能只是List這種結(jié)構(gòu),看不出具體哪個業(yè)務(wù)代碼創(chuàng)建的對象。此時要分析所有的全局對象,列出可疑的List或Map對象,排查其溢出原因。

全局對象、引用的初始化、修改要慎重。建議應(yīng)用梳理所有可能存放全局對象的代碼,統(tǒng)一管控。

7、JVM垃圾回收頻繁

問題現(xiàn)象:top –H –p pid命令查看,GC Slave線程CPU占用排名始終為前三名,同時Jconsole查看jvm內(nèi)存占用較高,垃圾回收頻繁。使用ga456.jar分析gc日志,查看gc頻率、時長。

打印gc日志的方法:在jvm啟動參數(shù)里增加-verbose:gc -Xverbosegclog:/usr/ebank/ logs/cobp/gcdetail.log

問題原因:高并發(fā)下,內(nèi)存對象較多,jvm堆內(nèi)存不夠用 。

解決方法:擴大堆內(nèi)存大小–Xmx2048m –Xms2048m。

8、CPU高

問題現(xiàn)象:50并發(fā)壓測,監(jiān)控工具顯示bp、前置CPU占用90%以上。

問題原因:業(yè)務(wù)處理中存在大量CPU計算操作。

解決方法:采用更高效的算法、數(shù)據(jù)結(jié)構(gòu)替換原來消耗CPU的代碼,或者采用新的設(shè)計繞過瓶頸代碼,比如查找數(shù)據(jù)的邏輯,可以把List改為Map,以空間換時間;比如用Json報文替換XML報文,提高傳輸、解析和打印日志的效率。

導(dǎo)致Cpu計算資源高消耗的代碼:報文格式轉(zhuǎn)換、加解密、正則表達(dá)式、低效的循環(huán)、低效的正則表達(dá)式。

排查方法:

  • 壓測進(jìn)行時,使用jvisualvm工具遠(yuǎn)程連接應(yīng)用,點抽樣器àCPU,點快照生成線程快照。采樣一段時間后,抽樣器會顯示各個方法占用cpu時間,可以針對CPU時間占用高的方法進(jìn)行優(yōu)化。

  • 使用tprofiler,jprofiler,OracleDeveloperStudio12.6-linux-x86工具分別分析消耗CPU時間長的方法,以上工具分析結(jié)果可能有些差別。針對CPU計算耗時最長的方法進(jìn)行優(yōu)化。

9、批處理時間長、數(shù)據(jù)庫逐筆插入緩慢

問題現(xiàn)象:大批量數(shù)據(jù)(10萬條以上)更新或插入數(shù)據(jù)庫,耗時較長。

問題原因:批量數(shù)據(jù)處理時,如果逐條更新數(shù)據(jù)庫,則會存在大量網(wǎng)絡(luò)io、磁盤io,耗時較長,而且對數(shù)據(jù)庫資源消耗較大。

解決方法:

  • 采用java提供的batchUpdate方法批量更新數(shù)據(jù)庫,每1000條commit一次,可大幅提高數(shù)據(jù)更新效率。

  • 單線程改成線程池,并行處理,充分利用多核CPU,通過數(shù)據(jù)庫或者其他同步鎖控制并行性;增加緩沖池,降低數(shù)據(jù)庫或磁盤IO訪問頻次。

10、數(shù)據(jù)庫CPU高

問題現(xiàn)象:后臺指令發(fā)送滿負(fù)荷工作時,數(shù)據(jù)庫CPU高。

問題原因:后臺指令發(fā)送線程每次對全量查詢結(jié)果排序,結(jié)果集很大,然后取一條記錄;索引區(qū)分度不高,滿負(fù)荷執(zhí)行時;查詢頻率很高;壓測顯示,并行發(fā)送指令的后臺線程越多,數(shù)據(jù)庫CPU越高,效率越低。

解決方法:

  • 去掉ORDER BY,增加索引后,效果不明顯。因為結(jié)果集大和查詢頻繁兩個問題沒有解決,因此考慮使用設(shè)計新的方案。

  • 新方案:設(shè)計指令發(fā)送線程池,生產(chǎn)者線程每臺任務(wù)服務(wù)器只有一個線程,負(fù)責(zé)查詢待發(fā)送指令,每次查詢50條指令。每條指令包裝成一個Runnable對象,放進(jìn)ThreadPoolExecutor線程池,線程池大小參數(shù)設(shè)置為100或200。每當(dāng)線程池滿時,生產(chǎn)者停止生產(chǎn)指令,休息15秒后繼續(xù)。消費者線程即線程池里的線程,參數(shù)設(shè)置為4,8或12(和不同指令類型的指令數(shù)據(jù)量成正比)。

改進(jìn)后的方案,數(shù)據(jù)庫CPU降到10%一下,發(fā)送效率單機提升6倍,且可線性擴展任務(wù)服務(wù)器。

11、壓測TPS曲線劇烈下降或抖動

問題現(xiàn)象:50并發(fā)壓測,TPS曲線正常應(yīng)該是平緩的,波動不大,如果突然出現(xiàn)劇烈下降,并且短時間內(nèi)無法恢復(fù),則可能存在問題。

問題原因:一般是由于前置或bp的jvm進(jìn)行垃圾回收,或者日志記錄磁盤滿導(dǎo)致的。

解決方法:如果不是特別劇烈的波動或者TPS曲線下降后長時間不反彈,則可以忽略該問題。否則,需要分析曲線下降的時刻,系統(tǒng)當(dāng)時正在發(fā)生的事情??梢酝ㄟ^top命令監(jiān)控當(dāng)時CPU占用比價高的線程,也可以kill -3 pid殺javacore來查看線程堆棧。

六、優(yōu)化案例

1、網(wǎng)銀系統(tǒng)基本情況

1) 壓測環(huán)境系統(tǒng)架構(gòu)

壓測環(huán)境不包括F5,只有1臺WEB、1臺前置(應(yīng)用服務(wù)器)、1臺BP(業(yè)務(wù)處理服務(wù)器)、1臺DB、1臺Redis服務(wù)器。

2)客戶請求鏈路:

客戶端壓力機-〉Web-〉PRE-〉BP-〉DB2 ;

客戶端壓力機-〉Web-〉PRE-〉BP-〉擋板服務(wù)器(模擬后端服務(wù)方)。

3)系統(tǒng)特點:

  • 用戶、賬號權(quán)限校驗較多。

    對公業(yè)務(wù)典型場景:經(jīng)辦、審核、查詢、下載、批量。用戶權(quán)限通過業(yè)務(wù)鏈控制。

  • 接口調(diào)用較多,且由前端組合調(diào)用接口。

    前后端分離,前端通過調(diào)用一個個接口來完成業(yè)務(wù)。接口粒度較細(xì)。登陸、支付轉(zhuǎn)賬經(jīng)辦需要15~19個接口完成一次交易。

  • 強一致性、高可用性。

    資金交易系統(tǒng),一致性需要通過數(shù)據(jù)庫來保證。

4)網(wǎng)銀登錄壓測曲線

2、數(shù)據(jù)庫消息隊列案例(指令發(fā)送隊列)

需求是:對于需要異步處理的交易指令,需要設(shè)計一個基于數(shù)據(jù)庫的消息隊列,我們稱之為指令發(fā)送隊列。該隊列既要滿足服務(wù)器的性能約束,又要滿足每日處理交易量的要求。

1)優(yōu)化前處理過程

后臺任務(wù)每次從數(shù)據(jù)庫指令表中排序并取最早的一條指令,獲取該指令的詳細(xì)交易信息,組裝成報文并調(diào)用接口發(fā)送后臺核心系統(tǒng)。

在壓測環(huán)境下,該方案如果配置一個后臺任務(wù),無法達(dá)到系統(tǒng)設(shè)計的指令處理速度;如果配置多個后臺任務(wù),則會導(dǎo)致數(shù)據(jù)庫CPU占用較高,影響其他聯(lián)機業(yè)務(wù)的開展。

2)優(yōu)化后處理過程

每臺后臺任務(wù)服務(wù)器配置一個生產(chǎn)者任務(wù),20個消費者任務(wù)。

生產(chǎn)者任務(wù)一次取100個(可配置)指令,依次分配給20個消費者任務(wù)中空閑的任務(wù),消費者任務(wù)獲取指令詳細(xì)信息,并組裝報文后發(fā)送后臺核心系統(tǒng);生產(chǎn)者任務(wù)如果發(fā)現(xiàn)無空閑消費者任務(wù),則等待15s后重新判斷。

此方案顯著降低了數(shù)據(jù)庫CPU負(fù)載,合理利用了應(yīng)用服務(wù)器的并發(fā)能力,處理效率大為提高,以上線程數(shù)和每次獲取的指令數(shù)可以配置。

指令發(fā)送線程池模型圖:

3、數(shù)據(jù)庫死鎖案例

1)死鎖問題現(xiàn)象

當(dāng)多臺任務(wù)服務(wù)器同時運行大額指令發(fā)送后臺線程,即多個生產(chǎn)者線程并行更新數(shù)據(jù)庫指令表時,數(shù)據(jù)庫快照檢測到存在數(shù)據(jù)庫死鎖,或通過db2evmon -db corpdb -evm DB2DETAILDEADLOCK>dlock.txt 生成死鎖監(jiān)控文件,快照或監(jiān)控文件中存在deadlock的情況。

DB2數(shù)據(jù)庫有自動解除死鎖功能,死鎖超時時間默認(rèn)為10s,數(shù)據(jù)庫會隨機選擇一個死鎖事務(wù)kill掉。本案例由于是后臺任務(wù),所以用戶感覺不到死鎖;如果是聯(lián)機交易,一個用戶會發(fā)現(xiàn)交易失敗,另一個用戶交易成功,但是會感覺交易變慢。指令發(fā)送后臺任務(wù)模型詳見下一章節(jié)內(nèi)容。

2)數(shù)據(jù)庫死鎖發(fā)生原理

兩個不同的數(shù)據(jù)庫事務(wù)使用排它鎖鎖住了同一張表的不同行記錄,并且互相等待讀取對方鎖住的行記錄。

3)導(dǎo)致死鎖的可能原因

全表掃描、大事務(wù)、事務(wù)之間對死鎖訪問順序交叉等。

4)死鎖問題排查過程

Step1:分析數(shù)據(jù)庫快照和死鎖監(jiān)控日志,查看導(dǎo)致死鎖的SQL,定位問題SQL。

Step2:問題SQL不存在事務(wù)之間對死鎖訪問順序交叉的情況,當(dāng)時尚不清楚程序中的全表掃描、大事務(wù)可能會導(dǎo)致死鎖,因此做了以下實驗:

  • 模擬問題SQL在兩個不同的數(shù)據(jù)庫客戶端執(zhí)行SQL,查看數(shù)據(jù)是否更新成功。

  • 完全按照源程序的SQL邏輯執(zhí)行驗證:

UPDATE ( SELECT BP_SRVR_IP FROM ${tableName} WHERE TSK_STAT='TODO' AND ( BP_SRVR_IP IS OR BP_SRVR_IP='') AND PRTY =? AND eff_tm <= CURRENT TIMESTAMP FETCH FIRST 50 ROWS ONLY WITH RS) t SET BP_SRVR_IP=?

  • 不加索引,A事務(wù)在R上加了X鎖,B事務(wù)無法在任何記錄上加X鎖,B事務(wù)會等待A事務(wù)提交后再加鎖。

  • 增加索引,A事務(wù)在R記錄加了X鎖,B事務(wù)在S記錄加X鎖,互不沖突。

Step3:實驗發(fā)現(xiàn)查詢SQL增加with RS隔離級別,查詢效率會更高。當(dāng)A事務(wù)已對記錄R加X鎖,B事務(wù)掃描到R記錄時,如果是CS隔離級別,B事務(wù)會自動退出,返回空結(jié)果集;如果是RS隔離級別,B事務(wù)會等待A事務(wù)完成后,跳過R記錄,對符合條件的R+1記錄加X鎖。

Step4:PRTY字段增加索引,沒有出現(xiàn)死鎖問題;或者不加索引,維持全表掃描不變,大事務(wù)改成小事務(wù)后,也沒有出現(xiàn)死鎖問題。

5)兩點經(jīng)驗

  • 需要提前熟悉DB2鎖的種類和作用,隔離級別的種類和作用,表鎖和行鎖發(fā)生的條件。比如,全表掃描時,DB2會在整個表上加表級鎖;如果是增刪改操作,會加表級排他鎖。

  • 在不清楚死鎖原因時,或者不了解鎖的機制和隔離級別機制時,不同隔離級別下SQL的影響范圍,可以在數(shù)據(jù)庫客戶端工具上進(jìn)行手工小實驗,驗證數(shù)據(jù)庫機制以及猜想。

七、后續(xù)提升網(wǎng)銀系統(tǒng)性能備選方法

1、增加緩存的使用

  • 對于讀多寫少的數(shù)據(jù),可以加載到分布式緩存,降低數(shù)據(jù)庫壓力;

  • 目前已經(jīng)將部分參數(shù)和錯誤碼數(shù)據(jù)放到分布式緩存,后續(xù)謹(jǐn)慎提高緩存使用率,降低數(shù)據(jù)庫壓力。

2、精簡BP日志。刪除交易訪問記錄日志表的操作。

3、合并、精簡接口數(shù)量,前端緩存數(shù)據(jù)。

?

轉(zhuǎn)自

快被系統(tǒng)性能逼瘋了?你需要這份性能優(yōu)化策略 https://www.toutiao.com/a6642043265338049037/?tt_from=mobile_qq&utm_campaign=client_share&timestamp=1546482914&app=news_article&utm_source=mobile_qq&iid=26112390770&utm_medium=toutiao_ios&group_id=6642043265338049037

轉(zhuǎn)載于:https://www.cnblogs.com/paul8339/p/10233393.html

總結(jié)

以上是生活随笔為你收集整理的java应用的优化【转】的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。

亚欧洲精品视频在线观看 | 亚洲精品中文字幕视频 | 国产麻豆精品一区二区 | 草久久影院 | 免费av网站观看 | 国产精品永久免费视频 | 丝袜一区在线 | 国产在线91在线电影 | 超碰在线94 | 欧美小视频在线观看 | www.天堂av| 九九久久久久久久久激情 | 国产精品免费不卡 | 欧美日韩中文视频 | 国产日韩精品视频 | 不卡av在线| 韩日精品在线 | 黄色www | 91成人破解版 | a在线观看视频 | 欧美午夜理伦三级在线观看 | 樱空桃av | 欧美最猛性xxxxx亚洲精品 | av高清不卡 | 欧美一区二区视频97 | 日韩免费观看高清 | 91精品国产麻豆 | 日韩精品中文字幕有码 | 人人超在线公开视频 | 正在播放日韩 | av超碰在线观看 | 91视频在线播放视频 | 久久免费看视频 | 日韩在线免费电影 | 最近日本mv字幕免费观看 | 国产精品久久久久久久妇 | 国产一级片毛片 | 久久这里有精品 | av免费电影在线观看 | 激情综合国产 | 免费观看成人网 | 波多野结衣电影一区 | 天天操天天干天天玩 | 亚洲精品国产第一综合99久久 | 欧美日韩高清国产 | 国产精品区免费视频 | 精品一二三四在线 | 啪啪av在线| 日韩一区正在播放 | 狠狠狠狠狠狠操 | 在线看污网站 | 久久av不卡| 日日干av | av中文天堂在线 | 色婷婷激情电影 | 久久国产精品99久久久久久丝袜 | av一本久道久久波多野结衣 | 亚洲精品成人网 | 国产第页 | 四虎欧美| 久久久国产精品人人片99精片欧美一 | 99久久婷婷国产精品综合 | 啪啪小视频网站 | 国产一级不卡视频 | 在线观看亚洲国产精品 | 国语自产偷拍精品视频偷 | 久草网站在线观看 | 国产精品久久综合 | 天天做天天爱天天爽综合网 | 欧美日韩国产一区 | 亚洲一区二区三区四区精品 | 国产在线不卡精品 | 久久精品这里都是精品 | 日韩欧美大片免费观看 | va视频在线 | 99精品视频在线观看播放 | 中文区中文字幕免费看 | 久久久国产99久久国产一 | 九九视频网 | 国产小视频在线观看免费 | 欧美日韩国产区 | 色噜噜狠狠狠狠色综合 | 五月婷婷一区二区三区 | 99热国产在线观看 | 久久久久久久久久久久久久av | 深爱激情站 | 日韩性xxx| 久久se视频 | a√资源在线 | bbb搡bbb爽爽爽 | 97超碰在线播放 | 丁香婷婷在线观看 | 韩国av一区二区 | 又黄又刺激视频 | 久久情网 | 久久精品1区 | 国产精品入口a级 | 999在线视频| 亚洲精品男人天堂 | 国产亚洲在线视频 | www色网站 | 免费高清影视 | 国产一级二级在线播放 | 中文一区二区三区在线观看 | 91黄色免费看 | 午夜精品电影一区二区在线 | 中文字幕在线视频网站 | 91亚洲精品国偷拍 | 激情综合中文娱乐网 | 麻豆av一区二区三区在线观看 | 精品一区二区在线播放 | 999久久久久久久久6666 | 国产大陆亚洲精品国产 | 成人免费观看完整版电影 | 天天色天天操综合 | 天天搞天天干 | 97香蕉久久国产在线观看 | 不卡视频在线 | 久久婷五月| 色婷婷在线视频 | 久久福利综合 | 成人精品一区二区三区电影免费 | 69av久久 | a午夜在线 | 中文视频在线 | 国产亚洲精品日韩在线tv黄 | 91av在 | 亚洲最大免费成人网 | 黄色av电影一级片 | 夜夜躁日日躁狠狠躁 | 国产综合香蕉五月婷在线 | 久久久久亚洲精品成人网小说 | 在线小视频国产 | 欧美国产精品久久久久久免费 | 97超碰总站| 国产精品1区2区 | 99久久久久| 91在线观看黄 | 日韩欧美在线综合网 | 国产一区视频在线观看免费 | 午夜精品久久久久久久99热影院 | 色视频成人在线观看免 | 欧美一级激情 | 久久精品视频在线观看免费 | 精品日本视频 | jizz欧美性9 国产一区高清在线观看 | 97视频免费看 | 六月丁香在线观看 | 成人性生交视频 | 日本午夜在线亚洲.国产 | 91在线中文字幕 | 久久99精品国产麻豆宅宅 | www.久久久精品 | 91精品国产91 | 在线免费试看 | 国产在线一卡 | 狠狠狠色丁香婷婷综合久久五月 | 国产又粗又猛又爽又黄的视频先 | 在线有码中文字幕 | 精品999在线观看 | 欧美一级免费高清 | 亚洲精品一区二区三区新线路 | 91亚色在线观看 | 成人看片| 国产精品欧美日韩 | 激情欧美丁香 | 日本成人中文字幕在线观看 | 色综合天天在线 | 手机av网站 | 国产精品网红福利 | 国产精品久久久久久久久久免费看 | 美女黄网久久 | 人人插人人插 | 久久高视频 | 日韩亚洲在线视频 | 欧美一区二区精品在线 | 97色涩| 久久久久国产精品免费 | 91麻豆看国产在线紧急地址 | 中文字幕一区二区三区精华液 | 欧美一级片免费 | 日韩色视频在线观看 | 综合久久影院 | 国产精品扒开做爽爽的视频 | 狠狠干天天操 | 国产精品资源在线观看 | 国产毛片在线 | 丁香六月婷婷开心婷婷网 | 九九免费在线观看 | 日本精品小视频 | 91亚洲精品在线观看 | 国产 在线 高清 精品 | 日韩欧美在线观看一区二区 | www.xxx.性狂虐 | 在线观看午夜 | 亚洲精品久久久久中文字幕二区 | 免费能看的黄色片 | 2018亚洲男人天堂 | 天堂av一区二区 | 欧美大片大全 | 久艹在线免费观看 | 久久久成人精品 | 色婷婷激情网 | 一级黄色片网站 | 精品一区二区av | 国产又粗又硬又爽视频 | 超碰97在线资源站 | 欧美久久久久久久久 | 中文伊人| 国产99久久精品 | 国产色a在线观看 | 久久免费国产精品1 | 国产97在线视频 | 日韩欧美网址 | 深爱婷婷久久综合 | 国产一级大片在线观看 | 99久久99久国产黄毛片 | 国产96精品 | 99久久精品国产一区 | 丁香六月婷婷激情 | 久久看片网站 | 亚洲婷久久 | 超薄丝袜一二三区 | 中文在线√天堂 | 国产精品精品国产 | 日韩在线短视频 | 精品国产三级a∨在线欧美 免费一级片在线观看 | 少妇精69xxtheporn | av免费成人 | 亚洲精品日韩在线观看 | 日韩 精品 一区 国产 麻豆 | 国产中文字幕在线播放 | 国产精品高潮在线观看 | 五月婷婷色 | 高清视频一区 | 五月宗合网 | 成年人免费看的视频 | 日本在线观看中文字幕无线观看 | 色偷偷网站视频 | 99久久超碰中文字幕伊人 | 久久蜜臀av | 免费a网址 | 免费在线观看a v | 九九视频这里只有精品 | 99视频偷窥在线精品国自产拍 | 中文久草 | 日本xxxx裸体xxxx17 | av网站手机在线观看 | 97色在线观看 | 亚洲国产精品视频在线观看 | 中文字幕精品三级久久久 | 久久国产精品精品国产色婷婷 | 349k.cc看片app | 狠狠的日日 | 亚州av免费 | 国产精品视频久久 | 欧美性色综合网站 | 国内免费的中文字幕 | 亚洲精品99久久久久久 | 夜色在线资源 | 久久精品黄 | 久草五月 | 在线视频欧美日韩 | 日韩女同av | 中文字幕中文字幕在线中文字幕三区 | 国产精品第52页 | 亚洲精品黄 | 日韩免费在线观看网站 | 国产一级二级视频 | 亚洲精品视频在线观看网站 | 婷婷丁香花五月天 | 99中文字幕在线观看 | 悠悠av资源片 | 在线播放亚洲激情 | 久久人人97超碰国产公开结果 | 啪一啪在线 | 在线视频精品播放 | 特级西西www44高清大胆图片 | 日本黄色免费看 | 免费成人黄色片 | 久久久999免费视频 日韩网站在线 | 亚洲japanese制服美女 | 天天干夜夜爽 | av高清一区二区三区 | 欧美日韩精品在线 | 午夜av免费看 | 亚洲精品人人 | 午夜影院一级 | 在线观看国产永久免费视频 | av黄色免费在线观看 | 992tv人人网tv亚洲精品 | 久久精品a | 麻豆视频一区二区 | 国产精品久久一区二区三区, | 91精品一区在线观看 | 一区二区三区影院 | 久久国产片| 在线观看亚洲精品 | 成人黄色电影免费观看 | 国产福利电影网址 | 开心激情五月网 | 99 色| 亚洲 欧美 变态 国产 另类 | 毛片网站在线看 | 久草在线在线精品观看 | 久久久久黄色 | 在线成人性视频 | 亚洲一二三久久 | 久久国色夜色精品国产 | 在线导航av| 国产精品免费麻豆入口 | 日韩极品在线 | 免费观看mv大片高清 | a视频免费| 日韩国产精品一区 | 亚洲激情电影在线 | 国产资源站 | 免费网址在线播放 | 久久伦理网 | www操操操 | 一区二区理论片 | 久久精品小视频 | 永久免费av在线播放 | 国精产品永久999 | 国产成人一区二区三区在线观看 | 欧美无极色 | 五月婷婷综合在线 | 日一日干一干 | 在线激情小视频 | 日韩av中文在线 | 亚洲激情电影在线 | 成人免费观看视频网站 | 欧美电影黄色 | 在线观看黄网站 | 中文字幕人成人 | 国产亚洲久久 | 久久久久久久久久网站 | 国产精品18久久久久vr手机版特色 | 美女视频黄网站 | 日韩精品专区在线影院重磅 | 免费看片成年人 | 欧美精品中文在线免费观看 | 国产经典 欧美精品 | 亚洲综合精品在线 | 看毛片网站 | 99婷婷| 久久免费精品 | 免费在线观看视频a | 91av看片 | 在线看的毛片 | 九九视频免费观看视频精品 | 国产成人精品一区在线 | 亚洲午夜在线视频 | 操碰av| 美女网站视频色 | 91天天操 | 草莓视频在线观看免费观看 | 国产资源免费 | 亚洲精品九九 | 中文日韩在线视频 | 久艹在线免费观看 | 97香蕉久久国产在线观看 | 99久久婷婷国产 | 狠狠躁日日躁 | 国产精品男女 | 久久久久国产精品免费网站 | 国产精品久久久久久久久久久久久 | 成人久久久精品国产乱码一区二区 | 国产一区二区在线免费播放 | 国产精品原创av片国产免费 | 成人欧美一区二区三区黑人麻豆 | 国产一卡久久电影永久 | 日本精品一区二区三区在线播放视频 | 97视频在线免费观看 | 久草在线视频免费资源观看 | 欧美日韩视频在线 | 91九色网站 | 国产精品亚洲成人 | 色婷婷丁香 | 奇人奇案qvod | 日韩在线观看视频在线 | 日韩欧美视频免费看 | 亚洲午夜久久久影院 | 久久爽久久爽久久av东京爽 | 亚洲天堂网视频 | 日韩精品首页 | 91激情视频在线播放 | 西西4444www大胆视频 | 成人亚洲精品国产www | 久草av在线播放 | 丁香在线视频 | 在线观看中文字幕一区二区 | 免费影视大全推荐 | 伊人激情综合 | 在线探花| 一本一道久久a久久精品蜜桃 | 麻豆视频免费入口 | 中文字幕观看在线 | 久久99影院 | 精品久久一 | 天天综合天天做天天综合 | 狠狠干狠狠色 | 99产精品成人啪免费网站 | 蜜桃视频日本 | 色www精品视频在线观看 | 欧美激精品 | 亚洲最新av在线网址 | 欧美91成人网 | 亚洲 中文 欧美 日韩vr 在线 | 日日爽天天爽 | 97日日碰人人模人人澡分享吧 | 天天干夜夜爱 | 香蕉视频在线播放 | www在线免费观看 | 免费观看mv大片高清 | 99色视频在线 | 日韩精品中文字幕av | 欧美日韩有码 | 日韩精品一区二区三区三炮视频 | 麻豆视屏| 午夜精品福利一区二区三区蜜桃 | 777奇米四色 | 草免费视频 | 国产精品久久久久久久久久直播 | 欧美 日韩 性 | 久久婷婷视频 | 日韩影视在线观看 | 在线精品观看国产 | 在线午夜电影神马影院 | 国产精品高清一区二区三区 | 粉嫩av一区二区三区四区在线观看 | 91免费观看 | 六月激情 | 99久久国产免费,99久久国产免费大片 | 日韩3区 | a黄色大片 | 免费在线观看av电影 | 91视频在线看 | 久草免费在线视频观看 | 亚洲综合射 | avove黑丝 | 在线观看日本韩国电影 | 最新一区二区三区 | 久久综合婷婷 | 色视频国产直接看 | 亚洲视频aaa | 在线看片一区 | 亚洲视频在线观看 | 免费看片网页 | 国产在线日本 | 黄色亚洲大片免费在线观看 | 亚洲美女免费视频 | 国产理论一区二区三区 | 97国产精品免费 | 人人干人人干人人干 | 亚洲第一成网站 | 粉嫩一二三区 | 久久99久久99久久 | 玖玖玖在线观看 | 午夜电影久久久 | 国产专区精品视频 | 91伊人| 国产亚洲精品久久网站 | 日韩一区二区三区高清在线观看 | 九九热免费在线观看 | 欧美一级黄色片 | 免费成人av | 精品亚洲视频在线 | 精品人妖videos欧美人妖 | 国产精品18久久久久久久久 | 免费国产亚洲视频 | 中文字幕视频在线播放 | 国产在线观看一 | 91中文字幕在线 | 99视频这里有精品 | 91网免费看 | 玖玖精品在线 | 五月婷色| 91久久偷偷做嫩草影院 | 91精品国产成人观看 | 就要干b| 欧美久久99| 国产黄色av网站 | 97国产在线播放 | 又黄又爽又无遮挡免费的网站 | 久久96国产精品久久99软件 | www免费| 国产精品高清在线 | 91丨精品丨蝌蚪丨白丝jk | 成年人视频免费在线播放 | 国产在线播放观看 | 特级黄色片免费看 | 在线视频电影 | 女人18毛片a级毛片一区二区 | 欧美精品久久久久久久免费 | 97色视频在线| 色哟哟国产精品 | 日韩av不卡在线观看 | 91麻豆精品国产91久久久久久 | 免费国产一区二区视频 | 久久激情婷婷 | 天天天射 | 在线观看激情av | 美女免费av | 91在线资源| 久久97久久97精品免视看 | 国产成人在线精品 | 精品国产亚洲在线 | 欧美成人精品三级在线观看播放 | 国产精品日韩欧美一区二区 | 免费看的黄色小视频 | 99热这里有 | 日韩区在线观看 | 久久久免费在线观看 | 在线播放精品一区二区三区 | 成人av一二三区 | 色激情在线 | 国产不卡免费av | 色诱亚洲精品久久久久久 | 成人午夜电影在线 | 亚洲精品久久久久www | 亚洲午夜精品久久久 | 国产精品成人免费一区久久羞羞 | 99爱在线观看 | 99国产成+人+综合+亚洲 欧美 | 91久久久国产精品 | 久久久国产电影 | 国产在线观看a | 麻豆视频在线观看 | av在线播放一区二区三区 | 99综合影院在线 | 亚洲精品国 | 久久只精品99品免费久23小说 | 国产一级做a | 国产91亚洲 | 天天爱天天射 | 国产伦精品一区二区三区高清 | 天天爽天天爽天天爽 | 国产视频精品在线 | 精品99视频 | 久久久久久久久久久高潮一区二区 | 婷婷丁香激情 | 精品久久久久免费极品大片 | 免费大片黄在线 | 91综合视频在线观看 | 久久久黄视频 | 99久久99热这里只有精品 | 亚洲无吗av | 国产精品精 | 美女视频一区二区 | 国产精品私人影院 | 少妇视频在线播放 | 三级av在线免费观看 | 91精品国产高清自在线观看 | 黄色大片av | 黄色一区二区在线观看 | 久久色视频 | 成年人免费观看国产 | 欧美一区三区四区 | 色五丁香 | 色婷婷综合久久久久中文字幕1 | 天天操天天干天天爽 | 婷婷激情综合网 | 日日干天天插 | zzijzzij亚洲日本少妇熟睡 | 亚洲三级精品 | a级片在线播放 | 久久成人精品电影 | 99久久网站 | 久久综合日| 国产最新网站 | 久久精品国产亚洲精品2020 | 久久丝袜视频 | 美女一级毛片视频 | 久久福利 | 国产成人久久精品亚洲 | 国产成人无码AⅤ片在线观 日韩av不卡在线 | 亚洲精品午夜一区人人爽 | 国产成人亚洲在线观看 | 欧洲激情在线 | 在线成人高清电影 | 国产精品九九热 | 天天综合狠狠精品 | 亚洲黄色在线免费观看 | av在线影片| 一区二区激情视频 | 免费看成人a | 亚洲专区欧美专区 | 天天透天天插 | 黄色毛片大全 | 玖玖爱在线观看 | 亚洲,播放| 日本精品视频在线 | 伊人射| 久久视频中文字幕 | 亚洲天堂精品视频 | 丁香花在线视频观看免费 | 亚洲专区欧美 | 国产精品原创在线 | 国产视频在线观看一区 | 在线有码中文字幕 | 伊人黄 | 色播五月激情综合网 | 国产福利一区二区三区视频 | 欧美在线视频不卡 | 三级黄色在线 | 久久夜色精品国产欧美乱极品 | 免费看久久 | 97超碰在线久草超碰在线观看 | 美女视频黄的免费的 | 国产精品va在线观看入 | 久久系列 | 色在线免费| 91久久电影 | jizzjizzjizz亚洲| 免费看久久久 | 99麻豆视频 | 国产亚洲欧美在线视频 | av在线免费不卡 | 在线免费视 | 欧美精品xxx | 在线观看一区 | 99热都是精品 | 久久精品欧美一区 | 91高清免费看 | 欧美尹人| 69国产成人综合久久精品欧美 | 怡红院久久 | 一区二区视频在线免费观看 | 免费国产黄线在线观看视频 | 人人澡人摸人人添学生av | 中国一级特黄毛片大片久久 | 欧美日韩精品在线 | 国产裸体bbb视频 | 国产一区二区高清不卡 | 亚洲精品av中文字幕在线在线 | 日韩区欠美精品av视频 | 久久久久日本精品一区二区三区 | 午夜婷婷网 | www.狠狠插.com | 天天操天天色天天射 | 五月婷婷中文网 | 丁香九月激情 | 999久久国产精品免费观看网站 | 欧美在线aaa | 美腿丝袜av | 亚洲综合欧美日韩狠狠色 | 国产精品美女久久久久aⅴ 干干夜夜 | 美女久久久 | 最新av电影网站 | 三级av黄色| 国产一区二区三区四区大秀 | 五月天国产 | 亚洲精品99| 久久这里只有精品1 | 国产在线观看黄 | 午夜精品电影 | 中文字幕免费播放 | 97免费中文视频在线观看 | 九九热久久免费视频 | 91在线免费观看国产 | 久久免费av电影 | 亚洲久草网 | 免费看黄色91 | av大全在线免费观看 | 色视频成人在线观看免 | 免费观看成人网 | 蜜臀精品久久久久久蜜臀 | 久久刺激视频 | 久久精品视频网站 | 色大片免费看 | 97视频免费在线看 | 日韩网站在线免费观看 | 亚洲欧美经典 | 国产91精品久久久久久 | 国产亚洲激情视频在线 | 免费合欢视频成人app | 日韩av在线一区二区 | 国产精品久久久久高潮 | 国产 日韩 欧美 中文 在线播放 | 99久久婷婷国产精品综合 | 九九热精 | 三级a毛片| 麻豆系列在线观看 | 欧美日韩一区二区三区不卡 | 六月色丁 | 亚洲三级av | 日本午夜在线亚洲.国产 | 日韩一区二区三区在线观看 | 久草在线免费看视频 | 永久黄网站色视频免费观看w | 精品不卡av | 中文字幕字幕中文 | 国产精品ssss在线亚洲 | 免费看的黄网站软件 | 国模一区二区三区四区 | 一级黄色在线免费观看 | 日韩av不卡播放 | 免费观看成人网 | 久久公开视频 | 91在线看免费 | 在线 精品 国产 | 在线观看aa | 免费视频一二三区 | 亚州视频在线 | 国产精品久久久久婷婷 | 亚州日韩中文字幕 | 免费视频黄色 | 午夜影视av| 国产视频一二区 | 婷婷色九月| 婷婷播播网 | 国产91国语对白在线 | av免费观看网址 | 亚洲三级毛片 | 久久五月天婷婷 | 日本久久久久久久久久久 | 精品久久久影院 | 91麻豆免费看| 91亚色视频 | 91精品国自产在线观看 | 久久久国产精华液 | 中文字幕影片免费在线观看 | 2018亚洲男人天堂 | 亚洲国产精彩中文乱码av | av在线永久免费观看 | 久久高清国产视频 | 麻豆传媒电影在线观看 | 99久久婷婷国产综合亚洲 | 99草视频在线观看 | 天天激情天天干 | 亚洲开心色 | 国产成人333kkk | 日日干网| 国产韩国日本高清视频 | 久久草网| 在线国产视频观看 | 亚洲aⅴ乱码精品成人区 | 中文字幕综合在线 | 四虎伊人| 一级黄色片在线观看 | 精品国产视频一区 | 日韩在线视频看看 | 91av超碰| 婷婷.com| 午夜精品久久久 | 国产精品久久嫩一区二区免费 | 国产91对白在线 | 成人av一区二区兰花在线播放 | 精品视频在线播放 | 黄色av网站在线免费观看 | 91精品资源 | 国产黄色免费观看 | 欧美日韩中文字幕综合视频 | 久久爱综合 | 91色亚洲| 四虎成人精品永久免费av | 久久精品久久久精品美女 | 亚洲在线视频观看 | 91九色综合| 在线观看日韩免费视频 | 免费色视频在线 | 99热.com | 开心激情网五月天 | 五月天最新网址 | 午夜精品av在线 | 一级大片在线观看 | 久草在线视频在线 | 亚洲精品tv| www.com黄色| 九色91视频 | 国产精品69av | 精品国产一区二区三区四区在线观看 | 草久在线视频 | 天天操天天操天天操天天操天天操天天操 | 精品影院一区二区久久久 | 久久综合色8888 | 国产天天综合 | 久久综合久久久久88 | 国产精品午夜在线 | 成人免费看黄 | avove黑丝 | 精品亚洲成a人在线观看 | 麻豆国产精品永久免费视频 | 天天操天天色天天 | 激情综合啪啪 | 丁香婷婷网 | 免费看的黄色片 | 国产小视频福利在线 | 色婷婷激情网 | 婷婷丁香五 | 亚洲在线看 | 在线国产中文字幕 | av网址最新 | 久久看片网站 | 日韩精品中文字幕有码 | 婷婷视频| 在线视频专区 | 免费观看一区 | 中国一级片在线观看 | 免费国产在线精品 | 国产成人精品一区二三区 | 国产精品成人一区二区三区 | 99热这里有 | 精品理论片 | 精品五月天 | 91香蕉国产| 日韩精品一区二区免费视频 | 亚洲精品在线观看中文字幕 | 视频国产一区二区三区 | 在线观看中文字幕av | av久久久| 三级在线视频播放 | 亚洲区二区 | 久久精品欧美一区二区三区麻豆 | 91av电影在线观看 | 欧美性脚交| 五月开心网 | 手机看片1042| 久久婷婷一区二区三区 | 国产精美视频 | 日韩免费在线观看视频 | 亚洲精品美女在线观看播放 | 在线超碰av | 亚洲国产精品久久久久久 | 亚洲高清在线 | 欧美影院久久 | 一区二区中文字幕在线 | 超碰人人草 | 日韩欧美综合精品 | 欧美精品亚洲精品日韩精品 | 国产特级毛片aaaaaa高清 | 视频精品一区二区三区 | 久99久久| 超碰在线网 | 久久久精品小视频 | 不卡的av在线 | 亚洲精品美女在线 | 狠狠色伊人亚洲综合网站色 | 99热这里只有精品免费 | 97超碰在线免费观看 | 欧美日韩国产页 | 欧美精品免费一区二区 | 日韩在线视 | 69国产精品视频 | 少妇bbbb搡bbbb搡bbbb | 国产一区国产二区在线观看 | 五月天激情视频在线观看 | 91视频麻豆视频 | 国产永久免费高清在线观看视频 | www日日 | av直接看 | 国产精品wwwwww | 婷婷网五月天 | 91亚色免费视频 | 中文字幕在线免费看线人 | 日韩综合一区二区三区 | 99精品在线直播 | 国产99久久精品一区二区300 | 综合天天色| 国产91免费在线观看 | 麻花传媒mv免费观看 | 国产精品毛片一区视频播不卡 | 久久精品视频在线观看免费 | 91香蕉视频 mp4 | 国产精品久久久久久久久久久久久久 | 免费h精品视频在线播放 | 免费黄色av| 亚洲激情六月 | 2023亚洲精品国偷拍自产在线 | 国产精品黑丝在线观看 | 麻豆手机在线 | 欧美一区日韩精品 | 伊人va | 国产a级免费 | 亚洲免费永久精品国产 | 四虎国产 | 91手机电视| 二区三区毛片 | www.黄色片网站 | 国产高清日韩欧美 | 国产免费美女 | 久久久99精品免费观看app | 狠狠操狠狠干天天操 | 91久久奴性调教 | 丁香花在线视频观看免费 | 深夜精品福利 | 爱色婷婷| 福利久久久 | 九九视频免费在线观看 | 欧美成年网站 | 日日夜夜免费精品 | 一区二区三区不卡在线 | 久久久久久视频 | 国产精品久久久久免费a∨ 欧美一级性生活片 | 久香蕉| av大全在线看 | 色综合色综合久久综合频道88 | 91精品国产一区 | 免费黄在线观看 | 中文字幕在线观看视频一区 | 欧美日韩一区二区免费在线观看 | 最近日本韩国中文字幕 | 99精品久久只有精品 | 免费在线观看中文字幕 | 免费在线一区二区 | 欧美日韩不卡一区二区三区 | 手机看国产毛片 | 九九九在线观看视频 | 国语黄色片 | 国产精品乱看 | 伊人开心激情 | 中国精品一区二区 | 日韩精品免费一区 | 国产精品资源在线观看 | 黄a网站| 亚洲精品观看 | 亚洲欧美日韩国产精品一区午夜 | 国产黄色免费在线观看 | 在线免费观看不卡av | 亚洲精品综合久久 | 在线观看av黄色 | 91av精品| 成人av资源网站 | 手机在线黄色网址 | 国产精品久久久久9999 | 成人久久久久 | 欧美日本不卡高清 | 中文字幕在线观看91 | 久久99久久99 | 国模吧一区 | 亚洲女人天堂成人av在线 | 国产精品不卡av | 亚洲精品乱码久久久久久 | 免费a v网站| 国产高清免费视频 | 国产精品国产亚洲精品看不卡15 | 久久99国产精品久久99 | 久久成人麻豆午夜电影 | 亚洲精品久久视频 | 国产亚洲一区二区三区 | 国产精品第72页 | 欧美日韩国产一区二 | 国产精品粉嫩 | 黄a在线看 | 国产视频日韩视频欧美视频 | 中文综合在线 | 人人澡人摸人人添学生av | 国产中文字幕网 | 亚洲午夜精品福利 | 91桃色在线免费观看 | 免费观看一区二区 | 黄色毛片视频免费 | 24小时日本在线www免费的 | 伊人首页| 欧美激情精品久久久久久变态 | 精品国产乱子伦一区二区 | 日韩精品首页 | www色av| 日韩有码专区 | 一本一本久久a久久精品综合妖精 | 国产精品成人av久久 | 91av电影在线观看 | 三级黄色欧美 | 国产亚洲视频中文字幕视频 | 最近日本字幕mv免费观看在线 | 国内精品久久久久久久久久久 | 成人免费 在线播放 | 欧美日韩久久不卡 | 色88久久 | 天天弄天天干 | 又黄又爽又无遮挡的视频 | 狠狠狠狠狠狠天天爱 | 最新色站 | 99r在线播放 | 美女国产精品 | 日本h在线播放 | 日韩免费小视频 | 国产蜜臀av | 奇人奇案qvod | 性色av香蕉一区二区 | av成年人电影 | 国产精品完整版 | 天天干天天插伊人网 | 狠狠做深爱婷婷综合一区 | sm免费xx网站 | 99精品免费网 | 夜夜嗨av色一区二区不卡 | 91一区二区三区久久久久国产乱 | 久久精品视频在线 | 国产婷婷色 | 免费久久视频 | 午夜视频在线观看一区二区三区 | 欧美不卡在线 | 日韩在线视频一区二区三区 | www五月天婷婷 | 成人一级电影在线观看 | 精品国产乱码久久久久久1区2匹 |