鄭昀 匯總 20130309

常見(jiàn)現(xiàn)象的故障分析： 現(xiàn)象倒推一：Java Web應(yīng)用的連接數(shù)暴增 最大的可能是，Web應(yīng)用的線程調(diào)用路徑中阻塞在某個(gè)遠(yuǎn)端資源上。

• 線程向某個(gè)遠(yuǎn)端資源發(fā)起的請(qǐng)求被阻塞，可能是以下原因：
  • 連接受阻，如等待client端連接池的空閑連接，如遠(yuǎn)端服務(wù)連接數(shù)滿；
  • 響應(yīng)遲遲沒(méi)有返回，如數(shù)據(jù)庫(kù)中的記錄被“表鎖”或“行鎖”，如數(shù)據(jù)庫(kù)有大量慢查詢(xún)；

常見(jiàn)的連接超時(shí)時(shí)間 為了讓大家一看到線上日志某些剛剛好的時(shí)間就能反應(yīng)過(guò)來(lái)，總結(jié)如下：

• memcache
  • PHP下，Memcache::connect?函數(shù)傳入的 timeout 參數(shù)代表連接超時(shí)時(shí)間，單位秒。默認(rèn)值1秒；
    • 注：修改此值之前請(qǐng)三思，過(guò)長(zhǎng)的連接超時(shí)時(shí)間可能會(huì)導(dǎo)致失去所有的緩存優(yōu)勢(shì)。?
  • Java下，
    • spymemcached 里，配置?opTimeout 代表操作超時(shí)時(shí)間，默認(rèn)值2.5秒；
    • xmemcahced 里，opTimeout 的定義與spy 一樣，默認(rèn)值1秒；
• mysql
  • wait_timeout：服務(wù)器關(guān)閉非交互連接之前等待活動(dòng)的秒數(shù)，默認(rèn)值28800秒（即8小時(shí)）；
  • connect_timeout：在獲取鏈接時(shí)，等待握手的超時(shí)時(shí)間，只在登錄時(shí)有效，默認(rèn)值10秒；
  • innodb_lock_wait_timeout：一個(gè) InnoDB 事務(wù)遇到一個(gè)行鎖，等待的超時(shí)時(shí)間，默認(rèn)值50秒，屆時(shí)會(huì)打印“Lock wait timeout exceeded; try restarting transaction”錯(cuò)誤；
• mongodb
  • Java下，
    • MongoOptions.maxWaitTime：連接上阻塞線程的最大等待時(shí)間，默認(rèn)值120秒。
    • MongoOptions.connectTimeout：建立新連接超時(shí)時(shí)間， （注意Only used for new connections）?默認(rèn)無(wú)限制。
    • MongoOptions.socketTimeout：socket通訊超時(shí)時(shí)間，默認(rèn)無(wú)限制。

現(xiàn)象倒推二：Java應(yīng)用頻繁 fullgc 頻繁 fullgc 大致有幾種原因： 第一種，還是由于某一個(gè)資源成為瓶頸，導(dǎo)致大量線程進(jìn)入 blocked 狀態(tài)，新的 Requests 源源不斷進(jìn)入，不斷開(kāi)啟新線程。加之線程在內(nèi)存中做了很多運(yùn)算，且這些內(nèi)存無(wú)法收回，導(dǎo)致 old generation（舊生代內(nèi)存區(qū)）占用比例超過(guò)閾值（此閾值由 JVM 參數(shù) CMSInitiatingOccupancyFraction設(shè)定，默認(rèn)值是90%），進(jìn)一步導(dǎo)致新對(duì)象分配沒(méi)有更多的空間，從而頻繁觸發(fā) fullgc。 舉例，由于某段代碼沒(méi)有釋放數(shù)據(jù)庫(kù)連接——>連接池中的連接耗盡——>部分線程無(wú)限 TIMED_WAITING ——>其余線程都 Blocked——>開(kāi)啟新線程——>頻繁引發(fā)GC——>占用大量CPU——>應(yīng)用掛起。 第二種，產(chǎn)生了大量大內(nèi)存對(duì)象，占用了大量堆空間，引發(fā) fullgc 。 可以將當(dāng)時(shí)的 memory dump 文件經(jīng)由 MAT 工具分析，找到對(duì)應(yīng)的對(duì)象或直接找到類(lèi)。

---

語(yǔ)錄分享： 語(yǔ)錄： 『主動(dòng)溝通，要求反饋：當(dāng)你接到一個(gè)新的、沒(méi)有經(jīng)驗(yàn)的任務(wù)時(shí)，首先要確認(rèn)目標(biāo)、時(shí)間點(diǎn)等具體要求(what，why，when)；在有了做事的思路和框架時(shí)和老板溝通，獲取反饋(how)；在初稿完成后再次溝通獲取反饋；最后才是最終成果。切忌自己悶頭做到最后的時(shí)間點(diǎn)，此時(shí)如果結(jié)果不符合預(yù)期會(huì)很被動(dòng)。』——Qiaoxin 語(yǔ)錄： 『上周和兄弟們飯后百步走，隨口一句：組織是什么？組織就是屁股。組織架構(gòu)就是擺屁股，架構(gòu)調(diào)整就是調(diào)整屁股。因屁股造成事情辦不妥，推進(jìn)不了。就該時(shí)候動(dòng)手了。』——carnec 語(yǔ)錄： 『早期項(xiàng)目一看團(tuán)隊(duì)，二看方向，但都需要打得贏。團(tuán)隊(duì)希望是一起打過(guò)仗的，立過(guò)戰(zhàn)功的，有基本的默契，這樣的團(tuán)隊(duì)繼續(xù)贏的概率更大。方向打得贏則是指所在方向有大概率打得贏，至少能先站住，后站高。』——林軍 語(yǔ)錄： 『我選領(lǐng)導(dǎo)團(tuán)隊(duì)的四個(gè)原則：一是必須有理想有事業(yè)心有共同的價(jià)值觀；二是個(gè)人能力一定要互補(bǔ)，不能都找能力和你相似的人，個(gè)人可以有不足，團(tuán)隊(duì)不能有短板；三是每個(gè)人要有獨(dú)立作戰(zhàn)獨(dú)擋一面獨(dú)立發(fā)展的能力，有這樣的團(tuán)隊(duì)公司才能有發(fā)展空間；四是我管的團(tuán)隊(duì)不能太多人，喝酒時(shí)一桌一定要都坐得下。 』——孫宏斌 語(yǔ)錄： 『曾在一處見(jiàn)到，淘寶在長(zhǎng)期使用java構(gòu)建web項(xiàng)目后，得出一個(gè)結(jié)論：積重難返。 實(shí)際工作經(jīng)驗(yàn)得到的結(jié)論，積重難返的原因，往往不是java本身的緣故，而是團(tuán)隊(duì)成員基礎(chǔ)積累參差不齊，許多次的“一不小心”積累成了最終的結(jié)果。到了悔之晚矣的時(shí)候自然就積重難返了。如何避免java使用自傷，最關(guān)鍵在于，統(tǒng)一團(tuán)隊(duì)成員的code入口，框下可能發(fā)生的事情，避開(kāi)不能發(fā)生的事情』——54chen 語(yǔ)錄： 『有人說(shuō)「臺(tái)風(fēng)來(lái)的時(shí)候，豬都能飛起來(lái)」，公司快速成長(zhǎng)期，每個(gè)人好像都能力都倍增，其實(shí)沒(méi)有，大形勢(shì)好，濫竽充數(shù)也能像個(gè)高手，所以這時(shí)候千萬(wàn)別忽視個(gè)人學(xué)習(xí)，否則大潮退去，越在浪頭上越死在沙灘上。』——Fenng 語(yǔ)錄『幾乎每個(gè)工程師都能挑出discuz的若干不足和問(wèn)題，有時(shí)候我就會(huì)從中選擇一些面試題，比如discuz在ip地區(qū)識(shí)別中的一些算法函數(shù)，一些復(fù)合索引和冗余字段的設(shè)計(jì)思路，乃至用戶(hù)密碼隨機(jī)salt的原理，一深究下去，發(fā)現(xiàn)應(yīng)聘者基本上都回答不出來(lái)。』——caoz 語(yǔ)錄： 『【CEO必鑒：爛蘋(píng)果定律】在任何組織里，都存在幾個(gè)難管理的人物，他們像蘋(píng)果箱里的爛蘋(píng)果，如果你不及時(shí)處理，它會(huì)迅速傳染，把果箱里其他蘋(píng)果也弄爛。一個(gè)不干工作，喜歡搬弄是非的人足以很快將一個(gè)高效的部門(mén)變成一盤(pán)散沙。“爛蘋(píng)果”要果斷清除！』——正和島標(biāo)準(zhǔn) 語(yǔ)錄： 『擔(dān)當(dāng)、責(zé)任意識(shí)和自動(dòng)補(bǔ)位是創(chuàng)業(yè)團(tuán)隊(duì)早期必要的。而不是經(jīng)常說(shuō)這不是我的事、我不是管事的、需要找xxx……從0-1，從1-10，只有敢于要，敢于擔(dān)當(dāng)?shù)娜俗詈蟛拍艹蔀楂@得成就、地位、認(rèn)可的人』——文昭武穆 語(yǔ)錄： 『你遇到過(guò)很多聰明人，你的大學(xué)同學(xué)，你的同事，你的朋友，有幾個(gè)比你傻？很多年以后，你會(huì)看到成功的并不是最聰明的人。因?yàn)闆Q定成功的更多是非智力因素：明確的目標(biāo)，積極的心態(tài)，努力和堅(jiān)持，承受挫折和壓力的能力，成熟的接人待物等等。有一種人注定沒(méi)戲：不努力和怨天尤人。』——孫宏斌 語(yǔ)錄： 『我以為，工資的定價(jià)依據(jù)，不是自己在其他地方能拿多少，而是公司花多少錢(qián)可以招到替代自己的人。』 ——鄧熔 語(yǔ)錄： 『 @孫陶然：#昆侖的侖# 一把手要對(duì)進(jìn)度敏感，盯住KPI，把精力放在解決那些未達(dá)成KPI的部門(mén)上。解決問(wèn)題時(shí)先看人再看事兒，人對(duì)了事兒才可能對(duì)，人不對(duì)事兒不可能對(duì)。 』 語(yǔ)錄： 『越是在最緊要的時(shí)刻，越是考驗(yàn)團(tuán)隊(duì)：哪些人可以拉得出、扛得上；哪些人怯陣、退縮；哪些人是真正的頂梁柱，哪些人是打醬油的。請(qǐng)每一位想在職場(chǎng)上不斷取得更好發(fā)展的人都要格外珍惜這樣的機(jī)會(huì)，充分施展自己的才能，在關(guān)鍵時(shí)刻發(fā)揮關(guān)鍵作用，這種機(jī)會(huì)不是想有就有，甚至可能不是由團(tuán)隊(duì)左右，切忌掉隊(duì)。 ——sodme』 語(yǔ)錄： 『 @許曉輝 ：在創(chuàng)業(yè)公司，不會(huì)主動(dòng)找事做的人，不是原地踏步，就是會(huì)被淘汰。主動(dòng)找事首先是基于本職崗位的創(chuàng)新和實(shí)踐（這一點(diǎn)大多數(shù)人做不到），其次是對(duì)自己所處工作鏈條的完善（不必顧慮是否跨界），最后是對(duì)公司各環(huán)節(jié)的觀察、思考與建議（做到這一層離晉級(jí)就不遠(yuǎn)了）。第一點(diǎn)最重要，有了根據(jù)地才好擴(kuò)張疆域。 』 語(yǔ)錄： 『@許曉輝： 曾經(jīng)不理解老板變化無(wú)常，定下來(lái)的事怎么說(shuō)變就變；等你自己做老板會(huì)發(fā)現(xiàn)：局勢(shì)總在變化，必須隨時(shí)做出調(diào)整，以應(yīng)對(duì)來(lái)襲的風(fēng)浪，確保航行安全。若你在創(chuàng)業(yè)公司，更要深刻理解這一點(diǎn)，理解變化背后的緣由。自此，我也深刻領(lǐng)會(huì)了馬云的話：“真正的高手還在于制造變化，在變化來(lái)臨之前變化自己。” 』 語(yǔ)錄： @許曉輝 ：對(duì)于跳槽頻繁者（在一家公司時(shí)間低于一年）一定要謹(jǐn)慎，此類(lèi)人大部分不是能力就是態(tài)度有問(wèn)題。你不能指望自己有點(diǎn)石成金的魔法，也不能指望一個(gè)缺乏耐力的人能在你公司變得堅(jiān)韌不拔，他可能只是以跳槽逃避困難與壓力。?

轉(zhuǎn)載于:https://www.cnblogs.com/zhengyun_ustc/archive/2013/03/29/2989308.html

總結(jié)

以上是生活随笔為你收集整理的Java两则故障分析和常见连接超时时间的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。