大家看到了線程的好處了吧！單線程需要10S，10個線程只需要1S。充分利用了系統(tǒng)資源實現(xiàn)并行計算。也許這里會產生一個誤解，是不是增加的線程個數(shù)越多效率越高。線程越多處理性能越高這個是錯誤的，范式都要合適，過了就不好了。需要普及一下計算機硬件的一些知識。我們的cpu是個運算器，線程執(zhí)行就需要這個運算器來運行。不過這個資源只有一個，大家就會爭搶。一般通過以下幾種算法實現(xiàn)爭搶cpu的調度：

1、隊列方式，先來先服務。不管是什么任務來了都要按照隊列排隊先來后到。

2、時間片輪轉，這也是最古老的cpu調度算法。設定一個時間片，每個任務使用cpu的時間不能超過這個時間。如果超過了這個時間就把任務暫停保存狀態(tài)，放到隊列尾部繼續(xù)等待執(zhí)行。

3、優(yōu)先級方式：給任務設定優(yōu)先級，有優(yōu)先級的先執(zhí)行，沒有優(yōu)先級的就等待執(zhí)行。

這三種算法都有優(yōu)缺點，實際操作系統(tǒng)是結合多種算法，保證優(yōu)先級的能夠先處理，但是也不能一直處理優(yōu)先級的任務。硬件方面為了提高效率也有多核cpu、多線程cpu等解決方案。目前看得出來線程增多了會帶來cpu調度的負載增加，cpu需要調度大量的線程，包括創(chuàng)建線程、銷毀線程、線程是否需要換出cpu、是否需要分配到cpu。這些都是需要消耗系統(tǒng)資源的，由此，我們需要一個機制來統(tǒng)一管理這一堆線程資源。線程池的理念提出解決了頻繁創(chuàng)建、銷毀線程的代價。線程池指預先創(chuàng)建好一定大小的線程等待隨時服務用戶的任務處理，不必等到用戶需要的時候再去創(chuàng)建。特別是在java開發(fā)中，盡量減少垃圾回收機制的消耗就要減少對象的頻繁創(chuàng)建和銷毀。

之前我們都是自己實現(xiàn)的線程池，不過隨之jdk1.5的推出，jdk自帶了 java.util.concurrent并發(fā)開發(fā)框架，解決了我們大部分線程池框架的重復工作。可以使用Executors來建立線程池，列出以下大概的，后面再介紹。

newCachedThreadPool 建立具有緩存功能線程池

newFixedThreadPool 建立固定數(shù)量的線程

newScheduledThreadPool 建立具有時間調度的線程

有了線程池后有以下幾個問題需要考慮：

1、線程怎么管理，比如新建任務線程。

2、線程如何停止、啟動。

3、線程除了scheduled模式的間隔時間定時外能否實現(xiàn)精確時間啟動。比如晚上1點啟動。

4、線程如何監(jiān)控，如果線程執(zhí)行過程中死掉了，異常終止我們怎么知道。

考慮到這幾點，我們需要把線程集中管理起來，用java.util.concurrent是做不到的。需要做以下幾點：

1、將線程和業(yè)務分離，業(yè)務的配置單獨做成一個表。

2、構建基于concurrent的線程調度框架，包括可以管理線程的狀態(tài)、停止線程的接口、線程存活心跳機制、線程異常日志記錄模塊。

3、構建靈活的timer組件，添加quartz定時組件實現(xiàn)精準定時系統(tǒng)。

4、和業(yè)務配置信息結合構建線程池任務調度系統(tǒng)。可以通過配置管理、添加線程任務、監(jiān)控、定時、管理等操作。

組件圖為：

構建好線程調度框架是不是就可以應對大量計算的需求了呢?答案是否定的。因為一個機器的資源是有限的，上面也提到了cpu是時間周期的，任務一多了也會排隊，就算增加cpu，一個機器能承載的cpu也是有限的。所以需要把整個線程池框架做成分布式的任務調度框架才能應對橫向擴展，比如一個機器上的資源呢達到瓶頸了，馬上增加一臺機器部署調度框架和業(yè)務就可以增加計算能力了。好了，如何搭建？如下圖：

32/3<123>

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結

以上是生活随笔為你收集整理的java搭建线程池框架,JAVA线程池管理及分布式HADOOP调度框架搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。