日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

mysql jdbc连接 优化_java+mysql连接的优化

發(fā)布時間:2025/3/20 数据库 26 豆豆
生活随笔 收集整理的這篇文章主要介紹了 mysql jdbc连接 优化_java+mysql连接的优化 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

作者通過經(jīng)歷的一個項(xiàng)目實(shí)例,介紹Java代碼優(yōu)化的過程,總結(jié)了優(yōu)化Java程序的一些最佳實(shí)踐,分析了進(jìn)行優(yōu)化的方法,并解釋了性能提升的原因。作者從多個角度分析導(dǎo)致性能低的原因,并逐個進(jìn)行優(yōu)化,最終使得程序的性能得到極大提升,增強(qiáng)了代碼的可讀性、可擴(kuò)展性。

一、衡量程序的標(biāo)準(zhǔn) 衡量一個程序是否優(yōu)質(zhì),可以從多個角度進(jìn)行分析。其中,最常見的衡量標(biāo)準(zhǔn)是程序的時間復(fù)雜度、空間復(fù)雜度,以及代碼的可讀性、可擴(kuò)展性。針對程序的時間復(fù)雜度和空間復(fù)雜度,想要優(yōu)化程序代碼,需要對數(shù)據(jù)結(jié)構(gòu)與算法有深入的理解,并且熟悉計算機(jī)系統(tǒng)的基本概念和原理;而針對代碼的可讀性和可擴(kuò)展性,想要優(yōu)化程序代碼,需要深入理解軟件架構(gòu)設(shè)計,熟知并會應(yīng)用合適的設(shè)計模式。

首先,如今計算機(jī)系統(tǒng)的存儲空間已經(jīng)足夠大了,達(dá)到了 TB 級別,因此相比于空間復(fù)雜度,時間復(fù)雜度是程序員首要考慮的因素。為了追求高性能,在某些頻繁操作執(zhí)行時,甚至可以考慮用空間換取時間。

其次,由于受到處理器制造工藝的物理限制、成本限制,CPU主頻的增長遇到了瓶頸,摩爾定律已漸漸失效,每隔18個月CPU主頻即翻倍的時代已經(jīng)過去了,程序員的編程方式發(fā)生了徹底的改變。在目前這個多核多處理器的時代,涌現(xiàn)了原生支持多線程的語言(如Java)以及分布式并行計算框架(如Hadoop)。為了使程序充分地利用多核CPU,簡單地實(shí)現(xiàn)一個單線程的程序是遠(yuǎn)遠(yuǎn)不夠的,程序員需要能夠編寫出并發(fā)或者并行的多線程程序。

最后,大型軟件系統(tǒng)的代碼行數(shù)達(dá)到了百萬級,如果沒有一個設(shè)計良好的軟件架構(gòu),想在已有代碼的基礎(chǔ)上進(jìn)行開發(fā),開發(fā)代價和維護(hù)成本是無法想象的。一個設(shè)計良好的軟件應(yīng)該具有可讀性和可擴(kuò)展性,遵循“開閉原則”、“依賴倒置原則”、“面向接口編程”等。

二、項(xiàng)目介紹本文將介紹筆者經(jīng)歷的一個項(xiàng)目中的一部分,通過這個實(shí)例剖析代碼優(yōu)化的過程。下面簡要地介紹該系統(tǒng)的相關(guān)部分。該系統(tǒng)的開發(fā)語言為Java,部署在共擁有4核CPU的Linux服務(wù)器上,相關(guān)部分主要有以下操作:通過某外部系統(tǒng)D提供的REST API獲取信息,從中提取出有效的信息,并通過JDBC 存儲到某數(shù)據(jù)庫系統(tǒng)S中,供系統(tǒng)其他部分使用,上述操作的執(zhí)行頻率為每天一次,一般在午夜當(dāng)系統(tǒng)空閑時定時執(zhí)行。為了實(shí)現(xiàn)高可用性(High Availability),外部系統(tǒng)D部署在兩臺服務(wù)器上,因此需要分別從這兩臺服務(wù)器上獲取信息并將信息插入數(shù)據(jù)庫中,有效信息的條數(shù)達(dá)到了上千條,數(shù)據(jù)庫插入操作次數(shù)則為有效信息條數(shù)的兩倍。圖 1.系統(tǒng)體系結(jié)構(gòu)圖

為了快速地實(shí)現(xiàn)預(yù)期效果,在最初的實(shí)現(xiàn)中優(yōu)先考慮了功能的實(shí)現(xiàn),而未考慮系統(tǒng)性能和代碼可讀性等。系統(tǒng)大致有以下的實(shí)現(xiàn):

REST API獲取信息、數(shù)據(jù)庫操作可能拋出的異常信息都被記錄到日志文件中,作為調(diào)試用;

共有5次數(shù)據(jù)庫連接操作,包括第一次清空數(shù)據(jù)庫表,針對兩個外部系統(tǒng)D各有兩次數(shù)據(jù)庫插入操作,這5個連接都是獨(dú)立的,用完之后即釋放;

所有的數(shù)據(jù)庫插入語句都是使用java.sql.Statement類生成的;

所有的數(shù)據(jù)庫插入語句,都是單條執(zhí)行的,即生成一條執(zhí)行一條;

整個過程都是在單個線程中執(zhí)行的,包括數(shù)據(jù)庫表清空操作,數(shù)據(jù)庫插入操作,釋放數(shù)據(jù)庫連接;

數(shù)據(jù)庫插入操作的JDBC代碼散布在代碼中。雖然這個版本的系統(tǒng)可以正常運(yùn)行,達(dá)到了預(yù)期的效果,但是效率很低,從通過 REST API獲取信息,到解析并提取有效信息,再到數(shù)據(jù)庫插入操作,總共耗時100秒左右。而預(yù)期的時間應(yīng)該在一分鐘以內(nèi),這顯然是不符合要求的。

三、代碼優(yōu)化過程筆者開始分析整個過程有哪些耗時操作,以及如何提升效率,縮短程序執(zhí)行的時間。通過REST API獲取信息,因?yàn)槭鞘褂猛獠肯到y(tǒng)提供的API,所以無法在此處提升效率;取得信息之后解析出有效部分,因?yàn)槭菍μ囟ǜ袷降男畔⑦M(jìn)行解析,所以也無效率提升的空間。所以,效率可以大幅度提升的空間在數(shù)據(jù)庫操作部分以及程序控制部分。下面,分條敘述對耗時操作的改進(jìn)方法。1.? 針對日志記錄的優(yōu)化關(guān)閉日志記錄,或者更改日志輸出級別。因?yàn)閺膬膳_服務(wù)器的外部系統(tǒng)D上獲取到的信息是相同的,所以數(shù)據(jù)庫插入操作會拋出異常,異常信息類似于“Attempt to insert duplicate record”,這樣的異常信息跟有效信息的條數(shù)相等,有上千條。這種情況是能預(yù)料到的,所以可以考慮關(guān)閉日志記錄,或者不關(guān)閉日志記錄而是更改日志輸出 級別,只記錄嚴(yán)重級別(severe level)的錯誤信息,并將此類操作的日志級別調(diào)整為警告級別(warning level),這樣就不會記錄以上異常信息了。本項(xiàng)目使用的是 Java 自帶的日志記錄類,以下配置文件將日志輸出級別設(shè)置為嚴(yán)重級別。清單 1. log.properties 設(shè)置日志輸出級別的片段

defaultfile?output?isinuser?’?s?home?directory.

levels?can?be:?SEVERE,?WARNING,?INFO,?FINE,?FINER,?FINEST

java.util.logging.ConsoleHandler.level=SEVERE

java.util.logging.FileHandler.formatter=java.util.logging.SimpleFormatter

java.util.logging.FileHandler.append=true

通過上述的優(yōu)化之后,性能有了大幅度的提升,從原來的 100 秒左右降到了 50 秒左右。為什么僅僅不記錄日志就能有如此大幅度的性能提升呢?查閱資料,發(fā)現(xiàn)已經(jīng)有人做了相關(guān)的研究與實(shí)驗(yàn)。經(jīng)常聽到 Java 程序比 C/C++ 程序慢的言論,但是運(yùn)行速度慢的真正原因是什么,估計很多人并不清楚。對于 CPU 密集型的程序(即程序中包含大量計算),Java 程序可以達(dá)到 C/C++ 程序同等級別的速度,但是對于 I/O 密集型的程序(即程序中包含大量 I/O 操作),Java 程序的速度就遠(yuǎn)遠(yuǎn)慢于 C/C++ 程序了,很大程度上是因?yàn)?C/C++ 程序能直接訪問底層的存儲設(shè)備。因此,不記錄日志而得到大幅度性能提升的原因是,Java 程序的 I/O 操作較慢,是一個很耗時的操作。

2.? 針對數(shù)據(jù)庫連接的優(yōu)化

共享數(shù)據(jù)庫連接。共有 5 次數(shù)據(jù)庫連接操作,每次都需重新建立數(shù)據(jù)庫連接,數(shù)據(jù)庫插入操作完成之后又立即釋放了,數(shù)據(jù)庫連接沒有被復(fù)用。為了做到共享數(shù)據(jù)庫連接,可以通過單例模式 (Singleton Pattern)獲得一個相同的數(shù)據(jù)庫連接,每次數(shù)據(jù)庫連接操作都共享這個數(shù)據(jù)庫連接。這里沒有使用數(shù)據(jù)庫連接池(Database Connection Pool)是因?yàn)樵诔绦蛑挥猩倭康臄?shù)據(jù)庫連接操作,只有在大量并發(fā)數(shù)據(jù)庫連接的時候才需要連接池。

清單 2. 共享數(shù)據(jù)庫連接的代碼片段

publicclassJdbcUtil?{

privatestaticConnection?con;

//?從配置文件讀取連接數(shù)據(jù)庫的信息

privatestaticString?driverClassName;

privatestaticString?url;

privatestaticString?username;

privatestaticString?password;

privatestaticString?currentSchema;

privatestaticProperties?properties?=newProperties();

static{

//?driverClassName,?url,?username,?password,?currentSchema?等從配置文件讀取,代碼略去

try{

Class.forName(driverClassName);

}?catch(ClassNotFoundException?e)?{

e.printStackTrace();

}

properties.setProperty("user",?username);

properties.setProperty("password",?password);

properties.setProperty("currentSchema",?currentSchema);

try{

con?=?DriverManager.getConnection(url,?properties);

}?catch(SQLException?e)?{

e.printStackTrace();

}

}

privateJdbcUtil()?{}

//?獲得一個單例的、共享的數(shù)據(jù)庫連接

publicstaticConnection?getConnection()?{

returncon;

}

publicstaticvoidclose()throwsSQLException?{

if(con?!=null)

con.close();

}

}

通過上述的優(yōu)化之后,性能有了小幅度的提升,從 50 秒左右降到了 40 秒左右。共享數(shù)據(jù)庫連接而得到的性能提升的原因是,數(shù)據(jù)庫連接是一個耗時耗資源的操作,需要同遠(yuǎn)程計算機(jī)進(jìn)行網(wǎng)絡(luò)通信,建立 TCP 連接,還需要維護(hù)連接狀態(tài)表,建立數(shù)據(jù)緩沖區(qū)。如果共享數(shù)據(jù)庫連接,則只需要進(jìn)行一次數(shù)據(jù)庫連接操作,省去了多次重新建立數(shù)據(jù)庫連接的時間。

3.? 針對插入數(shù)據(jù)庫記錄的優(yōu)化 - 1

使用預(yù)編譯 SQL。具體做法是使用 java.sql.PreparedStatement 代替 java.sql.Statement 生成 SQL 語句。PreparedStatement 使得數(shù)據(jù)庫預(yù)先編譯好 SQL 語句,可以傳入?yún)?shù)。而 Statement 生成的 SQL 語句在每次提交時,數(shù)據(jù)庫都需進(jìn)行編譯。在執(zhí)行大量類似的 SQL 語句時,可以使用 PreparedStatement 提高執(zhí)行效率。使用 PreparedStatement 的另一個好處是不需要拼接 SQL 語句,代碼的可讀性更強(qiáng)。通過上述的優(yōu)化之后,性能有了小幅度的提升,從 40 秒左右降到了 30~35 秒左右。

清單 3. 使用 Statement 的代碼片段

//?需要拼接?SQL?語句,執(zhí)行效率不高,代碼可讀性不強(qiáng)

StringBuilder?sql?=?newStringBuilder();

sql.append("insert?into?table1(column1,column2)?values('");

sql.append(column1Value);

sql.append("','");

sql.append(column2Value);

sql.append("');");

Statement?st;

try{

st?=?con.createStatement();

st.executeUpdate(sql.toString());

}?catch(SQLException?e)?{

e.printStackTrace();

}

清單 4. 使用 PreparedStatement 的代碼片段

//?預(yù)編譯?SQL?語句,執(zhí)行效率高,可讀性強(qiáng)

String?sql?=?“insert?into?table1(column1,column2)?values(?,?)”;

PreparedStatement?pst?=?con.prepareStatement(sql);

pst.setString(1,column1Value);

pst.setString(2,column2Value);

pst.execute();

4.? 針對插入數(shù)據(jù)庫記錄的優(yōu)化 - 2

使用 SQL 批處理。通過 java.sql.PreparedStatement 的 addBatch 方法將 SQL 語句加入到批處理,這樣在調(diào)用 execute 方法時,就會一次性地執(zhí)行 SQL 批處理,而不是逐條執(zhí)行。通過上述的優(yōu)化之后,性能有了小幅度的提升,從 30~35 秒左右降到了 30 秒左右。

5.? 針對多線程的優(yōu)化

使用多線程實(shí)現(xiàn)并發(fā) / 并行。清空數(shù)據(jù)庫表的操作、把從 2 個外部系統(tǒng) D 取得的數(shù)據(jù)插入數(shù)據(jù)庫記錄的操作,是相互獨(dú)立的任務(wù),可以給每個任務(wù)分配一個線程執(zhí)行。清空數(shù)據(jù)庫表的操作應(yīng)該先于數(shù)據(jù)庫插入操作完成,可以通過 java.lang.Thread 類的 join 方法控制線程執(zhí)行的先后次序。在單核 CPU 時代,操作系統(tǒng)中某一時刻只有一個線程在運(yùn)行,通過進(jìn)程 / 線程調(diào)度,給每個線程分配一小段執(zhí)行的時間片,可以實(shí)現(xiàn)多個進(jìn)程 / 線程的并發(fā)(concurrent)執(zhí)行。而在目前的多核多處理器背景下,操作系統(tǒng)中同一時刻可以有多個線程并行(parallel)執(zhí)行,大大地提高了 計算速度。

清單 5. 使用多線程的代碼片段

Thread?t0?=newThread(newClearTableTask());

Thread?t1?=?newThread(newStoreServersTask(ADDRESS1));

Thread?t2?=?newThread(newStoreServersTask(ADDRESS2));

try{

t0.start();

//?執(zhí)行完清空操作后,再進(jìn)行后續(xù)操作

t0.join();

t1.start();

t2.start();

t1.join();

t2.join();

}?catch(InterruptedException?e)?{

e.printStackTrace();

}

//?斷開數(shù)據(jù)庫連接

try{

JdbcUtil.close();

}?catch(SQLException?e)?{

e.printStackTrace();

}

通過上述的優(yōu)化之后,性能有了大幅度的提升,從 30 秒左右降到了 15 秒以下,10~15 秒之間。使用多線程而得到的性能提升的原因是,系統(tǒng)部署所在的服務(wù)器是多核多處理器的,使用多線程,給每個任務(wù)分配一個線程執(zhí)行,可以充分地利用 CPU 計算資源。

筆者試著給每個任務(wù)分配兩個線程執(zhí)行,希望能使程序運(yùn)行得更快,但是事與愿違,此時程序運(yùn)行的時間反而比每個任務(wù)分配一個線程執(zhí)行的慢,大約 20 秒。筆者推測,這是因?yàn)榫€程較多(相對于 CPU 的內(nèi)核數(shù)),使得 CPU 忙于線程的上下文切換,過多的線程上下文切換使得程序的性能反而不如之前。因此,要根據(jù)實(shí)際的硬件環(huán)境,給任務(wù)分配適量的線程執(zhí)行。

6.? 針對設(shè)計模式的優(yōu)化

使用 DAO 模式抽象出數(shù)據(jù)訪問層。原來的代碼中混雜著 JDBC 操作數(shù)據(jù)庫的代碼,代碼結(jié)構(gòu)顯得十分凌亂。使用 DAO 模式(Data Access Object Pattern)可以抽象出數(shù)據(jù)訪問層,這樣使得程序可以獨(dú)立于不同的數(shù)據(jù)庫,即便訪問數(shù)據(jù)庫的代碼發(fā)生了改變,上層調(diào)用數(shù)據(jù)訪問的代碼無需改變。并且程 序員可以擺脫單調(diào)繁瑣的數(shù)據(jù)庫代碼的編寫,專注于業(yè)務(wù)邏輯層面的代碼的開發(fā)。通過上述的優(yōu)化之后,性能并未有提升,但是代碼的可讀性、可擴(kuò)展性大大地提高 了。

清單 6. 使用 DAO 模式的代碼片段

//?DeviceDAO.java,定義了?DAO?抽象,上層的業(yè)務(wù)邏輯代碼引用該接口,面向接口編程

publicinterfaceDeviceDAO?{

publicvoidadd(Device?device);

}

//?DeviceDAOImpl.java,DAO?實(shí)現(xiàn),具體的?SQL?語句和數(shù)據(jù)庫操作由該類實(shí)現(xiàn)

publicclassDeviceDAOImplimplementsDeviceDAO?{

privateConnection?con;

publicDeviceDAOImpl()?{

//?獲得數(shù)據(jù)庫連接,代碼略去

}

@Override

publicvoidadd(Device?device)?{

//?使用?PreparedStatement?進(jìn)行數(shù)據(jù)庫插入記錄操作,代碼略去

}

}

回顧以上代碼優(yōu)化過程:關(guān)閉日志記錄、共享數(shù)據(jù)庫連接、使用預(yù)編譯 SQL、使用 SQL 批處理、使用多線程實(shí)現(xiàn)并發(fā) / 并行、使用 DAO 模式抽象出數(shù)據(jù)訪問層,程序運(yùn)行時間從最初的 100 秒左右降低到 15 秒以下,在性能上得到了很大的提升,同時也具有了更好的可讀性和可擴(kuò)展性。

四、結(jié)束語

通過該項(xiàng)目實(shí)例,筆者深深地感到,想要寫出一個性能優(yōu)化、可讀性可擴(kuò)展性強(qiáng)的程序,需要對計算機(jī)系統(tǒng)的基本概念、原理,編程語言的特性,軟件系統(tǒng) 架構(gòu)設(shè)計都有較深入的理解。“紙上得來終覺淺,絕知此事要躬行”,想要將這些基本理論、編程技巧融會貫通,還需要不斷地實(shí)踐,并總結(jié)心得體會。

總結(jié)

以上是生活随笔為你收集整理的mysql jdbc连接 优化_java+mysql连接的优化的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。