日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

处理百万级以上的数据提高查询速度的方法

發(fā)布時(shí)間:2023/12/10 编程问答 47 豆豆
生活随笔 收集整理的這篇文章主要介紹了 处理百万级以上的数据提高查询速度的方法 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
1.應(yīng)盡量避免在where子句中使用!=<>操作符,否則將引擎放棄使用索引而進(jìn)行全表掃描。

2.對(duì)查詢進(jìn)行優(yōu)化,應(yīng)盡量避免全表掃描,首先應(yīng)考慮在whereorderby涉及的列上建立索引。

3.應(yīng)盡量避免在where子句中對(duì)字段進(jìn)行null值判斷,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:
selectidfromtwherenumisnull
可以在num上設(shè)置默認(rèn)值0,確保表中num列沒(méi)有null值,然后這樣查詢:
selectidfromtwherenum=0

4.應(yīng)盡量避免在where子句中使用or來(lái)連接條件,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:
selectidfromtwherenum=10ornum=20
可以這樣查詢:
selectidfromtwherenum=10
unionall
selectidfromtwherenum=20

5.下面的查詢也將導(dǎo)致全表掃描:(不能前置百分號(hào))
selectidfromtwherenamelike%abc%
若要提高效率,可以考慮全文檢索。

6.innotin也要慎用,否則會(huì)導(dǎo)致全表掃描,如:
selectidfromtwherenumin(1,2,3)
對(duì)于連續(xù)的數(shù)值,能用
between就不要用in了:
selectidfromtwherenumbetween1and3

7.如果在where子句中使用參數(shù),也會(huì)導(dǎo)致全表掃描。因?yàn)镾QL只有在運(yùn)行時(shí)才會(huì)解析局部變量,但優(yōu)化程序不能將訪問(wèn)計(jì)劃的選擇推遲到運(yùn)行時(shí);它必須在編譯時(shí)進(jìn)行選擇。然而,如果在編譯時(shí)建立訪問(wèn)計(jì)劃,變量的值還是未知的,因而無(wú)法作為索引選擇的輸入項(xiàng)。如下面語(yǔ)句將進(jìn)行全表掃描:
selectidfromtwherenum=@num
可以改為強(qiáng)制查詢使用索引:
selectidfromtwith(index(索引名))wherenum=@num

8.應(yīng)盡量避免在where子句中對(duì)字段進(jìn)行表達(dá)式操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:
selectidfromtwherenum/2=100
應(yīng)改為:
selectidfromtwherenum=100*2

9.應(yīng)盡量避免在where子句中對(duì)字段進(jìn)行函數(shù)操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:
selectidfromtwheresubstring(name,1,3)=’abc’–name以abc開頭的id
selectidfromtwheredatediff(day,createdate,’2005-11-30′)=0–’2005-11-30′生成的id
應(yīng)改為:
selectidfromtwherenamelike‘a(chǎn)bc%
selectidfromtwherecreatedate>=2005-11-30andcreatedate<2005-12-1

10.不要在where子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運(yùn)算或其他表達(dá)式運(yùn)算,否則系統(tǒng)將可能無(wú)法正確使用索引。

11.在使用索引字段作為條件時(shí),如果該索引是復(fù)合索引,那么必須使用到該索引中的第一個(gè)字段作為條件時(shí)才能保證系統(tǒng)使用該索引,否則該索引將不會(huì)被使用,并且應(yīng)盡可能的讓字段順序與索引順序相一致。

12.不要寫一些沒(méi)有意義的查詢,如需要生成一個(gè)空表結(jié)構(gòu):
selectcol1,col2into#tfromtwhere1=0
這類代碼不會(huì)返回任何結(jié)果集,但是會(huì)消耗系統(tǒng)資源的,應(yīng)改成這樣:
createtable#t(…)

13.很多時(shí)候用exists代替in是一個(gè)好的選擇:
selectnumfromawherenumin(selectnumfromb)
用下面的語(yǔ)句替換:
selectnumfromawhereexists(select1frombwherenum=a.num)

14.并不是所有索引對(duì)查詢都有效,SQL是根據(jù)表中數(shù)據(jù)來(lái)進(jìn)行查詢優(yōu)化的,當(dāng)索引列有大量數(shù)據(jù)重復(fù)時(shí),SQL查詢可能不會(huì)去利用索引,如一表中有字段sex,male、female幾乎各一半,那么即使在sex上建了索引也對(duì)查詢效率起不了作用。

15.索引并不是越多越好,索引固然可以提高相應(yīng)的select的效率,但同時(shí)也降低了insertupdate的效率,因?yàn)?/span>insertupdate時(shí)有可能會(huì)重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個(gè)表的索引數(shù)最好不要超過(guò)6個(gè),若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有必要。

16.應(yīng)盡可能的避免更新clustered索引數(shù)據(jù)列,因?yàn)?/span>clustered索引數(shù)據(jù)列的順序就是表記錄的物理存儲(chǔ)順序,一旦該列值改變將導(dǎo)致整個(gè)表記錄的順序的調(diào)整,會(huì)耗費(fèi)相當(dāng)大的資源。若應(yīng)用系統(tǒng)需要頻繁更新clustered索引數(shù)據(jù)列,那么需要考慮是否應(yīng)將該索引建為clustered索引。

17.盡量使用數(shù)字型字段,若只含數(shù)值信息的字段盡量不要設(shè)計(jì)為字符型,這會(huì)降低查詢和連接的性能,并會(huì)增加存儲(chǔ)開銷。這是因?yàn)橐嬖谔幚聿樵兒瓦B接時(shí)會(huì)逐個(gè)比較字符串中每一個(gè)字符,而對(duì)于數(shù)字型而言只需要比較一次就夠了。

18.盡可能的使用varchar/nvarchar代替char/nchar,因?yàn)槭紫茸冮L(zhǎng)字段存儲(chǔ)空間小,可以節(jié)省存儲(chǔ)空間,其次對(duì)于查詢來(lái)說(shuō),在一個(gè)相對(duì)較小的字段內(nèi)搜索效率顯然要高些。

19.任何地方都不要使用select*fromt,用具體的字段列表代替“*”,不要返回用不到的任何字段。

20.盡量使用表變量來(lái)代替臨時(shí)表。如果表變量包含大量數(shù)據(jù),請(qǐng)注意索引非常有限(只有主鍵索引)。

21.避免頻繁創(chuàng)建和刪除臨時(shí)表,以減少系統(tǒng)表資源的消耗。

22.臨時(shí)表并不是不可使用,適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行?#xff0c;例如,當(dāng)需要重復(fù)引用大型表或常用表中的某個(gè)數(shù)據(jù)集時(shí)。但是,對(duì)于一次性事件,最好使用導(dǎo)出表。

23.在新建臨時(shí)表時(shí),如果一次性插入數(shù)據(jù)量很大,那么可以使用selectinto代替createtable,避免造成大量log,以提高速度;如果數(shù)據(jù)量不大,為了緩和系統(tǒng)表的資源,應(yīng)先createtable,然后insert。

24.如果使用到了臨時(shí)表,在存儲(chǔ)過(guò)程的最后務(wù)必將所有的臨時(shí)表顯式刪除,先truncatetable,然后droptable,這樣可以避免系統(tǒng)表的較長(zhǎng)時(shí)間鎖定。

25.盡量避免使用游標(biāo),因?yàn)橛螛?biāo)的效率較差,如果游標(biāo)操作的數(shù)據(jù)超過(guò)1萬(wàn)行,那么就應(yīng)該考慮改寫。

26.使用基于游標(biāo)的方法或臨時(shí)表方法之前,應(yīng)先尋找基于集的解決方案來(lái)解決問(wèn)題,基于集的方法通常更有效。

27.與臨時(shí)表一樣,游標(biāo)并不是不可使用。對(duì)小型數(shù)據(jù)集使用FAST_FORWARD游標(biāo)通常要優(yōu)于其他逐行處理方法,尤其是在必須引用幾個(gè)表才能獲得所需的數(shù)據(jù)時(shí)。在結(jié)果集中包括“合計(jì)”的例程通常要比使用游標(biāo)執(zhí)行的速度快。如果開發(fā)時(shí)間允許,基于游標(biāo)的方法和基于集的方法都可以嘗試一下,看哪一種方法的效果更好。

28.在所有的存儲(chǔ)過(guò)程和觸發(fā)器的開始處設(shè)置SETNOCOUNTON,在結(jié)束時(shí)設(shè)置SETNOCOUNTOFF。無(wú)需在執(zhí)行存儲(chǔ)過(guò)程和觸發(fā)器的每個(gè)語(yǔ)句后向客戶端發(fā)送DONE_IN_PROC消息。

29.盡量避免向客戶端返回大數(shù)據(jù)量,若數(shù)據(jù)量過(guò)大,應(yīng)該考慮相應(yīng)需求是否合理。

30.盡量避免大事務(wù)操作,提高系統(tǒng)并發(fā)能力。



查詢速度慢的原因:

1、沒(méi)有索引或者沒(méi)有用到索引(這是查詢慢最常見的問(wèn)題,是程序設(shè)計(jì)的缺陷)

2、I/O吞吐量小,形成了瓶頸效應(yīng)。

3、沒(méi)有創(chuàng)建計(jì)算列導(dǎo)致查詢不優(yōu)化。

4、內(nèi)存不足

5、網(wǎng)絡(luò)速度慢

6、查詢出的數(shù)據(jù)量過(guò)大(可以采用多次查詢,其他的方法降低數(shù)據(jù)量)

7、鎖或者死鎖(這也是查詢慢最常見的問(wèn)題,是程序設(shè)計(jì)的缺陷)

8、sp_lock,sp_who,活動(dòng)的用戶查看,原因是讀寫競(jìng)爭(zhēng)資源。

9、返回了不必要的行和列

10、查詢語(yǔ)句不好,沒(méi)有優(yōu)化

可以通過(guò)如下方法來(lái)優(yōu)化查詢

1、把數(shù)據(jù)、日志、索引放到不同的I/O設(shè)備上,增加讀取速度,以前可以將Tempdb應(yīng)放在RAID0上,SQL2000不在支持。數(shù)據(jù)量(尺寸)越大,提高I/O越重要.

2、縱向、橫向分割表,減少表的尺寸(sp_spaceuse)

3、升級(jí)硬件

4、根據(jù)查詢條件,建立索引,優(yōu)化索引、優(yōu)化訪問(wèn)方式,限制結(jié)果集的數(shù)據(jù)量。注意填充因子要適當(dāng)(最好是使用默認(rèn)值0)。索引應(yīng)該盡量小,使用字節(jié)數(shù)小的列建索引好(參照索引的創(chuàng)建),不要對(duì)有限的幾個(gè)值的字段建單一索引如性別字段

5、提高網(wǎng)速;

6、擴(kuò)大服務(wù)器的內(nèi)存,Windows2000和SQLserver2000能支持4-8G的內(nèi)存。配置虛擬內(nèi)存:虛擬內(nèi)存大小應(yīng)基于計(jì)算機(jī)上并發(fā)運(yùn)行的服務(wù)進(jìn)行配置。運(yùn)行MicrosoftSQLServer?2000時(shí),可考慮將虛擬內(nèi)存大小設(shè)置為計(jì)算機(jī)中安裝的物理內(nèi)存的1.5倍。如果另外安裝了全文檢索功能,并打算運(yùn)行Microsoft搜索服務(wù)以便執(zhí)行全文索引和查詢,可考慮:將虛擬內(nèi)存大小配置為至少是計(jì)算機(jī)中安裝的物理內(nèi)存的3倍。將SQLServermaxservermemory服務(wù)器配置選項(xiàng)配置為物理內(nèi)存的1.5倍(虛擬內(nèi)存大小設(shè)置的一半)。



8、如果是使用like進(jìn)行查詢的話,簡(jiǎn)單的使用index是不行的,但是全文索引,耗空間。like'a%'使用索引like'%a'不使用索引用like'%a%'查詢時(shí),查詢耗時(shí)和字段值總長(zhǎng)度成正比,所以不能用CHAR類型,而是VARCHAR。對(duì)于字段的值很長(zhǎng)的建全文索引。

9、DBServer和APPLicationServer分離;OLTP和OLAP分離

11、重建索引DBCCREINDEX,DBCCINDEXDEFRAG,收縮數(shù)據(jù)和日志DBCCSHRINKDB,DBCCSHRINKFILE.設(shè)置自動(dòng)收縮日志.對(duì)于大的數(shù)據(jù)庫(kù)不要設(shè)置數(shù)據(jù)庫(kù)自動(dòng)增長(zhǎng),它會(huì)降低服務(wù)器的性能。在T-sql的寫法上有很大的講究,下面列出常見的要點(diǎn):首先,DBMS處理查詢計(jì)劃的過(guò)程是這樣的:
1、查詢語(yǔ)句的詞法、語(yǔ)法檢查
2、將語(yǔ)句提交給DBMS的查詢優(yōu)化器
3、優(yōu)化器做代數(shù)優(yōu)化和存取路徑的優(yōu)化
4、由預(yù)編譯模塊生成查詢規(guī)劃
5、然后在合適的時(shí)間提交給系統(tǒng)處理執(zhí)行
6、最后將執(zhí)行結(jié)果返回給用戶其次,看一下SQLSERVER的數(shù)據(jù)存放的結(jié)構(gòu):一個(gè)頁(yè)面的大小為8K(8060)字節(jié),8個(gè)頁(yè)面為一個(gè)盤區(qū),按照B樹存放。


13、在查詢Select語(yǔ)句中用Where字句限制返回的行數(shù),避免表掃描,如果返回不必要的數(shù)據(jù),浪費(fèi)了服務(wù)器的I/O資源,加重了網(wǎng)絡(luò)的負(fù)擔(dān)降低性能。如果表很大,在表掃描的期間將表鎖住,禁止其他的聯(lián)接訪問(wèn)表,后果嚴(yán)重。


16、用Profiler來(lái)跟蹤查詢,得到查詢所需的時(shí)間,找出SQL的問(wèn)題所在;用索引優(yōu)化器優(yōu)化索引

17、注意UNion和UNionall的區(qū)別。UNIONall好

18、注意使用DISTINCT,在沒(méi)有必要時(shí)不要用,它同UNION一樣會(huì)使查詢變慢。重復(fù)的記錄在查詢里是沒(méi)有問(wèn)題的

19、查詢時(shí)不要返回不需要的行、列

20、用sp_configure'querygovernorcostlimit'或者SETQUERY_GOVERNOR_COST_LIMIT來(lái)限制查詢消耗的資源。當(dāng)評(píng)估查詢消耗的資源超出限制時(shí),服務(wù)器自動(dòng)取消查詢,在查詢之前就扼殺掉。SETLOCKTIME設(shè)置鎖的時(shí)間

21、用selecttop100/10Percent來(lái)限制用戶返回的行數(shù)或者SETROWCOUNT來(lái)限制操作的行

22、在SQL2000以前,一般不要用如下的字句“ISNULL","<>","!=","!>","!<","NOT","NOTEXISTS","NOTIN","NOTLIKE",and"LIKE'%500'",因?yàn)樗麄儾蛔咚饕潜頀呙琛?br /> 也不要在WHere字句中的列名加函數(shù),如Convert,substring等,如果必須用函數(shù)的時(shí)候,創(chuàng)建計(jì)算列再創(chuàng)建索引來(lái)替代.還可以變通寫法:WHERESUBSTRING(firstname,1,1)='m'改為WHEREfirstnamelike'm%'(索引掃描),一定要將函數(shù)和列名分開。并且索引不能建得太多和太大。
NOTIN會(huì)多次掃描表,使用EXISTS、NOTEXISTSIN,LEFTOUTERJOIN來(lái)替代,特別是左連接,而Exists比IN更快,最慢的是NOT操作.如果列的值含有空,以前它的索引不起作用,現(xiàn)在2000的優(yōu)化器能夠處理了。相同的是ISNULL,“NOT","NOTEXISTS","NOTIN"能優(yōu)化她,而”<>”等還是不能優(yōu)化,用不到索引。


24、如果使用了IN或者OR等時(shí)發(fā)現(xiàn)查詢沒(méi)有走索引,使用顯示申明指定索引:SELECT*FROMPersonMember(INDEX=IX_Title)WHEREprocessidIN(‘男’,‘女’)

25、將需要查詢的結(jié)果預(yù)先計(jì)算好放在表中,查詢的時(shí)候再SELECT。這在SQL7.0以前是最重要的手段。例如醫(yī)院的住院費(fèi)計(jì)算。

26MIN()和MAX()能使用到合適的索引


28、如果要插入大的二進(jìn)制值到Image列,使用存儲(chǔ)過(guò)程,千萬(wàn)不要用內(nèi)嵌INsert來(lái)插入(不知JAVA是否)。因?yàn)檫@樣應(yīng)用程序首先將二進(jìn)制值轉(zhuǎn)換成字符串(尺寸是它的兩倍),服務(wù)器受到字符后又將他轉(zhuǎn)換成二進(jìn)制值.存儲(chǔ)過(guò)程就沒(méi)有這些動(dòng)作:方法:Createprocedurep_insertasinsertintotable(Fimage)values(@image),在前臺(tái)調(diào)用這個(gè)存儲(chǔ)過(guò)程傳入二進(jìn)制參數(shù),這樣處理速度明顯改善。

29、Between在某些時(shí)候比IN速度更快,Between能夠更快地根據(jù)索引找到范圍。用查詢優(yōu)化器可見到差別。select*fromchineseresumewheretitlein('','')Select*fromchineseresumewherebetween''and''是一樣的。由于in會(huì)在比較多次,所以有時(shí)會(huì)慢些。


32、用OR的字句可以分解成多個(gè)查詢,并且通過(guò)UNION連接多個(gè)查詢。他們的速度只同是否使用索引有關(guān),如果查詢需要用到聯(lián)合索引,用UNIONall執(zhí)行的效率更高.多個(gè)OR的字句沒(méi)有用到索引,改寫成UNION的形式再試圖與索引匹配。一個(gè)關(guān)鍵的問(wèn)題是否用到索引。

34、沒(méi)有必要時(shí)不要用DISTINCT和ORDERBY,這些動(dòng)作可以改在客戶端執(zhí)行。它們?cè)黾恿祟~外的開銷。這同UNION和UNIONALL一樣的道理。SELECTtop20ad.companyname,comid,position,ad.referenceid,worklocation,convert(varchar(10),ad.postDate,120)aspostDate1,workyear,degreedescriptionFROMjobcn_query.dbo.COMPANYAD_queryadwherereferenceIDin('JCNAD00329667','JCNAD132168','JCNAD00337748','JCNAD00338345','JCNAD00333138','JCNAD00303570','JCNAD00303569','JCNAD00303568','JCNAD00306698','JCNAD00231935','JCNAD00231933','JCNAD00254567','JCNAD00254585','JCNAD00254608','JCNAD00254607','JCNAD00258524','JCNAD00332133','JCNAD00268618','JCNAD00279196','JCNAD00268613')orderbypostdatedesc

35、在IN后面值的列表中,將出現(xiàn)最頻繁的值放在最前面,出現(xiàn)得最少的放在最后面,減少判斷的次數(shù)

36、當(dāng)用SELECTINTO時(shí),它會(huì)鎖住系統(tǒng)表(sysobjects,sysindexes等等),阻塞其他的連接的存取。創(chuàng)建臨時(shí)表時(shí)用顯示申明語(yǔ)句,而不是selectINTO.droptablet_lxhbegintranselect*intot_lxhfromchineseresumewherename='XYZ'--commit在另一個(gè)連接中SELECT*fromsysobjects可以看到SELECTINTO會(huì)鎖住系統(tǒng)表,Createtable也會(huì)鎖系統(tǒng)表(不管是臨時(shí)表還是系統(tǒng)表)。所以千萬(wàn)不要在事物內(nèi)使用它!!!這樣的話如果是經(jīng)常要用的臨時(shí)表請(qǐng)使用實(shí)表,或者臨時(shí)表變量。

37、一般在GROUPBY個(gè)HAVING字句之前就能剔除多余的行,所以盡量不要用它們來(lái)做剔除行的工作。他們的執(zhí)行順序應(yīng)該如下最優(yōu):select的Where字句選擇所有合適的行,GroupBy用來(lái)分組個(gè)統(tǒng)計(jì)行,Having字句用來(lái)剔除多余的分組。這樣GroupBy個(gè)Having的開銷小,查詢快.對(duì)于大的數(shù)據(jù)行進(jìn)行分組和Having十分消耗資源。如果GroupBY的目的不包括計(jì)算,只是分組,那么用Distinct更快

38、一次更新多條記錄比分多次更新每次一條快,就是說(shuō)批處理好

39、少用臨時(shí)表,盡量用結(jié)果集和Table類性的變量來(lái)代替它,Table類型的變量比臨時(shí)表好

40、在SQL2000下,計(jì)算字段是可以索引的,需要滿足的條件如下:

a、計(jì)算字段的表達(dá)是確定的
b、不能用在TEXT,
Ntext,Image數(shù)據(jù)類型
c、必須配制如下選項(xiàng)ANSI_NULLS
=ON,ANSI_PADDINGS=ON,…….


42、不要在一句話里再三的使用相同的函數(shù),浪費(fèi)資源,將結(jié)果放在變量里再調(diào)用更快

43SELECTCOUNT(*)的效率教低,盡量變通他的寫法,而EXISTS快.同時(shí)請(qǐng)注意區(qū)別:selectcount(Fieldofnull)fromTableselectcount(FieldofNOTnull)fromTable的返回值是不同的。


47、分析selectemp_nameformemployeewheresalary>3000在此語(yǔ)句中若salary是Float類型的,則優(yōu)化器對(duì)其進(jìn)行優(yōu)化為Convert(float,3000),因?yàn)?000是個(gè)整數(shù),我們應(yīng)在編程時(shí)使用3000.0而不要等運(yùn)行時(shí)讓DBMS進(jìn)行轉(zhuǎn)化。同樣字符和整型數(shù)據(jù)的轉(zhuǎn)換。


1.應(yīng)盡量避免在where子句中使用!=<>操作符,否則將引擎放棄使用索引而進(jìn)行全表掃描。

2.對(duì)查詢進(jìn)行優(yōu)化,應(yīng)盡量避免全表掃描,首先應(yīng)考慮在whereorderby涉及的列上建立索引。

3.應(yīng)盡量避免在where子句中對(duì)字段進(jìn)行null值判斷,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:
selectidfromtwherenumisnull
可以在num上設(shè)置默認(rèn)值0,確保表中num列沒(méi)有null值,然后這樣查詢:
selectidfromtwherenum=0

4.應(yīng)盡量避免在where子句中使用or來(lái)連接條件,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:
selectidfromtwherenum=10ornum=20
可以這樣查詢:
selectidfromtwherenum=10
unionall
selectidfromtwherenum=20

5.下面的查詢也將導(dǎo)致全表掃描:(不能前置百分號(hào))
selectidfromtwherenamelike%abc%
若要提高效率,可以考慮全文檢索。

6.innotin也要慎用,否則會(huì)導(dǎo)致全表掃描,如:
selectidfromtwherenumin(1,2,3)
對(duì)于連續(xù)的數(shù)值,能用
between就不要用in了:
selectidfromtwherenumbetween1and3

7.如果在where子句中使用參數(shù),也會(huì)導(dǎo)致全表掃描。因?yàn)镾QL只有在運(yùn)行時(shí)才會(huì)解析局部變量,但優(yōu)化程序不能將訪問(wèn)計(jì)劃的選擇推遲到運(yùn)行時(shí);它必須在編譯時(shí)進(jìn)行選擇。然而,如果在編譯時(shí)建立訪問(wèn)計(jì)劃,變量的值還是未知的,因而無(wú)法作為索引選擇的輸入項(xiàng)。如下面語(yǔ)句將進(jìn)行全表掃描:
selectidfromtwherenum=@num
可以改為強(qiáng)制查詢使用索引:
selectidfromtwith(index(索引名))wherenum=@num

8.應(yīng)盡量避免在where子句中對(duì)字段進(jìn)行表達(dá)式操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:
selectidfromtwherenum/2=100
應(yīng)改為:
selectidfromtwherenum=100*2

9.應(yīng)盡量避免在where子句中對(duì)字段進(jìn)行函數(shù)操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:
selectidfromtwheresubstring(name,1,3)=’abc’–name以abc開頭的id
selectidfromtwheredatediff(day,createdate,’2005-11-30′)=0–’2005-11-30′生成的id
應(yīng)改為:
selectidfromtwherenamelike‘a(chǎn)bc%
selectidfromtwherecreatedate>=2005-11-30andcreatedate<2005-12-1

10.不要在where子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運(yùn)算或其他表達(dá)式運(yùn)算,否則系統(tǒng)將可能無(wú)法正確使用索引。

11.在使用索引字段作為條件時(shí),如果該索引是復(fù)合索引,那么必須使用到該索引中的第一個(gè)字段作為條件時(shí)才能保證系統(tǒng)使用該索引,否則該索引將不會(huì)被使用,并且應(yīng)盡可能的讓字段順序與索引順序相一致。

12.不要寫一些沒(méi)有意義的查詢,如需要生成一個(gè)空表結(jié)構(gòu):
selectcol1,col2into#tfromtwhere1=0
這類代碼不會(huì)返回任何結(jié)果集,但是會(huì)消耗系統(tǒng)資源的,應(yīng)改成這樣:
createtable#t(…)

13.很多時(shí)候用exists代替in是一個(gè)好的選擇:
selectnumfromawherenumin(selectnumfromb)
用下面的語(yǔ)句替換:
selectnumfromawhereexists(select1frombwherenum=a.num)

14.并不是所有索引對(duì)查詢都有效,SQL是根據(jù)表中數(shù)據(jù)來(lái)進(jìn)行查詢優(yōu)化的,當(dāng)索引列有大量數(shù)據(jù)重復(fù)時(shí),SQL查詢可能不會(huì)去利用索引,如一表中有字段sex,male、female幾乎各一半,那么即使在sex上建了索引也對(duì)查詢效率起不了作用。

15.索引并不是越多越好,索引固然可以提高相應(yīng)的select的效率,但同時(shí)也降低了insertupdate的效率,因?yàn)?/span>insertupdate時(shí)有可能會(huì)重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個(gè)表的索引數(shù)最好不要超過(guò)6個(gè),若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有必要。

16.應(yīng)盡可能的避免更新clustered索引數(shù)據(jù)列,因?yàn)?/span>clustered索引數(shù)據(jù)列的順序就是表記錄的物理存儲(chǔ)順序,一旦該列值改變將導(dǎo)致整個(gè)表記錄的順序的調(diào)整,會(huì)耗費(fèi)相當(dāng)大的資源。若應(yīng)用系統(tǒng)需要頻繁更新clustered索引數(shù)據(jù)列,那么需要考慮是否應(yīng)將該索引建為clustered索引。

17.盡量使用數(shù)字型字段,若只含數(shù)值信息的字段盡量不要設(shè)計(jì)為字符型,這會(huì)降低查詢和連接的性能,并會(huì)增加存儲(chǔ)開銷。這是因?yàn)橐嬖谔幚聿樵兒瓦B接時(shí)會(huì)逐個(gè)比較字符串中每一個(gè)字符,而對(duì)于數(shù)字型而言只需要比較一次就夠了。

18.盡可能的使用varchar/nvarchar代替char/nchar,因?yàn)槭紫茸冮L(zhǎng)字段存儲(chǔ)空間小,可以節(jié)省存儲(chǔ)空間,其次對(duì)于查詢來(lái)說(shuō),在一個(gè)相對(duì)較小的字段內(nèi)搜索效率顯然要高些。

19.任何地方都不要使用select*fromt,用具體的字段列表代替“*”,不要返回用不到的任何字段。

20.盡量使用表變量來(lái)代替臨時(shí)表。如果表變量包含大量數(shù)據(jù),請(qǐng)注意索引非常有限(只有主鍵索引)。

21.避免頻繁創(chuàng)建和刪除臨時(shí)表,以減少系統(tǒng)表資源的消耗。

22.臨時(shí)表并不是不可使用,適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行?#xff0c;例如,當(dāng)需要重復(fù)引用大型表或常用表中的某個(gè)數(shù)據(jù)集時(shí)。但是,對(duì)于一次性事件,最好使用導(dǎo)出表。

23.在新建臨時(shí)表時(shí),如果一次性插入數(shù)據(jù)量很大,那么可以使用selectinto代替createtable,避免造成大量log,以提高速度;如果數(shù)據(jù)量不大,為了緩和系統(tǒng)表的資源,應(yīng)先createtable,然后insert。

24.如果使用到了臨時(shí)表,在存儲(chǔ)過(guò)程的最后務(wù)必將所有的臨時(shí)表顯式刪除,先truncatetable,然后droptable,這樣可以避免系統(tǒng)表的較長(zhǎng)時(shí)間鎖定。

25.盡量避免使用游標(biāo),因?yàn)橛螛?biāo)的效率較差,如果游標(biāo)操作的數(shù)據(jù)超過(guò)1萬(wàn)行,那么就應(yīng)該考慮改寫。

26.使用基于游標(biāo)的方法或臨時(shí)表方法之前,應(yīng)先尋找基于集的解決方案來(lái)解決問(wèn)題,基于集的方法通常更有效。

27.與臨時(shí)表一樣,游標(biāo)并不是不可使用。對(duì)小型數(shù)據(jù)集使用FAST_FORWARD游標(biāo)通常要優(yōu)于其他逐行處理方法,尤其是在必須引用幾個(gè)表才能獲得所需的數(shù)據(jù)時(shí)。在結(jié)果集中包括“合計(jì)”的例程通常要比使用游標(biāo)執(zhí)行的速度快。如果開發(fā)時(shí)間允許,基于游標(biāo)的方法和基于集的方法都可以嘗試一下,看哪一種方法的效果更好。

28.在所有的存儲(chǔ)過(guò)程和觸發(fā)器的開始處設(shè)置SETNOCOUNTON,在結(jié)束時(shí)設(shè)置SETNOCOUNTOFF。無(wú)需在執(zhí)行存儲(chǔ)過(guò)程和觸發(fā)器的每個(gè)語(yǔ)句后向客戶端發(fā)送DONE_IN_PROC消息。

29.盡量避免向客戶端返回大數(shù)據(jù)量,若數(shù)據(jù)量過(guò)大,應(yīng)該考慮相應(yīng)需求是否合理。

30.盡量避免大事務(wù)操作,提高系統(tǒng)并發(fā)能力。



查詢速度慢的原因:

1、沒(méi)有索引或者沒(méi)有用到索引(這是查詢慢最常見的問(wèn)題,是程序設(shè)計(jì)的缺陷)

2、I/O吞吐量小,形成了瓶頸效應(yīng)。

3、沒(méi)有創(chuàng)建計(jì)算列導(dǎo)致查詢不優(yōu)化。

4、內(nèi)存不足

5、網(wǎng)絡(luò)速度慢

6、查詢出的數(shù)據(jù)量過(guò)大(可以采用多次查詢,其他的方法降低數(shù)據(jù)量)

7、鎖或者死鎖(這也是查詢慢最常見的問(wèn)題,是程序設(shè)計(jì)的缺陷)

8、sp_lock,sp_who,活動(dòng)的用戶查看,原因是讀寫競(jìng)爭(zhēng)資源。

9、返回了不必要的行和列

10、查詢語(yǔ)句不好,沒(méi)有優(yōu)化

可以通過(guò)如下方法來(lái)優(yōu)化查詢

1、把數(shù)據(jù)、日志、索引放到不同的I/O設(shè)備上,增加讀取速度,以前可以將Tempdb應(yīng)放在RAID0上,SQL2000不在支持。數(shù)據(jù)量(尺寸)越大,提高I/O越重要.

2、縱向、橫向分割表,減少表的尺寸(sp_spaceuse)

3、升級(jí)硬件

4、根據(jù)查詢條件,建立索引,優(yōu)化索引、優(yōu)化訪問(wèn)方式,限制結(jié)果集的數(shù)據(jù)量。注意填充因子要適當(dāng)(最好是使用默認(rèn)值0)。索引應(yīng)該盡量小,使用字節(jié)數(shù)小的列建索引好(參照索引的創(chuàng)建),不要對(duì)有限的幾個(gè)值的字段建單一索引如性別字段

5、提高網(wǎng)速;

6、擴(kuò)大服務(wù)器的內(nèi)存,Windows2000和SQLserver2000能支持4-8G的內(nèi)存。配置虛擬內(nèi)存:虛擬內(nèi)存大小應(yīng)基于計(jì)算機(jī)上并發(fā)運(yùn)行的服務(wù)進(jìn)行配置。運(yùn)行MicrosoftSQLServer?2000時(shí),可考慮將虛擬內(nèi)存大小設(shè)置為計(jì)算機(jī)中安裝的物理內(nèi)存的1.5倍。如果另外安裝了全文檢索功能,并打算運(yùn)行Microsoft搜索服務(wù)以便執(zhí)行全文索引和查詢,可考慮:將虛擬內(nèi)存大小配置為至少是計(jì)算機(jī)中安裝的物理內(nèi)存的3倍。將SQLServermaxservermemory服務(wù)器配置選項(xiàng)配置為物理內(nèi)存的1.5倍(虛擬內(nèi)存大小設(shè)置的一半)。



8、如果是使用like進(jìn)行查詢的話,簡(jiǎn)單的使用index是不行的,但是全文索引,耗空間。like'a%'使用索引like'%a'不使用索引用like'%a%'查詢時(shí),查詢耗時(shí)和字段值總長(zhǎng)度成正比,所以不能用CHAR類型,而是VARCHAR。對(duì)于字段的值很長(zhǎng)的建全文索引。

9、DBServer和APPLicationServer分離;OLTP和OLAP分離

11、重建索引DBCCREINDEX,DBCCINDEXDEFRAG,收縮數(shù)據(jù)和日志DBCCSHRINKDB,DBCCSHRINKFILE.設(shè)置自動(dòng)收縮日志.對(duì)于大的數(shù)據(jù)庫(kù)不要設(shè)置數(shù)據(jù)庫(kù)自動(dòng)增長(zhǎng),它會(huì)降低服務(wù)器的性能。在T-sql的寫法上有很大的講究,下面列出常見的要點(diǎn):首先,DBMS處理查詢計(jì)劃的過(guò)程是這樣的:
1、查詢語(yǔ)句的詞法、語(yǔ)法檢查
2、將語(yǔ)句提交給DBMS的查詢優(yōu)化器
3、優(yōu)化器做代數(shù)優(yōu)化和存取路徑的優(yōu)化
4、由預(yù)編譯模塊生成查詢規(guī)劃
5、然后在合適的時(shí)間提交給系統(tǒng)處理執(zhí)行
6、最后將執(zhí)行結(jié)果返回給用戶其次,看一下SQLSERVER的數(shù)據(jù)存放的結(jié)構(gòu):一個(gè)頁(yè)面的大小為8K(8060)字節(jié),8個(gè)頁(yè)面為一個(gè)盤區(qū),按照B樹存放。


13、在查詢Select語(yǔ)句中用Where字句限制返回的行數(shù),避免表掃描,如果返回不必要的數(shù)據(jù),浪費(fèi)了服務(wù)器的I/O資源,加重了網(wǎng)絡(luò)的負(fù)擔(dān)降低性能。如果表很大,在表掃描的期間將表鎖住,禁止其他的聯(lián)接訪問(wèn)表,后果嚴(yán)重。


16、用Profiler來(lái)跟蹤查詢,得到查詢所需的時(shí)間,找出SQL的問(wèn)題所在;用索引優(yōu)化器優(yōu)化索引

17、注意UNion和UNionall的區(qū)別。UNIONall好

18、注意使用DISTINCT,在沒(méi)有必要時(shí)不要用,它同UNION一樣會(huì)使查詢變慢。重復(fù)的記錄在查詢里是沒(méi)有問(wèn)題的

19、查詢時(shí)不要返回不需要的行、列

20、用sp_configure'querygovernorcostlimit'或者SETQUERY_GOVERNOR_COST_LIMIT來(lái)限制查詢消耗的資源。當(dāng)評(píng)估查詢消耗的資源超出限制時(shí),服務(wù)器自動(dòng)取消查詢,在查詢之前就扼殺掉。SETLOCKTIME設(shè)置鎖的時(shí)間

21、用selecttop100/10Percent來(lái)限制用戶返回的行數(shù)或者SETROWCOUNT來(lái)限制操作的行

22、在SQL2000以前,一般不要用如下的字句“ISNULL","<>","!=","!>","!<","NOT","NOTEXISTS","NOTIN","NOTLIKE",and"LIKE'%500'",因?yàn)樗麄儾蛔咚饕潜頀呙琛?br /> 也不要在WHere字句中的列名加函數(shù),如Convert,substring等,如果必須用函數(shù)的時(shí)候,創(chuàng)建計(jì)算列再創(chuàng)建索引來(lái)替代.還可以變通寫法:WHERESUBSTRING(firstname,1,1)='m'改為WHEREfirstnamelike'm%'(索引掃描),一定要將函數(shù)和列名分開。并且索引不能建得太多和太大。
NOTIN會(huì)多次掃描表,使用EXISTS、NOTEXISTSIN,LEFTOUTERJOIN來(lái)替代,特別是左連接,而Exists比IN更快,最慢的是NOT操作.如果列的值含有空,以前它的索引不起作用,現(xiàn)在2000的優(yōu)化器能夠處理了。相同的是ISNULL,“NOT","NOTEXISTS","NOTIN"能優(yōu)化她,而”<>”等還是不能優(yōu)化,用不到索引。


24、如果使用了IN或者OR等時(shí)發(fā)現(xiàn)查詢沒(méi)有走索引,使用顯示申明指定索引:SELECT*FROMPersonMember(INDEX=IX_Title)WHEREprocessidIN(‘男’,‘女’)

25、將需要查詢的結(jié)果預(yù)先計(jì)算好放在表中,查詢的時(shí)候再SELECT。這在SQL7.0以前是最重要的手段。例如醫(yī)院的住院費(fèi)計(jì)算。

26、MIN()和MAX()能使用到合適的索引


28、如果要插入大的二進(jìn)制值到Image列,使用存儲(chǔ)過(guò)程,千萬(wàn)不要用內(nèi)嵌INsert來(lái)插入(不知JAVA是否)。因?yàn)檫@樣應(yīng)用程序首先將二進(jìn)制值轉(zhuǎn)換成字符串(尺寸是它的兩倍),服務(wù)器受到字符后又將他轉(zhuǎn)換成二進(jìn)制值.存儲(chǔ)過(guò)程就沒(méi)有這些動(dòng)作:方法:Createprocedurep_insertasinsertintotable(Fimage)values(@image),在前臺(tái)調(diào)用這個(gè)存儲(chǔ)過(guò)程傳入二進(jìn)制參數(shù),這樣處理速度明顯改善。

29、Between在某些時(shí)候比IN速度更快,Between能夠更快地根據(jù)索引找到范圍。用查詢優(yōu)化器可見到差別。select*fromchineseresumewheretitlein('','')Select*fromchineseresumewherebetween''and''是一樣的。由于in會(huì)在比較多次,所以有時(shí)會(huì)慢些。


32、用OR的字句可以分解成多個(gè)查詢,并且通過(guò)UNION連接多個(gè)查詢。他們的速度只同是否使用索引有關(guān),如果查詢需要用到聯(lián)合索引,用UNIONall執(zhí)行的效率更高.多個(gè)OR的字句沒(méi)有用到索引,改寫成UNION的形式再試圖與索引匹配。一個(gè)關(guān)鍵的問(wèn)題是否用到索引。

34、沒(méi)有必要時(shí)不要用DISTINCT和ORDERBY,這些動(dòng)作可以改在客戶端執(zhí)行。它們?cè)黾恿祟~外的開銷。這同UNION和UNIONALL一樣的道理。SELECTtop20ad.companyname,comid,position,ad.referenceid,worklocation,convert(varchar(10),ad.postDate,120)aspostDate1,workyear,degreedescriptionFROMjobcn_query.dbo.COMPANYAD_queryadwherereferenceIDin('JCNAD00329667','JCNAD132168','JCNAD00337748','JCNAD00338345','JCNAD00333138','JCNAD00303570','JCNAD00303569','JCNAD00303568','JCNAD00306698','JCNAD00231935','JCNAD00231933','JCNAD00254567','JCNAD00254585','JCNAD00254608','JCNAD00254607','JCNAD00258524','JCNAD00332133','JCNAD00268618','JCNAD00279196','JCNAD00268613')orderbypostdatedesc

35、在IN后面值的列表中,將出現(xiàn)最頻繁的值放在最前面,出現(xiàn)得最少的放在最后面,減少判斷的次數(shù)

36、當(dāng)用SELECTINTO時(shí),它會(huì)鎖住系統(tǒng)表(sysobjects,sysindexes等等),阻塞其他的連接的存取。創(chuàng)建臨時(shí)表時(shí)用顯示申明語(yǔ)句,而不是selectINTO.droptablet_lxhbegintranselect*intot_lxhfromchineseresumewherename='XYZ'--commit在另一個(gè)連接中SELECT*fromsysobjects可以看到SELECTINTO會(huì)鎖住系統(tǒng)表,Createtable也會(huì)鎖系統(tǒng)表(不管是臨時(shí)表還是系統(tǒng)表)。所以千萬(wàn)不要在事物內(nèi)使用它!!!這樣的話如果是經(jīng)常要用的臨時(shí)表請(qǐng)使用實(shí)表,或者臨時(shí)表變量。

37、一般在GROUPBY個(gè)HAVING字句之前就能剔除多余的行,所以盡量不要用它們來(lái)做剔除行的工作。他們的執(zhí)行順序應(yīng)該如下最優(yōu):select的Where字句選擇所有合適的行,GroupBy用來(lái)分組個(gè)統(tǒng)計(jì)行,Having字句用來(lái)剔除多余的分組。這樣GroupBy個(gè)Having的開銷小,查詢快.對(duì)于大的數(shù)據(jù)行進(jìn)行分組和Having十分消耗資源。如果GroupBY的目的不包括計(jì)算,只是分組,那么用Distinct更快

38、一次更新多條記錄比分多次更新每次一條快,就是說(shuō)批處理好

39、少用臨時(shí)表,盡量用結(jié)果集和Table類性的變量來(lái)代替它,Table類型的變量比臨時(shí)表好

40、在SQL2000下,計(jì)算字段是可以索引的,需要滿足的條件如下:

a、計(jì)算字段的表達(dá)是確定的
b、不能用在TEXT,
Ntext,Image數(shù)據(jù)類型
c、必須配制如下選項(xiàng)ANSI_NULLS
=ON,ANSI_PADDINGS=ON,…….


42、不要在一句話里再三的使用相同的函數(shù),浪費(fèi)資源,將結(jié)果放在變量里再調(diào)用更快

43SELECTCOUNT(*)的效率教低,盡量變通他的寫法,而EXISTS快.同時(shí)請(qǐng)注意區(qū)別:selectcount(Fieldofnull)fromTableselectcount(FieldofNOTnull)fromTable的返回值是不同的。


47、分析selectemp_nameformemployeewheresalary>3000在此語(yǔ)句中若salary是Float類型的,則優(yōu)化器對(duì)其進(jìn)行優(yōu)化為Convert(float,3000),因?yàn)?000是個(gè)整數(shù),我們應(yīng)在編程時(shí)使用3000.0而不要等運(yùn)行時(shí)讓DBMS進(jìn)行轉(zhuǎn)化。同樣字符和整型數(shù)據(jù)的轉(zhuǎn)換。

總結(jié)

以上是生活随笔為你收集整理的处理百万级以上的数据提高查询速度的方法的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。