Oracle數(shù)據(jù)庫(kù)SQL語(yǔ)句性能調(diào)整的基本原則
一、問(wèn)題的提出
在應(yīng)用系統(tǒng)開(kāi)發(fā)初期,由于開(kāi)發(fā)數(shù)據(jù)庫(kù)數(shù)據(jù)比較少,對(duì)于查詢SQL語(yǔ)句,復(fù)雜視圖的的編寫等體會(huì)不出SQL語(yǔ)句各種寫法的性能優(yōu)劣,但是如果將應(yīng)用系統(tǒng)提交實(shí)際應(yīng)用后,隨著數(shù)據(jù)庫(kù)中數(shù)據(jù)的增加,系統(tǒng)的響應(yīng)速度就成為目前系統(tǒng)需要解決的最主要的問(wèn)題之一。系統(tǒng)優(yōu)化中一個(gè)很重要的方面就是SQL語(yǔ)句的優(yōu)化。對(duì)于海量數(shù)據(jù),劣質(zhì)SQL語(yǔ)句和優(yōu)質(zhì)SQL語(yǔ)句之間的速度差別可以達(dá)到上百倍,可見(jiàn)對(duì)于一個(gè)系統(tǒng)不是簡(jiǎn)單地能實(shí)現(xiàn)其功能就可,而是要寫出高質(zhì)量的SQL語(yǔ)句,提高系統(tǒng)的可用性。
在多數(shù)情況下,Oracle使用索引來(lái)更快地遍歷表,優(yōu)化器主要根據(jù)定義的索引來(lái)提高性能。但是,如果在SQL語(yǔ)句的where子句中寫的SQL代碼不合理,就會(huì)造成優(yōu)化器刪去索引而使用全表掃描,一般就這種SQL語(yǔ)句就是所謂的劣質(zhì)SQL語(yǔ)句。在編寫SQL語(yǔ)句時(shí)我們應(yīng)清楚優(yōu)化器根據(jù)何種原則來(lái)刪除索引,這有助于寫出高性能的SQL語(yǔ)句。
二、SQL語(yǔ)句編寫注意問(wèn)題
下面就某些SQL語(yǔ)句的where子句編寫中需要注意的問(wèn)題作詳細(xì)介紹。在這些where子句中,即使某些列存在索引,但是由于編寫了劣質(zhì)的SQL,系統(tǒng)在運(yùn)行該SQL語(yǔ)句時(shí)也不能使用該索引,而同樣使用全表掃描,這就造成了響應(yīng)速度的極大降低。
1. IS NULL 與 IS NOT NULL
不能用null作索引,任何包含null值的列都將不會(huì)被包含在索引中。即使索引有多列這樣的情況下,只要這些列中有一列含有null,該列就會(huì)從索引中排除。也就是說(shuō)如果某列存在空值,即使對(duì)該列建索引也不會(huì)提高性能。任何在where子句中使用is null或is not null的語(yǔ)句優(yōu)化器是不允許使用索引的。
2. 聯(lián)接列
對(duì)于有聯(lián)接的列,即使最后的聯(lián)接值為一個(gè)靜態(tài)值,優(yōu)化器是不會(huì)使用索引的。我們一起來(lái)看一個(gè)例子,假定有一個(gè)職工表(employee),對(duì)于一個(gè)職工的姓和名分成兩列存放(FIRST_NAME和LAST_NAME),現(xiàn)在要查詢一個(gè)叫比爾.克林頓(Bill Cliton)的職工。
下面是一個(gè)采用聯(lián)接查詢的SQL語(yǔ)句:
select * from employss
where
first_name||''||last_name ='Beill Cliton';
上面這條語(yǔ)句完全可以查詢出是否有Bill Cliton這個(gè)員工,但是這里需要注意,系統(tǒng)優(yōu)化器對(duì)基于last_name創(chuàng)建的索引沒(méi)有使用。
當(dāng)采用下面這種SQL語(yǔ)句的編寫,Oracle系統(tǒng)就可以采用基于last_name創(chuàng)建的索引。
Select * from employee
where
first_name ='Beill' and last_name ='Cliton';
遇到下面這種情況又如何處理呢?如果一個(gè)變量(name)中存放著Bill Cliton這個(gè)員工的姓名,對(duì)于這種情況我們又如何避免全程遍歷,使用索引呢?可以使用一個(gè)函數(shù),將變量name中的姓和名分開(kāi)就可以了,但是有一點(diǎn)需要注意,這個(gè)函數(shù)是不能作用在索引列上。下面是SQL查詢腳本:
select * from employee
where
first_name = SUBSTR('&&name',1,INSTR('&&name',' ')-1)
and
last_name = SUBSTR('&&name',INSTR('&&name’,' ')+1)
3. 帶通配符(%)的like語(yǔ)句
同樣以上面的例子來(lái)看這種情況。目前的需求是這樣的,要求在職工表中查詢名字中包含cliton的人??梢圆捎萌缦碌牟樵僑QL語(yǔ)句:
select * from employee where last_name like '%cliton%';
這里由于通配符(%)在搜尋詞首出現(xiàn),所以O(shè)racle系統(tǒng)不使用last_name的索引。在很多情況下可能無(wú)法避免這種情況,但是一定要心中有底,通配符如此使用會(huì)降低查詢速度。然而當(dāng)通配符出現(xiàn)在字符串其他位置時(shí),優(yōu)化器就能利用索引。在下面的查詢中索引得到了使用:
select * from employee where last_name like 'c%';
4. Order by語(yǔ)句
ORDER BY語(yǔ)句決定了Oracle如何將返回的查詢結(jié)果排序。Order by語(yǔ)句對(duì)要排序的列沒(méi)有什么特別的限制,也可以將函數(shù)加入列中(象聯(lián)接或者附加等)。任何在Order by語(yǔ)句的非索引項(xiàng)或者有計(jì)算表達(dá)式都將降低查詢速度。
仔細(xì)檢查order by語(yǔ)句以找出非索引項(xiàng)或者表達(dá)式,它們會(huì)降低性能。解決這個(gè)問(wèn)題的辦法就是重寫order by語(yǔ)句以使用索引,也可以為所使用的列建立另外一個(gè)索引,同時(shí)應(yīng)絕對(duì)避免在order by子句中使用表達(dá)式。
5. NOT
我們?cè)诓樵儠r(shí)經(jīng)常在where子句使用一些邏輯表達(dá)式,如大于、小于、等于以及不等于等等,也可以使用and(與)、or(或)以及not(非)。NOT可用來(lái)對(duì)任何邏輯運(yùn)算符號(hào)取反。下面是一個(gè)NOT子句的例子:
... where not (status ='VALID')
如果要使用NOT,則應(yīng)在取反的短語(yǔ)前面加上括號(hào),并在短語(yǔ)前面加上NOT運(yùn)算符。NOT運(yùn)算符包含在另外一個(gè)邏輯運(yùn)算符中,這就是不等于(<>)運(yùn)算符。換句話說(shuō),即使不在查詢where子句中顯式地加入NOT詞,NOT仍在運(yùn)算符中,見(jiàn)下例:
... where status <>'INVALID';
再看下面這個(gè)例子:
select * from employee where salary<>3000;
對(duì)這個(gè)查詢,可以改寫為不使用NOT:
select * from employee where salary<3000 or salary>3000;
雖然這兩種查詢的結(jié)果一樣,但是第二種查詢方案會(huì)比第一種查詢方案更快些。第二種查詢?cè)试SOracle對(duì)salary列使用索引,而第一種查詢則不能使用索引。
6. IN和EXISTS
有時(shí)候會(huì)將一列和一系列值相比較。最簡(jiǎn)單的辦法就是在where子句中使用子查詢。在where子句中可以使用兩種格式的子查詢。
第一種格式是使用IN操作符:
... where column in(select * from ... where ...);
第二種格式是使用EXIST操作符:
... where exists (select 'X' from ...where ...);
我相信絕大多數(shù)人會(huì)使用第一種格式,因?yàn)樗容^容易編寫,而實(shí)際上第二種格式要遠(yuǎn)比第一種格式的效率高。在Oracle中可以幾乎將所有的IN操作符子查詢改寫為使用EXISTS的子查詢。
第二種格式中,子查詢以‘select 'X'開(kāi)始。運(yùn)用EXISTS子句不管子查詢從表中抽取什么數(shù)據(jù)它只查看where子句。這樣優(yōu)化器就不必遍歷整個(gè)表而僅根據(jù)索引就可完成工作(這里假定在where語(yǔ)句中使用的列存在索引)。相對(duì)于IN子句來(lái)說(shuō),EXISTS使用相連子查詢,構(gòu)造起來(lái)要比IN子查詢困難一些。
通過(guò)使用EXIST,Oracle系統(tǒng)會(huì)首先檢查主查詢,然后運(yùn)行子查詢直到它找到第一個(gè)匹配項(xiàng),這就節(jié)省了時(shí)間。Oracle系統(tǒng)在執(zhí)行IN子查詢時(shí),首先執(zhí)行子查詢,并將獲得的結(jié)果列表存放在在一個(gè)加了索引的臨時(shí)表中。在執(zhí)行子查詢之前,系統(tǒng)先將主查詢掛起,待子查詢執(zhí)行完畢,存放在臨時(shí)表中以后再執(zhí)行主查詢。這也就是使用EXISTS比使用IN通常查詢速度快的原因。
同時(shí)應(yīng)盡可能使用NOT EXISTS來(lái)代替NOT IN,盡管二者都使用了NOT(不能使用索引而降低速度),NOT EXISTS要比NOT IN查詢效率更高。
=====================================================
Oracle的SQL調(diào)優(yōu)是一個(gè)復(fù)雜的主題,甚至是需要整本書來(lái)介紹OracleSQL調(diào)優(yōu)的細(xì)微差別。不過(guò)有一些基本的規(guī)則是每個(gè)OracleDBA都需要跟從的,這些規(guī)則可以改善他們系統(tǒng)的性能。SQL調(diào)優(yōu)的目標(biāo)是簡(jiǎn)單的:
消除不必要的大表全表搜索:不必要的全表搜索導(dǎo)致大量不必要的I/O,從而拖慢整個(gè)數(shù)據(jù)庫(kù)的性能。調(diào)優(yōu)專家首先會(huì)根據(jù)查詢返回的行數(shù)目來(lái)評(píng)價(jià)SQL。在一個(gè)有序的表中,如果查詢返回少于40%的行,或者在一個(gè)無(wú)序的表中,返回少于7%的行,那么這個(gè)查詢都可以調(diào)整為使用一個(gè)索引來(lái)代替全表搜索。對(duì)于不必要的全表搜索來(lái)說(shuō),最常見(jiàn)的調(diào)優(yōu)方法是增加索引。可以在表中加入標(biāo)準(zhǔn)的B樹索引,也可以加入bitmap和基于函數(shù)的索引。要決定是否消除一個(gè)全表搜索,你可以仔細(xì)檢查索引搜索的I/O開(kāi)銷和全表搜索的開(kāi)銷,它們的開(kāi)銷和數(shù)據(jù)塊的讀取和可能的并行執(zhí)行有關(guān),并將兩者作對(duì)比。在一些情況下,一些不必要的全表搜索的消除可以通過(guò)強(qiáng)制使用一個(gè)index來(lái)達(dá)到,只需要在SQL語(yǔ)句中加入一個(gè)索引的提示就可以了。
在全表搜索是一個(gè)最快的訪問(wèn)方法時(shí),將小表的全表搜索放到緩存中,調(diào)優(yōu)專家應(yīng)該確保有一個(gè)專門的數(shù)據(jù)緩沖用作行緩沖。在Oracle7中,你可以使用altertablexxxcache語(yǔ)句,在Oracle8或以上,小表可以被強(qiáng)制為放到KEEP池中緩沖。
確保最優(yōu)的索引使用:對(duì)于改善查詢的速度,這是特別重要的。有時(shí)Oracle可以選擇多個(gè)索引來(lái)進(jìn)行查詢,調(diào)優(yōu)專家必須檢查每個(gè)索引并且確保Oracle使用正確的索引。它還包括bitmap和基于函數(shù)的索引的使用。
確保最優(yōu)的JOIN操作:有些查詢使用NESTEDLOOPjoin快一些,有些則是HASHjoin快一些,另外一些則是sort-mergejoin更快。
這些規(guī)則看來(lái)簡(jiǎn)單,不過(guò)它們占SQL調(diào)優(yōu)任務(wù)的100%,并且它們也無(wú)需完全懂得OracleSQL的內(nèi)部運(yùn)作。以下我們來(lái)簡(jiǎn)單概覽以下OracleSQL的優(yōu)化。
我們首先簡(jiǎn)要查看Oracle的排序,并且看一看排序操作是如何影響性能的。
調(diào)整Oracle的排序操作
排序是SQL語(yǔ)法中一個(gè)小的方面,但很重要,在Oracle的調(diào)整中,它常常被忽略。當(dāng)使用createindex、ORDERBY或者GROUPBY的語(yǔ)句時(shí),Oracle數(shù)據(jù)庫(kù)將會(huì)自動(dòng)執(zhí)行排序的操作。通常,在以下的情況下Oracle會(huì)進(jìn)行排序的操作:
使用Orderby的SQL語(yǔ)句
使用Groupby的SQL語(yǔ)句
在創(chuàng)建索引的時(shí)候
進(jìn)行tablejoin時(shí),由于現(xiàn)有索引的不足而導(dǎo)致SQL優(yōu)化器調(diào)用MERGESORT
當(dāng)與Oracle建立起一個(gè)session時(shí),在內(nèi)存中就會(huì)為該session分配一個(gè)私有的排序區(qū)域。如果該連接是一個(gè)專用的連接(dedicatedconnection),那么就會(huì)根據(jù)init.ora中sort_area_size參數(shù)的大小在內(nèi)存中分配一個(gè)ProgramGlobalArea(PGA)。如果連接是通過(guò)多線程服務(wù)器建立的,那么排序的空間就在large_pool中分配。不幸的是,對(duì)于所有的session,用做排序的內(nèi)存量都必須是一樣的,我們不能為需要更大排序的操作分配額外的排序區(qū)域。因此,設(shè)計(jì)者必須作出一個(gè)平衡,在分配足夠的排序區(qū)域以避免發(fā)生大的排序任務(wù)時(shí)出現(xiàn)磁盤排序(disksorts)的同時(shí),對(duì)于那些并不需要進(jìn)行很大排序的任務(wù),就會(huì)出現(xiàn)一些浪費(fèi)。當(dāng)然,當(dāng)排序的空間需求超出了sort_area_size的大小時(shí),這時(shí)將會(huì)在TEMP表空間中分頁(yè)進(jìn)行磁盤排序。磁盤排序要比內(nèi)存排序大概慢14,000倍。
上面我們已經(jīng)提到,私有排序區(qū)域的大小是有init.ora中的sort_area_size參數(shù)決定的。每個(gè)排序所占用的大小由init.ora中的sort_area_retained_size參數(shù)決定。當(dāng)排序不能在分配的空間中完成時(shí),就會(huì)使用磁盤排序的方式,即在Oracle實(shí)例中的臨時(shí)表空間中進(jìn)行。
磁盤排序的開(kāi)銷是很大的,有幾個(gè)方面的原因。首先,和內(nèi)存排序相比較,它們特別慢;而且磁盤排序會(huì)消耗臨時(shí)表空間中的資源。Oracle還必須分配緩沖池塊來(lái)保持臨時(shí)表空間中的塊。無(wú)論什么時(shí)候,內(nèi)存排序都比磁盤排序好,磁盤排序?qū)?huì)令任務(wù)變慢,并且會(huì)影響Oracle實(shí)例的當(dāng)前任務(wù)的執(zhí)行。還有,過(guò)多的磁盤排序?qū)?huì)令freebufferwaits的值變高,從而令其它任務(wù)的數(shù)據(jù)塊由緩沖中移走。
