❶ 如何利用索引提高sqlServer數據處理的效率
在良好的資料庫設計基礎上,能有效地使用索引是SQL Server取得高性能的基礎,SQL Server採用基於代價的優化模型,它對每一個提交的有關表的查詢,決定是否使用索引或用哪一個索引。因為查詢執行的大部分開銷是磁碟I/O,使用索引提高性能的一個主要目標是避免全表掃描,因為全表掃描需要從磁碟上讀表的每一個數據頁,如果有索引指向數據值,則查詢只需讀幾次磁碟就可以了。
所以如果建立了合理的索引,優化器就能利用索引加速數據的查詢過程。但是,索引並不總是提高系統的性能,在增、刪、改操作中索引的存在會增加一定的工作量,因此,在適當的地方增加適當的索引並從不合理的地方刪除次優的索引,將有助於優化那些性能較差的SQL Server應用。實踐表明,合理的索引設計是建立在對各種查詢的分析和預測上的,只有正確地使索引與程序結合起來,才能產生最佳的優化方案。本文就SQL Server索引的性能問題進行了一些分析和實踐。
一、聚簇索引(clustered indexes)的使用
聚簇索引是一種對磁碟上實際數據重新組織以按指定的一個或多個列的值排序。由於聚簇索引的索引頁面指針指向數據頁面,所以使用聚簇索引查找數據幾乎總是比使用非聚簇索引快。每張表只能建一個聚簇索引,並且建聚簇索引需要至少相當該表120%的附加空間,以存放該表的副本和索引中間頁。建立聚簇索引的思想是:
1、大多數表都應該有聚簇索引或使用分區來降低對表尾頁的競爭,在一個高事務的環境中,對最後一頁的封鎖嚴重影響系統的吞吐量。
2、在聚簇索引下,數據在物理上按順序排在數據頁上,重復值也排在一起,因而在那些包含范圍檢查(between、<、<=、>、>=)或使用group by或order by的查詢時,一旦找到具有范圍中第一個鍵值的行,具有後續索引值的行保證物理上毗連在一起而不必進一步搜索,避免了大范圍掃描,可以大大提高查詢速度。
3、在一個頻繁發生插入操作的表上建立聚簇索引時,不要建在具有單調上升值的列(如IDENTITY)上,否則會經常引起封鎖沖突。
4、在聚簇索引中不要包含經常修改的列,因為碼值修改後,數據行必須移動到新的位置。
5、選擇聚簇索引應基於where子句和連接操作的類型。
聚簇索引的侯選列是:
1、主鍵列,該列在where子句中使用並且插入是隨機的。
2、按范圍存取的列,如pri_order > 100 and pri_order < 200。
3、在group by或order by中使用的列。
4、不經常修改的列。
5、在連接操作中使用的列。
二、非聚簇索引(nonclustered indexes)的使用
SQL Server預設情況下建立的索引是非聚簇索引,由於非聚簇索引不重新組織表中的數據,而是對每一行存儲索引列值並用一個指針指向數據所在的頁面。換句話說非聚簇索引具有在索引結構和數據本身之間的一個額外級。一個表如果沒有聚簇索引時,可有250個非聚簇索引。每個非聚簇索引提供訪問數據的不同排序順序。在建立非聚簇索引時,要權衡索引對查詢速度的加快與降低修改速度之間的利弊。另外,還要考慮這些問題:
1、索引需要使用多少空間。
2、合適的列是否穩定。
3、索引鍵是如何選擇的,掃描效果是否更佳。
4、是否有許多重復值。
對更新頻繁的表來說,表上的非聚簇索引比聚簇索引和根本沒有索引需要更多的額外開銷。對移到新頁的每一行而言,指向該數據的每個非聚簇索引的頁級行也必須更新,有時可能還需要索引頁的分理。從一個頁面刪除數據的進程也會有類似的開銷,另外,刪除進程還必須把數據移到頁面上部,以保證數據的連續性。所以,建立非聚簇索引要非常慎重。非聚簇索引常被用在以下情況:
1、某列常用於集合函數(如Sum,....)。
2、某列常用於join,order by,group by。
3、查尋出的數據不超過表中數據量的20%。
三、覆蓋索引(covering indexes)的使用
覆蓋索引是指那些索引項中包含查尋所需要的全部信息的非聚簇索引,這種索引之所以比較快也正是因為索引頁中包含了查尋所必須的數據,不需去訪問數據頁。如果非聚簇索引中包含結果數據,那麼它的查詢速度將快於聚簇索引。
但是由於覆蓋索引的索引項比較多,要佔用比較大的空間。而且update操作會引起索引值改變。所以如果潛在的覆蓋查詢並不常用或不太關鍵,則覆蓋索引的增加反而會降低性能。
四、索引的選擇技術
p_detail是住房公積金管理系統中記錄個人明細的表,有890000行,觀察在不同索引下的查詢運行效果,測試在C/S環境下進行,客戶機是IBM PII350(內存64M),伺服器是DEC Alpha1000A(內存128M),資料庫為SYBASE11.0.3。
1、 select count(*) from p_detail where
op_date>』19990101』 and op_date<』
19991231』 and pri_surplus1>300
2、 select count(*),sum(pri_surplus1) from p_detail
where op_date>』19990101』 and
pay_month between『199908』 and』199912』
不建任何索引查詢1 1分15秒
查詢2 1分7秒
在op_date上建非聚簇索引查詢1 57秒
查詢2 57秒
在op_date上建聚簇索引查詢1 <1秒
查詢2 52秒
在pay_month、op_date、pri_surplus1上建索引查詢1 34秒
查詢2 <1秒
在op_date、pay_month、pri_surplus1上建索引查詢1 <1秒
查詢2 <1秒
從以上查詢效果分析,索引的有無,建立方式的不同將會導致不同的查詢效果,選擇什麼樣的索引基於用戶對數據的查詢條件,這些條件體現於where從句和join表達式中。一般來說建立索引的思路是:
(1)主鍵時常作為where子句的條件,應在表的主鍵列上建立聚簇索引,尤其當經常用它作為連接的時候。
(2)有大量重復值且經常有范圍查詢和排序、分組發生的列,或者非常頻繁地被訪問的列,可考慮建立聚簇索引。
(3)經常同時存取多列,且每列都含有重復值可考慮建立復合索引來覆蓋一個或一組查詢,並把查詢引用最頻繁的列作為前導列,如果可能盡量使關鍵查詢形成覆蓋查詢。
(4)如果知道索引鍵的所有值都是唯一的,那麼確保把索引定義成唯一索引。
(5)在一個經常做插入操作的表上建索引時,使用fillfactor(填充因子)來減少頁分裂,同時提高並發度降低死鎖的發生。如果在只讀表上建索引,則可以把fillfactor置為100。
(6)在選擇索引鍵時,設法選擇那些採用小數據類型的列作為鍵以使每個索引頁能夠容納盡可能多的索引鍵和指針,通過這種方式,可使一個查詢必須遍歷的索引頁面降到最小。此外,盡可能地使用整數為鍵值,因為它能夠提供比任何數據類型都快的訪問速度。
五、索引的維護
上面講到,某些不合適的索引影響到SQL Server的性能,隨著應用系統的運行,數據不斷地發生變化,當數據變化達到某一個程度時將會影響到索引的使用。這時需要用戶自己來維護索引。索引的維護包括:
1、重建索引
隨著數據行的插入、刪除和數據頁的分裂,有些索引頁可能只包含幾頁數據,另外應用在執行大塊I/O的時候,重建非聚簇索引可以降低分片,維護大塊I/O的效率。重建索引實際上是重新組織B-樹空間。在下面情況下需要重建索引:
(1)數據和使用模式大幅度變化。
(2)排序的順序發生改變。
(3)要進行大量插入操作或已經完成。
(4)使用大塊I/O的查詢的磁碟讀次數比預料的要多。
(5)由於大量數據修改,使得數據頁和索引頁沒有充分使用而導致空間的使用超出估算。
(6)dbcc檢查出索引有問題。
當重建聚簇索引時,這張表的所有非聚簇索引將被重建。
2、索引統計信息的更新
當在一個包含數據的表上創建索引的時候,SQL Server會創建分布數據頁來存放有關索引的兩種統計信息:分布表和密度表。優化器利用這個頁來判斷該索引對某個特定查詢是否有用。但這個統計信息並不動態地重新計算。這意味著,當表的數據改變之後,統計信息有可能是過時的,從而影響優化器追求最有工作的目標。因此,在下面情況下應該運行update statistics命令:
(1)數據行的插入和刪除修改了數據的分布。
(2)對用truncate table刪除數據的表上增加數據行。
(3)修改索引列的值。
六、結束語
實踐表明,不恰當的索引不但於事無補,反而會降低系統的執行性能。因為大量的索引在插入、修改和刪除操作時比沒有索引花費更多的系統時間。例如下面情況下建立的索引是不恰當的:
1、在查詢中很少或從不引用的列不會受益於索引,因為索引很少或從來不必搜索基於這些列的行。
2、只有兩個或三個值的列,如男性和女性(是或否),從不會從索引中得到好處。
另外,鑒於索引加快了查詢速度,但減慢了數據更新速度的特點。可通過在一個段上建表,而在另一個段上建其非聚簇索引,而這兩段分別在單獨的物理設備上來改善操作性能。
❷ SqlServer百萬記錄查詢優化
有where條件嗎, 是不是返回數據太多?
另外,A表只有18條記錄,代表B表中的parymentId外鍵索引重復率很高,沒啥效率。
❸ 如何做SqlServer 數據查詢優化!
一、建立索引
二、建立存儲過程
三、只查詢您所需要的數據,不要把所有數據都查詢出來,防止數據冗餘。
四、對於大量及海量數據一般還要建立分區
❹ sql server資料庫查詢慢怎麼優化
在安裝有SQLServer資料庫的計算機上,我們在使用資料庫的過程中,有時候會在任務管理器里發現sqlservr.exe這個進程的內存和CPU佔用率較高。
接下來我們來看一下,如何解決上面這個問題,需要設置SQLServer資料庫的內存配置。登錄資料庫,這里使用的是SQLServer2008,右鍵點擊最上方的伺服器名,在彈出的菜單中,點擊【屬性】
打開伺服器屬性窗口。默認顯示的是第一項【常規】內容,點擊第二項【內存】進行內存配置。
點擊【內存】後,打開伺服器內存選項配置界面。這里的【使用AWE分配內存】可以對內存進行擴展支持,我們要做的是更改下方的最大伺服器內存。這個數值根據自己伺服器內存大小來做適當設置。
5
個人建議設置本機內存的一半或稍微高一點,如機器內存為2G,那麼我們這里填寫1000。需要注意的是內存設置調小以後,在資料庫執行較復雜SQL語句的時候,可能會比較慢,出現這種情況,我們再適當上調最大內存配置大小。
❺ sql解析就是sel優化么
很多人不知道SQL語句在SQLSERVER中是如何執行的,他們擔心自己所寫的SQL語句會被SQLSERVER誤解。比如:select*fromtable1wherename='zhangsan'andtID>10000和執行:select*fromtable1wheretID>10000andname='zhangsan'一些人不知道以上兩條語句的執行效率是否一樣,因為如果簡單的從語句先後上看,這兩個語句的確是不一樣,如果tID是一個聚合索引,那麼後一句僅僅從表的10000條以後的記錄中查找就行了;而前一句則要先從全表中查找看有幾個name='zhangsan'的,而後再根據限制條件條件tID>10000來提出查詢結果。事實上,這樣的擔心是不必要的。SQLSERVER中有一個「查詢分析優化器」,它可以計算出where子句中的搜索條件並確定哪個索引能縮小表掃描的搜索空間,也就是說,它能實現自動優化。雖然查詢優化器可以根據where子句自動的進行查詢優化,但大家仍然有必要了解一下「查詢優化器」的工作原理,如非這樣,有時查詢優化器就會不按照您的本意進行快速查詢。在查詢分析階段,查詢優化器查看查詢的每個階段並決定限制需要掃描的數據量是否有用。如果一個階段可以被用作一個掃描參數(SARG),那麼就稱之為可優化的,並且可以利用索引快速獲得所需數據。SARG的定義:用於限制搜索的一個操作,因為它通常是指一個特定的匹配,一個值得范圍內的匹配或者兩個以上條件的AND連接。形式如下:列名操作符或操作符列名列名可以出現在操作符的一邊,而常數或變數出現在操作符的另一邊。如:Name='張三'價格>500050005000如果一個表達式不能滿足SARG的形式,那它就無法限制搜索的范圍了,也就是SQLSERVER必須對每一行都判斷它是否滿足WHERE子句中的所有條件。所以一個索引對於不滿足SARG形式的表達式來說是無用的。介紹完SARG後,我們來總結一下使用SARG以及在實踐中遇到的和某些資料上結論不同的經驗:1、Like語句是否屬於SARG取決於所使用的通配符的類型--如:namelike'張%'--,這就屬於SARG--而:namelike'%張'--,就不屬於SARG。原因是通配符%在字元串的開通使得索引無法使用。2、or會引起全表掃描Name='張三'and價格>5000符號SARG,而:Name='張三'or價格>5000則不符合SARG。使用or會引起全表掃描。3、非操作符、函數引起的不滿足SARG形式的語句不滿足SARG形式的語句最典型的情況就是包括非操作符的語句,如:NOT、!=、、!、NOTEXISTS、NOTIN、NOTLIKE等,另外還有函數。下面就是幾個不滿足SARG形式的例子:ABS(價格)5000--SQLSERVER也會認為是SARG,SQLSERVER會將此式轉化為:WHERE價格>2500/2但我們不推薦這樣使用,因為有時SQLSERVER不能保證這種轉化與原始表達式是完全等價的。4、IN的作用相當與OR語句:Select*fromtable1wheretidin(2,3)--和Select*fromtable1wheretid=2ortid=3是一樣的,都會引起全表掃描,如果tid上有索引,其索引也會失效。5、盡量少用NOT6、exists和in的執行效率是一樣的很多資料上都顯示說,exists要比in的執行效率要高,同時應盡可能的用notexists來代替notin。但事實上,我試驗了一下,發現二者無論是前面帶不帶not,二者之間的執行效率都是一樣的。因為涉及子查詢,我們試驗這次用SQLSERVER自帶的pubs資料庫。運行前我們可以把SQLSERVER的statisticsI/O狀態打開:(1)selecttitle,pricefromtitleswheretitle_idin(selecttitle_idfromsaleswhereqty>30)該句的執行結果為:表'sales'。掃描計數18,邏輯讀56次,物理讀0次,預讀0次。表'titles'。掃描計數1,邏輯讀2次,物理讀0次,預讀0次。(2)selecttitle,pricefromtitleswhereexists(select*fromsaleswheresales.title_id=titles.title_idandqty>30)第二句的執行結果為:表'sales'。掃描計數18,邏輯讀56次,物理讀0次,預讀0次。表'titles'。掃描計數1,邏輯讀2次,物理讀0次,預讀0次。我們從此可以看到用exists和用in的執行效率是一樣的。7、用函數charindex()和前面加通配符%的LIKE執行效率一樣前面,我們談到,如果在LIKE前面加上通配符%,那麼將會引起全表掃描,所以其執行效率是低下的。但有的資料介紹說,用函數charindex()來代替LIKE速度會有大的提升,經我試驗,發現這種說明也是錯誤的:selectgid,title,fariqi,('刑偵支隊',reader)>0andfariqi>'2004-5-5'用時:7秒,另外:掃描計數4,邏輯讀7155次,物理讀0次,預讀0次。selectgid,title,fariqi,'%'+'刑偵支隊'+'%'andfariqi>'2004-5-5'用時:7秒,另外:掃描計數4,邏輯讀7155次,物理讀0次,預讀0次。8、union並不絕對比or的執行效率高我們前面已經談到了在where子句中使用or會引起全表掃描,一般的,我所見過的資料都是推薦這里用union來代替or。事實證明,這種說法對於大部分都是適用的。selectgid,fariqi,neibuyonghu,reader,titlefromTgongwenwherefariqi='2004-9-16'orgid>9990000用時:68秒。掃描計數1,邏輯讀404008次,物理讀283次,預讀392163次。selectgid,fariqi,neibuyonghu,reader,titlefromTgongwenwherefariqi='2004-9-16'unionselectgid,fariqi,neibuyonghu,reader,titlefromTgongwenwheregid>9990000用時:9秒。掃描計數8,邏輯讀67489次,物理讀216次,預讀7499次。看來,用union在通常情況下比用or的效率要高的多。但經過試驗,筆者發現如果or兩邊的查詢列是一樣的話,那麼用union則反倒和用or的執行速度差很多,雖然這里union掃描的是索引,而or掃描的是全表。selectgid,fariqi,neibuyonghu,reader,titlefromTgongwenwherefariqi='2004-9-16'orfariqi='2004-2-5'用時:6423毫秒。掃描計數2,邏輯讀14726次,物理讀1次,預讀7176次。selectgid,fariqi,neibuyonghu,reader,titlefromTgongwenwherefariqi='2004-9-16'unionselectgid,fariqi,neibuyonghu,reader,titlefromTgongwenwherefariqi='2004-2-5'用時:11640毫秒。掃描計數8,邏輯讀14806次,物理讀108次,預讀1144次。9、欄位提取要按照「需多少、提多少」的原則,避免「select*」我們來做一個試驗:selecttop10000gid,fariqi,reader,用時:4673毫秒selecttop10000gid,fariqi,用時:1376毫秒selecttop10000gid,用時:80毫秒由此看來,我們每少提取一個欄位,數據的提取速度就會有相應的提升。提升的速度還要看您舍棄的欄位的大小來判斷。10、count(*)不比count(欄位)慢某些資料上說:用*會統計所有列,顯然要比一個世界的列名效率低。這種說法其實是沒有根據的。我們來看:selectcount(*)fromTgongwen用時:1500毫秒selectcount(gid)fromTgongwen用時:1483毫秒selectcount(fariqi)fromTgongwen用時:3140毫秒selectcount(title)fromTgongwen用時:52050毫秒從以上可以看出,如果用count(*)和用count(主鍵)的速度是相當的,而count(*)卻比其他任何除主鍵以外的欄位匯總速度要快,而且欄位越長,匯總的速度就越慢。我想,如果用count(*),SQLSERVER可能會自動查找最小欄位來匯總的。當然,如果您直接寫count(主鍵)將會來的更直接些。11、orderby按聚集索引列排序效率最高我們來看:(gid是主鍵,fariqi是聚合索引列):selecttop10000gid,fariqi,reader,titlefromtgongwen用時:196毫秒。掃描計數1,邏輯讀289次,物理讀1次,預讀1527次。selecttop10000gid,fariqi,reader,用時:4720毫秒。掃描計數1,邏輯讀41956次,物理讀0次,預讀1287次。selecttop10000gid,fariqi,reader,用時:4736毫秒。掃描計數1,邏輯讀55350次,物理讀10次,預讀775次。selecttop10000gid,fariqi,reader,用時:173毫秒。掃描計數1,邏輯讀290次,物理讀0次,預讀0次。selecttop10000gid,fariqi,reader,用時:156毫秒。掃描計數1,邏輯讀289次,物理讀0次,預讀0次。從以上我們可以看出,不排序的速度以及邏輯讀次數都是和「orderby聚集索引列」的速度是相當的,但這些都比「orderby非聚集索引列」的查詢速度是快得多的。同時,按照某個欄位進行排序的時候,無論是正序還是倒序,速度是基本相當的。12、高效的TOP事實上,在查詢和提取超大容量的數據集時,影響資料庫響應時間的最大因素不是數據查找,而是物理的I/0操作。如:selecttop10*from(selecttop10000gid,fariqi,='公室'orderbygiddesc)asaorderbygidasc這條語句,從理論上講,整條語句的執行時間應該比子句的執行時間長,但事實相反。因為,子句執行後返回的是10000條記錄,而整條語句僅返回10條語句,所以影響資料庫響應時間最大的因素是物理I/O操作。而限制物理I/O操作此處的最有效方法之一就是使用TOP關鍵詞了。TOP關鍵詞是SQLSERVER中經過系統優化過的一個用來提取前幾條或前幾個百分比數據的詞。經筆者在實踐中的應用,發現TOP確實很好用,效率也很高。但這個詞在另外一個大型資料庫ORACLE中卻沒有,這不能說不是一個遺憾,雖然在ORACLE中可以用其他方法(如:rownumber)來解決。在以後的關於「實現千萬級數據的分頁顯示存儲過程」的討論中,我們就將用到TOP這個關鍵詞。到此為止,我們上面討論了如何實現從大容量的資料庫中快速地查詢出您所需要的數據方法。當然,我們介紹的這些方法都是「軟」方法,在實踐中,我們還要考慮各種「硬」因素,如:網路性能、伺服器的性能、操作系統的性能,甚至網卡、交換機等。
❻ sqlserver 怎麼樣優化性能
SQL Server資料庫查詢速度慢的原因有很多,常見的有以下幾種:
1、沒有索引或者沒有用到索引(這是查詢慢最常見的問題,是資料庫設計的缺陷)
2、I/O吞吐量小,形成了瓶頸效應。
3、沒有創建計算列導致查詢不優化。
4、內存不足
5、網路速度慢
6、查詢出的數據量過大(可以採用多次查詢,其他的方法降低數據量)
7、鎖或者死鎖(這也是查詢慢最常見的問題,是程序設計的缺陷)
8、sp_lock,sp_who,活動的用戶查看,原因是讀寫競爭資源。
9、返回了不必要的行和列
10、查詢語句不好,沒有優化
●可以通過以下方法來優化查詢 :
1、把數據、日誌、索引放到不同的I/O設備上,增加讀取速度,以前可以將Tempdb應放在RAID0上,SQL2000不在支持。數據量(尺寸)越大,提高I/O越重要。
2、縱向、橫向分割表,減少表的尺寸(sp_spaceuse)
3、升級硬體
4、根據查詢條件,建立索引,優化索引、優化訪問方式,限制結果集的數據量。注意填充因子要適當(最好是使用默認值0)。索引應該盡量小,使用位元組數小的列建索引好(參照索引的創建),不要對有限的幾個值的欄位建單一索引如性別欄位。
5、提高網速。
6、擴大伺服器的內存,Windows 2000和SQL server 2000能支持4-8G的內存。
配置虛擬內存:虛擬內存大小應基於計算機上並發運行的服務進行配置。運行 Microsoft SQL Server? 2000時,可考慮將虛擬內存大小設置為計算機中安裝的物理內存的1.5倍。如果另外安裝了全文檢索功能,並打算運行Microsoft搜索服務以便執行全文索引和查詢,可考慮:將虛擬內存大小配置為至少是計算機中安裝的物理內存的3倍。將SQL Server max server memory伺服器配置選項配置為物理內存的1.5倍(虛擬內存大小設置的一半)。
7、增加伺服器CPU個數;但是必須 明白並行處理串列處理更需要資源例如內存。使用並行還是串列程是MSSQL自動評估選擇的。單個任務分解成多個任務,就可以在處理器上運行。例如耽擱查詢 的排序、連接、掃描和GROUP BY字句同時執行,SQL SERVER根據系統的負載情況決定最優的並行等級,復雜的需要消耗大量的CPU的查詢最適合並行處理。但是更新操作UPDATE,INSERT, DELETE還不能並行處理。
8、如果是使用like進行查詢的話,簡單的使用index是不行的,但是全文索引,耗空間。 like ''a%'' 使用索引 like ''%a'' 不使用索引用 like ''%a%'' 查詢時,查詢耗時和欄位值總長度成正比,所以不能用CHAR類型,而是VARCHAR。對於欄位的值很長的建全文索引。
9、DB Server 和APPLication Server 分離;OLTP和OLAP分離
10、分布式分區視圖可用於實現資料庫伺服器聯合體。
聯合體是一組分開管理的伺服器,但它們相互協作分擔系統的處理負荷。這種通過分區數據形成資料庫伺服器聯合體的機制能夠擴大一組伺服器,以支持大型的多層 Web 站點的處理需要。有關更多信息,參見設計聯合資料庫伺服器。(參照SQL幫助文件''分區視圖'')
a、在實現分區視圖之前,必須先水平分區表
b、 在創建成員表後,在每個成員伺服器上定義一個分布式分區視圖,並且每個視圖具有相同的名稱。這樣,引用分布式分區視圖名的查詢可以在任何一個成員伺服器上 運行。系統操作如同每個成員伺服器上都有一個原始表的復本一樣,但其實每個伺服器上只有一個成員表和一個分布式分區視圖。數據的位置對應用程序是透明的。
11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收縮數據和日誌 DBCC SHRINKDB,DBCC SHRINKFILE. 設置自動收縮日誌.對於大的資料庫不要設置資料庫自動增長,它會降低伺服器的性能。
在T-sql的寫法上有很大的講究,下面列出常見的要點:首先,DBMS處理查詢計劃的過程是這樣的:
1、 查詢語句的詞法、語法檢查
2、 將語句提交給DBMS的查詢優化器
3、 優化器做代數優化和存取路徑的優化
4、 由預編譯模塊生成查詢規劃
5、 然後在合適的時間提交給系統處理執行
6、 最後將執行結果返回給用戶。
其次,看一下SQL SERVER的數據存放的結構:一個頁面的大小為8K(8060)位元組,8個頁面為一個盤區,按照B樹存放。
❼ 什麼是SQL的查詢優化,舉例說明
1 使用SET NOCOUNT ON 選項:
預設地,每次執行SQL語句時,一個消息會從服務端發給客戶端以顯示SQL語句影響的行數。這些信息對客戶端來說很少有用。通過關閉這個預設值,你能減少在服務端和客戶端的網路流量,幫助全面提升伺服器和應用程序的性能。為了關閉存儲過程級的這個特點,在每個存儲過程的開頭
包含「SET NOCOUNT ON」語句。
2 正確使用UNION和UNION ALL:
許多人沒完全理解UNION和UNION SELECT是怎樣工作的,因此,結果浪費了大量不必要的SQLServer資源。當使用UNION時,它相當於在結果集上執行SELECT DISTINCT。換句話說,UNION將聯合兩個相類似的記錄集,然後搜索重復的記錄並排除。如果這是你的目的,那麼使用UNION是正
確的。但如果你使用UNION聯合的兩個記錄集沒有重復記錄,那麼使用UNION會浪費資源,因為它要尋找重復記錄,即使你確定它們不存在。
所以如果你知道你要聯合的記錄集里沒有重復,那麼你要使用UNION ALL,而不是UNION。UNION ALL聯合記錄集,但不搜索重復記錄,這樣減少SQLServer資源的使用,從而提升性能。
3 盡量不用SELECT * :
絕大多數情況下,不要用 * 來代替查詢返回的欄位列表,用 * 的好處是代碼量少、就算是表結構或視圖的列發生變化,編寫的查詢SQL語句也不用變,都返回所有的欄位。但資料庫伺服器在解析時,如果碰到 *,則會先分析表的結構,然後把表的所有欄位名再羅列出來。這就增加了
分析的時間。
4 慎用SELECT DISTINCT:
DISTINCT子句僅在特定功能的時候使用,即從記錄集中排除重復記錄的時候。這是因為DISTINCT子句先獲取結果集然後去重,這樣增加SQLServer有用資源的使用。當然,如果你需要去做,那就只有去做了。
當如果你知道SELECT語句將從不返回重復記錄,那麼使用DISTINCT語句對SQLServer資源不必要的浪費。
5 少用游標:
任何一種游標都會降低SQLServer性能。有些情況不能避免,大多數情況可以避免。所以如果你的應用程序目前正在使用TSQL游標,看看這些代碼是否能夠重寫以避免它們。如果你需要一行一行的執行操作,考慮下邊這些選項中的一個或多個來代替游標的使用:
使用臨時表
使用WHILE循環
使用派生表
使用相關子查詢
使用CASE語句
使用多個查詢
上面每一個都能取代游標並且執行更快。 如果你不能避免使用游標,至少試著提高它們的速度,找出加速游標的方法。
6 選擇最有效率的表名順序:
SQLSERVER的解析器按照從右到左的順序處理FROM子句中的表名,因此FROM子句中寫在最後的表(基礎表driving table)將被最先處理,在FROM子句中包含多個表的情況下,必須選擇記錄條數最少的表作為基礎表,當SQLSERVER處理多個表時,會運用排序及合並的方式連接它們。首先
,掃描第一個表(FROM子句中最後的那個表)並對記錄進行排序;然後掃描第二個表(FROM子句中最後第二個表);最後將所有從第二個表中檢索出的記錄與第一個表中合適記錄進行合並。
例如: 表 TAB1有 16384 條記錄,表 TAB2 有5條記錄,選擇TAB2作為基礎表 (最好的方法):
select count(*) from TAB1 a, TAB2 b
選擇TAB1作為基礎表 (不佳的方法):
select count(*) from TAB2 a, TAB1 b
如果有3個以上的表連接查詢,那就需要選擇交叉表(intersection table)作為基礎表,交叉表是指那個被其他表所引用的表。
7 使用表的別名(Alias):
當在SQL語句中連接多個表時,請使用表的別名並把別名前綴於每個Column上,這樣可以減少解析的時間並減少那些由Column歧義引起的語法錯誤。
8 SARG你的WHERE條件:
ARGE來源於"Search Argument"(搜索參數)的首字母拼成的"SARG",它是指WHERE子句里,列和常量的比較。如果WHERE子句是sargable(可SARG的),這意味著它能利用索引加速查詢的完成。如果WHERE子句不是可SARG的,這意味著WHERE子句不能利用索引(或至少部分不能利用),
執行的是全表或索引掃描,這會引起查詢的性能下降。
在WHERE子句里不可SARG的搜索條件如"IS NULL", "<>", "!=", "!>", "!<", "NOT", "NOT EXISTS", "NOT IN", "NOT LIKE"和"LIKE '%500'",通常(但不總是)會阻止查詢優化器使用索引執行搜索。另外在列上使用包括函數的表達式、兩邊都使用相同列的表達式、或和一個列(不是常
量)比較的表達式,都是不可SARG的。
並不是每一個不可SARG的WHERE子句都註定要全表掃描。如果WHERE子句包括兩個可SARG和一個不可SARG的子句,那麼至少可SARG的子句能使用索引(如果存在的話)幫助快速訪問數據。
大多數情況下,如果表上有包括查詢里所有SELECT、JOIN、WHERE子句用到的列的覆蓋索引,那麼覆蓋索引能夠代替全表掃描去返回查詢的數據,即使它有不可SARG的WHERE子句。但記住覆蓋索引尤其自身的缺陷,如此經常產生寬索引會增加讀磁碟I/O。某些情況下,可以把不可SARG的WHER
E子句重寫成可SARG的子句。例如:
WHERE SUBSTRING(firstname,1,1) = 'm'
可以寫成:
WHERE firstname like 'm%'
這兩個WHERE子句有相同的結果,但第一個是不可SARG的(因為使用了函數)將運行得慢些,而第二個是可SARG的,將運行得快些。
如果你不知道特定的WHERE子句是不是可SARG的,在查詢分析器里檢查查詢執行計劃。這樣做,你能很快的知道查詢是使用了索引還是全表掃描來返回的數據。仔細分析,許多不可SARG的查詢能寫成可SARG的查詢。下面分幾點講解WHERE條件的SARG。
8.1 WHERE子句中的連接順序
SQLSERVER採用自下而上的順序解析WHERE子句,根據這個原理,表之間的連接必須寫在其他WHERE條件之前,那些可以過濾掉最大數量記錄的條件必須寫在WHERE子句的末尾。例如:
(低效)
SELECT * FROM EMP E
WHERE SAL > 50000
AND JOB = 『MANAGER』
AND 25 < (SELECT COUNT(*) FROM EMP WHERE MGR=E.EMPNO)
(高效)
SELECT * FROM EMP E
WHERE 25 < (SELECT COUNT(*) FROM EMP WHERE MGR=E.EMPNO)
AND SAL > 50000
AND JOB = 『MANAGER』
8.2 避免困難的正規表達式:
MATCHES和LIKE關鍵字支持通配符匹配,技術上叫正規表達式。但這種匹配特別耗費時間。例如:
SELECT * FROM customer WHERE zipcode LIKE "98_ _ _"
即使在zipcode欄位上建立了索引,在這種情況下也還是採用順序掃描的方式。如果把語句改為SELECT * FROM customer WHERE zipcode >="98000",在執行查詢時就會利用索引來查詢,顯然會大大提高速度。
另外,還要避免非開始的子串。例如語句:
SELECT * FROM customer WHERE zipcode[2,3] >"80"
在where子句中採用了非開始子串,因而這個語句也不會使用索引。
8.3 避免對大型錶行數據的順序存取:
在嵌套查詢中,對表的順序存取對查詢效率可能產生致命的影響。比如採用順序存取策略,一個嵌套3層的查詢,如果每層都查詢1000行,那麼這個查詢就要查詢10億行數據。避免這種情況的主要方法就是對連接的列進行索引。例如,兩個表:學生表(學號、姓名、年齡……)和選課表(
學號、課程號、成績)。如果兩個表要做連接,就要在「學號」這個連接欄位上建立索引。
還可以使用並集來避免順序存取。盡管在所有的檢查列上都有索引,但某些形式的where子句強迫優化器使用順序存取。下面的查詢將強迫對orders表執行順序操作:
SELECT * FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008
雖然在customer_num和order_num上建有索引,但是在上面的語句中優化器還是使用順序存取路徑掃描整個表。因為這個語句要檢索的是分離的行的集合,所以應該改為如下語句:
SELECT * FROM orders WHERE customer_num=104 AND order_num>1001
UNION ALL
SELECT * FROM orders WHERE order_num=1008
這樣就能利用索引路徑處理查詢。
8.4 EXISTS和IN的使用:
在許多基於基礎表的查詢中,為了滿足一個條件,往往需要對另一個表進行聯接。 在這種情況下,使用EXISTS(或NOT EXISTS)通常將提高查詢的效率。在子查詢中,NOT IN子句將執行一個內部的排序和合並。無論在哪種情況下,NOT IN都是最低效的,因為它對子查詢中的表執行
了一個全表遍歷。為了避免使用NOT IN,我們可以把它改寫成外連接(Outer Joins)或NOT EXISTS。
8.5 避免在索引列上使用IS NULL和IS NOT NULL:
避免在索引中使用任何可以為空的列,SQLSERVER將無法使用該索引。對於單列索引,如果列包含空值,索引中將不存在此記錄;對於復合索引,如果每個列都為空,索引中同樣不存在此記錄。如果至少有一個列不為空,則記錄存在於索引中。
如果唯一性索引建立在表的A列和B列上,並且表中存在一條記錄的A,B值為(123,null),SQLSERVER將不接受下一條具有相同A,B值(123,null)的記錄插入。
如果所有的索引列都為空,SQLSERVER將認為整個鍵值為空,而空不可能等於空,因此你可以插入1000條具有相同鍵值的記錄,當然它們都是空!因為空值不存在於索引列中,所以WHERE子句中對索引列進行空值比較將使SQLSERVER停用該索引。下面的代碼將會很低效(索引失效):
SELECT … FROM DEPARTMENT WHERE DEPT_CODE IS NOT NULL
8.6 避免在索引列上使用計算:
WHERE子句中,如果索引列是函數的一部分,優化器將不使用索引而使用全表掃描。 例如下面的語句低效 :
SELECT … FROM DEPT WHERE SAL * 12 > 25000
而下面的語句將是高效的:
SELECT … FROM DEPT WHERE SAL > 25000/12
請務必注意,查詢中不要對索引列進行處理,如:TRIM,substring,convert等等操作。
8.7 用WHERE子句替換HAVING子句:
避免使用HAVING子句,HAVING只會在檢索出所有記錄之後才對結果集進行過濾,這個處理需要排序、統計等操作。如果能通過WHERE子句限制記錄的數目,那就能減少這方面的開銷。
9 避免或簡化排序:
應當簡化或避免對大型表進行重復的排序。當能夠利用索引自動以適當的次序產生輸出時,優化器就避免了排序的步驟。以下是一些影響因素:
l 索引中不包括一個或幾個待排序的列;
l group by或order by子句中列的次序與索引的次序不一樣;
l 排序的列來自不同的表。
為了避免不必要的排序,就要正確地增建索引,合理地合並資料庫表(盡管有時可能影響表的規范化,但相對於效率的提高是值得的)。如果排序不可避免,那麼應當試圖簡化它,如縮小排序的列的范圍等。
10 臨時表的使用:
臨時表有很多特殊的用途,象用來替代游標,不過它們仍能引起性能問題,如果這個問題能消除,SQLServer將執行得更快。在永久表和臨時表的數據行相同的條件下,使用臨時表沒有永久錶快。但有時還必須得使用臨時表,如先從存儲大量數據的永久表中提取符全條件的存放到臨時
表,然後在臨時表上執行操作。如果是直接在存儲大量數據的永久表上執行操作(如:統計、循環等),其性能將大打折扣。所以,使不使用臨時表,何時使用臨時表,需要具體情況決定。
11 是否使用視圖:
視圖最大的用途是處理安全相關的問題,而不是一些懶惰的開發人員用來存儲經常使用的查詢的方法。例如,如果你需要允許用戶訪問特定SQLServer的數據,那麼你也許可以考慮為用戶(或組)創建一個視圖,然後給用戶訪問視圖而不是基表的許可權。另一方面,在應用程序里,從視圖選
擇數據沒有好的理由,相反,繞過視圖直接從需要的表裡獲取數據。原因是許多視圖(當然不是全部)返回比SELECT語句所需更多的數據,增加不必要的開銷。
例如,假定有一個視圖從兩個連接表裡返回10列。你想要從視圖里使用SELECT語句返回其中7列。實際上發生的情況是基於視圖的查詢先運行,返回數據,然後你的查詢針對這些數據運行。既然你僅需要7列,而不是視圖返回的10列,更多不必要的數據被返回。浪費SQLServer的資源。
長久以來,大家在爭論是查詢視圖速度快還是直接查詢快,本人也不敢輕易下結論,因此作了多次試驗,其結果是:基於視圖查詢,性能確實不會比直接寫查詢語句快,對於簡單的查詢,最多是在同一水平上。
當然,上面的測試是在沒有為視圖創建索引的情況下,SQLServer2000以上可以為視圖創建索引,視圖索引與表的索引在作用方式上非常相似。與表一樣,視圖可以有一個集簇索引(clustered index)和多個非集簇索引。創建視圖索引後能夠提高視圖的性能。
如果視圖不包含索引,則資料庫中不保存視圖返回的結果集。有的時候,我們可能要創建涉及大量記錄或必須進行復雜計算的視圖,比如要進行聚合分組處理或多重連接操作。如果每次引用這些視圖的時候讓sql server重新生成結果集,資料庫開銷將非常大。
12 讓事務盡可能的短:
保持TSQL事務盡可能的短。這會幫助減少鎖(所有類型的鎖)的數量,有助於全面提升SQLServer的性能。如果有經驗,你也許要將長事務分成更小的事務組。
13 用存儲過程代替直接寫查詢語句:
存儲過程為開發人員提供了很多好處,包括:
n 減少網路流量和響應時間,提升應用程序性能。例如,通過網路發送一個存儲過程調用,而不是發送500行的TSQL將更快,資源使用更少。當每次執行SQL時,都會執行解析SQL語句、估算索引的利用率、綁定變數、讀數據塊等等工作。
n 存儲過程執行計劃能夠重用,駐留在SQLServer內存的緩存里,減少伺服器開銷。
n 客戶端執行請求更有效率。例如,如果應用程序需要插入大量的二進制值到一個image數據列而不使用存儲過程,它必須轉化二進制為字元串(大小會增加一倍),然後發送給SQLServer。當SQLServer接收到後,它必須把字元串值轉回二進制格式。大量的浪費開銷。存儲過程能
消除這個問題通過將應用程序傳給SQLServer的二進制格式作為參數,從而減少開銷提升性能。
n 存儲過程幫助提供代碼重用。雖然這些不直接提升應用程序的性能,通過減少代碼量和減少調試時間來提升開發人員的效率。
n 存儲過程能封裝邏輯。你能夠改變存儲過程代碼而不影響客戶端(假定你保持參數相同也不移除任何結果集的列)。這節約開發人員的時間。
n 存儲過程為你的數據提供更好的安全性。如果你僅使用存儲過程,你可以移除直接對表的SELECT、INSERT、UPDATE和DELETE許可權從而強迫開發人員使用存儲過程訪問數據。這會節約DBA的時間。
n 作為首要的常規,所有的TSQL代碼都應該通過存儲過程調用。
13.1 存儲過程名不要以 sp_ 開頭:
對這一準則,可能很多人會感覺納悶,是的,我開始也納悶過。如果創建的存儲過程不是運行在Master資料庫里,不要使用以sp_為前綴的名稱。這個特別的前綴是為系統存儲過程保留的。盡管使用這個前綴不會禁止用戶定義的存儲過程的運行,但會稍微降低一些執行效率。這是因為
SQLServer在執行以sp_為前綴的任何一個存儲過程時預設地首先試圖在Master資料庫里尋找,盡管那兒沒有,這就浪費了尋找存儲過程的時間。如果SQLServer在Master資料庫里不能找到存儲過程,那麼接下來會將存儲過程的擁有者作為DBO去解析。如果存儲過程在目前的資料庫里,那麼
它會執行。為了避免不必要的延遲,不要用前綴為sp_命名你的任何一個存儲過程。
13.2 存儲過程的擁有者要相同:
為了最好的性能,同一個存儲過程里調用的所有對象的擁有者都應該相同,DBO更適宜。如果不是那樣,即對象名相同而擁有者不同,那麼SQLServer必須執行名稱判斷。當發生這樣的情形時,SQLServer不能使用存儲過程里在內存里的執行計劃,相反,它必須重新編譯存儲過程,從而
影響性能。當從應用程序里調用存儲過程時,使用分隔符名稱來調用也是重要的。如:
EXEC dbo.myProcere
代替:
EXEC myProcere
這樣做有兩個原因,其中一個和性能有關。首先,使用完全有分隔符的名稱有助於消除那些和你要運行的存儲過程有潛在的混淆,有助於禁止BUG和潛在的問題。但更重要的是,這樣做SQLServer能更直接的訪問存儲過程執行計劃,而不是輪流訪問,從而加速了存儲過程的性能。當然性能
提升很小,但如果你的伺服器每小時要運行成千上萬或更多的存儲過程,這些節約的小段時間加起來就很可觀了。
14 完整性使用下的約束和觸發器:
資料庫里不要執行多餘的完整性特點。例如,如果你正使用主鍵和外鍵約束來強迫引用完整性,則不要添加觸發器來實現相同的功能而增加不必要的開銷。同樣既使用約束又使用默認值或既使用約束又使用規則也會執行多餘的工作。
15 在SQL中捕捉異常:
這一條准則應該不能算是優化方面的,只是編寫要求。現在SQLServer2005中,新增了BEGIN TRY…END TRY和 BEGIN CATCH…END CATCH二個成對語句,用於捕捉運行時出現的異常。在Oracle中,可用 BEGIN…EXCEPTION…END 語句捕捉異常。
把SQL代碼塊中加入捕捉異常的語句內,有二個好處:一是可以在SQL語句內部得到異常並作錯誤處理,如在錯誤代碼塊內返回自定義錯誤信息、ROLBACK等。這樣可減少應用程序捕捉異常帶來的資源開銷;另外一個好處就是可以防止死鎖情況的發生,當出現死鎖時,SQLServer2005會拋出
異常,我們就可捕捉到。
下面列出一些索引的概念,有助於設計表結構和編寫SQL語句:
按照存儲規則來分:
l 聚集索引:該索引中鍵值的邏輯順序決定了表中相應行的物理順序。因此一個表只能包含一個聚集索引,但該索引可以包含多個列(組合索引)。檢索效率比普通索引高,但對數據新增/修改/刪除的影響比較大。
l 非聚集索引:與聚集索引相對,不影響表中的數據存儲順序,檢索效率比聚集索引低,對數據新增/修改/刪除的影響很少。
按照維護與管理的角度來分:
l 唯一索引:惟一索引可以確保索引列不包含重復的值,可以用多個列,但是索引可以確保索引列中每個值組合都是唯一的。
l 主鍵索引:在資料庫關系圖中為表定義一個主鍵將自動創建主鍵索引,主鍵索引是唯一索引的特殊類型。主鍵索引要求主鍵中的每個值是唯一的。當在查詢中使用主鍵索引時,它還允許快速訪問數據。
l 普通索引:由關鍵字KEY或INDEX定義的索引,唯一任務是加快對數據的訪問速度。因此,應該只為那些最經常出現在查詢條件或排序條件中的數據列創建索引。只要有可能,就應該選擇一個數據最整齊、最緊湊的數據列(如整數類型的數據列)來創建索引。允許有重復的列存在
。
l 復合索引:如果在兩上以上的列上創建的索引,則稱為復合索引。
❽ 如何在PLSQL中查詢SQL SERVER資料庫,從ORACLE中查詢SQLserver資料庫中的數據
不+
where
條件
的查詢語句
oracle
的查詢優化器
會自動在
查詢的過程中優化你的查詢語句,你寫了where
條件之後
如果查詢的欄位沒有索引,查詢優化器是不做任何優化的。