用Sqlserver處理千萬條資料的優化

用Sqlserver處理千萬條資料的優化

在以下的文章中，我将以“辦公自動化”系統為例，探讨如何在有着1000萬條資料的MS SQL SERVER資料庫中實作快速的資料提取和資料分頁。以下代碼說明了我們執行個體中資料庫的“紅頭檔案”一表的部分資料結構：

CREATE TABLE [dbo].[TGongwen] ( --TGongwen是紅頭檔案表名

[Gid] [int] IDENTITY (1, 1) NOT NULL ,

--本表的id号，也是主鍵

[title] [varchar] (80) COLLATE Chinese_PRC_CI_AS NULL ,

--紅頭檔案的标題

[fariqi] [datetime] NULL ,

--釋出日期

[neibuYonghu] [varchar] (70) COLLATE Chinese_PRC_CI_AS NULL ,

--釋出使用者

[reader] [varchar] (900) COLLATE Chinese_PRC_CI_AS NULL ,

--需要浏覽的使用者。每個使用者中間用分隔符“,”分開

) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]

GO

下面，我們來往資料庫中添加1000萬條資料：

declare @i int

set @i=1

while @i<=250000

begin

insert into Tgongwen(fariqi,neibuyonghu,reader,title) values('2004-2-5','通信科','通信科,辦公室,王局長,劉局長,張局長,admin,刑偵支隊,特勤支隊,交巡警支隊,經偵支隊, 戶政科,治安支隊,外事科','這是最先的25萬條記錄')

set @[email protected]+1

end

GO

declare @i int

set @i=1

while @i<=250000

begin

insert into Tgongwen(fariqi,neibuyonghu,reader,title) values('2004-9-16','辦公室','辦公室,通信科,王局長,劉局長,張局長,admin,刑偵支隊,特勤支隊,交巡警支隊,經偵支 隊,戶政科,外事科','這是中間的25萬條記錄')

set @[email protected]+1

end

GO

declare @h int

set @h=1

while @h<=100

begin

declare @i int

set @i=2002

while @i<=2003

begin

declare @j int

set @j=0

while @j<50

begin

declare @k int

set @k=0

while @k<50

begin

insert into Tgongwen(fariqi,neibuyonghu,reader,title) values(cast(@i as varchar(4))+'-8-15 3:'+cast(@j as varchar(2))+':'+cast(@j as varchar(2)),'通信科','辦公室,通信科,王局長,劉局長,張局長,admin,刑偵支隊,特勤支隊,交巡警支隊,經偵支隊,戶政科,外事 科','這是最後的50萬條記錄')

set @[email protected]+1

end

set @[email protected]+1

end

set @[email protected]+1

end

set @[email protected]+1

end

GO

declare @i int

set @i=1

while @i<=9000000

begin

insert into Tgongwen(fariqi,neibuyonghu,reader,title) values('2004-5-5','通信科','通信科,辦公室,王局長,劉局長,張局長,admin,刑偵支隊,特勤支隊,交巡警支隊,經偵支隊, 戶政科,治安支隊,外事科','這是最後添加的900萬條記錄')

set @[email protected]+1000000

end

GO

通過以上語句，我們建立了25萬條由通信科于2004年2月5日釋出的記錄，25萬條由辦公室于2004年9月6日釋出的記錄，2002年和2003年各 100個2500條相同日期、不同分秒的由通信科釋出的記錄（共50萬條），還有由通信科于2004年5月5日釋出的900萬條記錄，合計1000萬條。

一、因情制宜，建立“适當”的索引

建立“适當”的索引是實作查詢優化的首要前提。

索 引（index）是除表之外另一重要的、使用者定義的存儲在實體媒體上的資料結構。當根據索引碼的值搜尋資料時，索引提供了對資料的快速通路。事實上，沒有 索引,資料庫也能根據SELECT語句成功地檢索到結果，但随着表變得越來越大，使用“适當”的索引的效果就越來越明顯。注意，在這句話中，我們用了“适 當”這個詞，這是因為，如果使用索引時不認真考慮其實作過程，索引既可以提高也會破壞資料庫的工作性能。

（一）深入淺出了解索引結構

實際上，您可以把索引了解為一種特殊的目錄。微軟的SQL SERVER提供了兩種索引：聚集索引（clustered index，也稱聚類索引、簇集索引）和非聚集索引（nonclustered index，也稱非聚類索引、非簇集索引）。下面，我們舉例來說明一下聚集索引和非聚集索引的差別：

其實，我們的漢語字典的正文本身就是一個聚集索引。比如，我們要查“安”字，就會很自然地翻開字典的前幾頁，因為“安”的拼音是“an”，而按照拼音排序 漢字的字典是以英文字母“a”開頭并以“z”結尾的，那麼“安”字就自然地排在字典的前部。如果您翻完了所有以“a”開頭的部分仍然找不到這個字，那麼就 說明您的字典中沒有這個字；同樣的，如果查“張”字，那您也會将您的字典翻到最後部分，因為“張”的拼音是“zhang”。也就是說，字典的正文部分本身 就是一個目錄，您不需要再去查其他目錄來找到您需要找的内容。

我們把這種正文内容本身就是一種按照一定規則排列的目錄稱為“聚集索引”。

如果您認識某個字，您可以快速地從自動中查到這個字。但您也可能會遇到您不認識的字，不知道它的發音，這時候，您就不能按照剛才的方法找到您要查的字，而 需要去根據“偏旁部首”查到您要找的字，然後根據這個字後的頁碼直接翻到某頁來找到您要找的字。但您結合“部首目錄”和“檢字表”而查到的字的排序并不是 真正的正文的排序方法，比如您查“張”字，我們可以看到在查部首之後的檢字表中“張”的頁碼是672頁，檢字表中“張”的上面是“馳”字，但頁碼卻是63 頁，“張”的下面是“弩”字，頁面是390頁。很顯然，這些字并不是真正的分别位于“張”字的上下方，現在您看到的連續的“馳、張、弩”三字實際上就是他 們在非聚集索引中的排序，是字典正文中的字在非聚集索引中的映射。我們可以通過這種方式來找到您所需要的字，但它需要兩個過程，先找到目錄中的結果，然後 再翻到您所需要的頁碼。

我們把這種目錄純粹是目錄，正文純粹是正文的排序方式稱為“非聚集索引”。

通過以上例子，我們可以了解到什麼是“聚集索引”和“非聚集索引”。

進一步引申一下，我們可以很容易的了解：每個表隻能有一個聚集索引，因為目錄隻能按照一種方法進行排序。

（二）何時使用聚集索引或非聚集索引

下面的表總結了何時使用聚集索引或非聚集索引（很重要）。

動作描述 使用聚集索引 使用非聚集索引

列經常被分組排序 應 應

傳回某範圍内的資料 應 不應

一個或極少不同值 不應 不應

小數目的不同值 應 不應

大數目的不同值 不應 應

頻繁更新的列 不應 應

外鍵列 應 應

主鍵列 應 應

頻繁修改索引列 不應 應

事實上，我們可以通過前面聚集索引和非聚集索引的定義的例子來了解上表。如：傳回某範圍内的資料一項。比如您的某個表有一個時間列，恰好您把聚合索引建立 在了該列，這時您查詢2004年1月1日至2004年10月1日之間的全部資料時，這個速度就将是很快的，因為您的這本字典正文是按日期進行排序的，聚類 索引隻需要找到要檢索的所有資料中的開頭和結尾資料即可；而不像非聚集索引，必須先查到目錄中查到每一項資料對應的頁碼，然後再根據頁碼查到具體内容。

（三）結合實際，談索引使用的誤區

理論的目的是應用。雖然我們剛才列出了何時應使用聚集索引或非聚集索引，但在實踐中以上規則卻很容易被忽視或不能根據實際情況進行綜合分析。下面我們将根據在實踐中遇到的實際問題來談一下索引使用的誤區，以便于大家掌握索引建立的方法。

1、主鍵就是聚集索引

這種想法筆者認為是極端錯誤的，是對聚集索引的一種浪費。雖然SQL SERVER預設是在主鍵上建立聚集索引的。

通常，我們會在每個表中都建立一個ID列，以區分每條資料，并且這個ID列是自動增大的，步長一般為1。我們的這個辦公自動化的執行個體中的列Gid就是如 此。此時，如果我們将這個列設為主鍵，SQL SERVER會将此列預設為聚集索引。這樣做有好處，就是可以讓您的資料在資料庫中按照ID進行實體排序，但筆者認為這樣做意義不大。

顯而易見，聚集索引的優勢是很明顯的，而每個表中隻能有一個聚集索引的規則，這使得聚集索引變得更加珍貴。

從我們前面談到的聚集索引的定義我們可以看出，使用聚集索引的最大好處就是能夠根據查詢要求，迅速縮小查詢範圍，避免全表掃描。在實際應用中，因為ID号 是自動生成的，我們并不知道每條記錄的ID号，是以我們很難在實踐中用ID号來進行查詢。這就使讓ID号這個主鍵作為聚集索引成為一種資源浪費。其次，讓 每個ID号都不同的字段作為聚集索引也不符合“大數目的不同值情況下不應建立聚合索引”規則；當然，這種情況隻是針對使用者經常修改記錄内容，特别是索引項 的時候會負作用，但對于查詢速度并沒有影響。

在辦公自動化系統中，無論是系統首頁顯示的需要使用者簽收的檔案、會議還是使用者進行檔案查詢等任何情況下進行資料查詢都離不開字段的是“日期”還有使用者本身的“使用者名”。

通常，辦公自動化的首頁會顯示每個使用者尚未簽收的檔案或會議。雖然我們的where語句可以僅僅限制目前使用者尚未簽收的情況，但如果您的系統已建立了很長 時間，并且資料量很大，那麼，每次每個使用者打開首頁的時候都進行一次全表掃描，這樣做意義是不大的，絕大多數的使用者1個月前的檔案都已經浏覽過了，這樣做 隻能徒增資料庫的開銷而已。事實上，我們完全可以讓使用者打開系統首頁時，資料庫僅僅查詢這個使用者近3個月來未閱覽的檔案，通過“日期”這個字段來限制表掃 描，提高查詢速度。如果您的辦公自動化系統已經建立的2年，那麼您的首頁顯示速度理論上将是原來速度8倍，甚至更快。

在這裡之是以提到“理論上”三字，是因為如果您的聚集索引還是盲目地建在ID這個主鍵上時，您的查詢速度是沒有這麼高的，即使您在“日期”這個字段上建立 的索引（非聚合索引）。下面我們就來看一下在1000萬條資料量的情況下各種查詢的速度表現（3個月内的資料為25萬條）：

（1）僅在主鍵上建立聚集索引，并且不劃分時間段：

Select gid,fariqi,neibuyonghu,title from tgongwen

用時：128470毫秒（即：128秒）

（2）在主鍵上建立聚集索引，在fariq上建立非聚集索引：

select gid,fariqi,neibuyonghu,title from Tgongwen

where fariqi> dateadd(day,-90,getdate())

用時：53763毫秒（54秒）

（3）将聚合索引建立在日期列（fariqi）上：

select gid,fariqi,neibuyonghu,title from Tgongwen

where fariqi> dateadd(day,-90,getdate())

用時：2423毫秒（2秒）

雖然每條語句提取出來的都是25萬條資料，各種情況的差異卻是巨大的，特别是将聚集索引建立在日期列時的差異。事實上，如果您的資料庫真的有1000萬容 量的話，把主鍵建立在ID列上，就像以上的第1、2種情況，在網頁上的表現就是逾時，根本就無法顯示。這也是我摒棄ID列作為聚集索引的一個最重要的因 素。

得出以上速度的方法是：在各個select語句前加：declare @d datetime

set @d=getdate()

并在select語句後加：

select [語句執行花費時間(毫秒)]=datediff(ms,@d,getdate())

2、隻要建立索引就能顯著提高查詢速度

事實上，我們可以發現上面的例子中，第2、3條語句完全相同，且建立索引的字段也相同；不同的僅是前者在fariqi字段上建立的是非聚合索引，後者在此字段上建立的是聚合索引，但查詢速度卻有着天壤之别。是以，并非是在任何字段上簡單地建立索引就能提高查詢速度。

從建表的語句中，我們可以看到這個有着1000萬資料的表中fariqi字段有5003個不同記錄。在此字段上建立聚合索引是再合适不過了。在現實中，我 們每天都會發幾個檔案，這幾個檔案的發文日期就相同，這完全符合建立聚集索引要求的：“既不能絕大多數都相同，又不能隻有極少數相同”的規則。由此看來， 我們建立“适當”的聚合索引對于我們提高查詢速度是非常重要的。

3、把所有需要提高查詢速度的字段都加進聚集索引，以提高查詢速度

上面已經談到：在進行資料查詢時都離不開字段的是“日期”還有使用者本身的“使用者名”。既然這兩個字段都是如此的重要，我們可以把他們合并起來，建立一個複合索引（compound index）。

很多人認為隻要把任何字段加進聚集索引，就能提高查詢速度，也有人感到迷惑：如果把複合的聚集索引字段分開查詢，那麼查詢速度會減慢嗎？帶着這個問題，我 們來看一下以下的查詢速度（結果集都是25萬條資料）：（日期列fariqi首先排在複合聚集索引的起始列，使用者名neibuyonghu排在後列）

（1）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>'2004-5-5'

查詢速度：2513毫秒

（2）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>'2004-5-5' and neibuyonghu='辦公室'

查詢速度：2516毫秒

（3）select gid,fariqi,neibuyonghu,title from Tgongwen where neibuyonghu='辦公室'

查詢速度：60280毫秒

從以上試驗中，我們可以看到如果僅用聚集索引的起始列作為查詢條件和同時用到複合聚集索引的全部列的查詢速度是幾乎一樣的，甚至比用上全部的複合索引列還 要略快（在查詢結果集數目一樣的情況下）；而如果僅用複合聚集索引的非起始列作為查詢條件的話，這個索引是不起任何作用的。當然，語句1、2的查詢速度一 樣是因為查詢的條目數一樣，如果複合索引的所有列都用上，而且查詢結果少的話，這樣就會形成“索引覆寫”，因而性能可以達到最優。同時，請記住：無論您是 否經常使用聚合索引的其他列，但其前導列一定要是使用最頻繁的列。

（四）其他書上沒有的索引使用經驗總結

1、用聚合索引比用不是聚合索引的主鍵速度快

下面是執行個體語句：（都是提取25萬條資料）

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16'

使用時間：3326毫秒

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid<=250000

使用時間：4470毫秒

這裡，用聚合索引比用不是聚合索引的主鍵速度快了近1/4。

2、用聚合索引比用一般的主鍵作order by時速度快，特别是在小資料量情況下

select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by fariqi

用時：12936

select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by gid

用時：18843

這裡，用聚合索引比用一般的主鍵作order by時，速度快了3/10。事實上，如果資料量很小的話，用聚集索引作為排序列要比使用非聚集索引速度快得明顯的多；而資料量如果很大的話，如10萬以上，則二者的速度差别不明顯。

3、使用聚合索引内的時間段，搜尋時間會按資料占整個資料表的百分比成比例減少，而無論聚合索引使用了多少個

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-1-1'

用時：6343毫秒（提取100萬條）

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-6-6'

用時：3170毫秒（提取50萬條）

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16'

用時：3326毫秒（和上句的結果一模一樣。如果采集的數量一樣，那麼用大于号和等于号是一樣的）

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-1-1' and fariqi<'2004-6-6'

用時：3280毫秒

4 、日期列不會因為有分秒的輸入而減慢查詢速度

下面的例子中，共有100萬條資料，2004年1月1日以後的資料有50萬條，但隻有兩個不同的日期，日期精确到日；之前有資料50萬條，有5000個不同的日期，日期精确到秒。

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-1-1' order by fariqi

用時：6390毫秒

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi<'2004-1-1' order by fariqi

用時：6453毫秒

（五）其他注意事項

“水可載舟，亦可覆舟”，索引也一樣。索引有助于提高檢索性能，但過多或不當的索引也會導緻系統低效。因為使用者在表中每加進一個索引，資料庫就要做更多的工作。過多的索引甚至會導緻索引碎片。

是以說，我們要建立一個“适當”的索引體系，特别是對聚合索引的建立，更應精益求精，以使您的資料庫能得到高性能的發揮。

當然，在實踐中，作為一個盡職的資料庫管理者，您還要多測試一些方案，找出哪種方案效率最高、最為有效。

二、改善SQL語句

很多人不知道SQL語句在SQL SERVER中是如何執行的，他們擔心自己所寫的SQL語句會被SQL SERVER誤解。比如：

select * from table1 where name='zhangsan' and tID > 10000

和執行:

select * from table1 where tID > 10000 and name='zhangsan'

一些人不知道以上兩條語句的執行效率是否一樣，因為如果簡單的從語句先後上看，這兩個語句的确是不一樣，如果tID是一個聚合索引，那麼後一句僅僅從表的 10000條以後的記錄中查找就行了；而前一句則要先從全表中查找看有幾個name='zhangsan'的，而後再根據限制條件條件tID> 10000來提出查詢結果。

事實上，這樣的擔心是不必要的。SQL SERVER中有一個“查詢分析優化器”，它可以計算出where子句中的搜尋條件并确定哪個索引能縮小表掃描的搜尋空間，也就是說，它能實作自動優化。

雖然查詢優化器可以根據where子句自動的進行查詢優化，但大家仍然有必要了解一下“查詢優化器”的工作原理，如非這樣，有時查詢優化器就會不按照您的本意進行快速查詢。

在查詢分析階段，查詢優化器檢視查詢的每個階段并決定限制需要掃描的資料量是否有用。如果一個階段可以被用作一個掃描參數（SARG），那麼就稱之為可優化的，并且可以利用索引快速獲得所需資料。

SARG的定義：用于限制搜尋的一個操作，因為它通常是指一個特定的比對，一個值得範圍内的比對或者兩個以上條件的AND連接配接。形式如下：

列名 操作符 <常數 或 變量>

或

<常數 或 變量> 操作符列名

列名可以出現在操作符的一邊，而常數或變量出現在操作符的另一邊。如：

Name=’張三’

價格>5000

5000<價格

Name=’張三’ and 價格>5000

如果一個表達式不能滿足SARG的形式，那它就無法限制搜尋的範圍了，也就是SQL SERVER必須對每一行都判斷它是否滿足WHERE子句中的所有條件。是以一個索引對于不滿足SARG形式的表達式來說是無用的。

介紹完SARG後，我們來總結一下使用SARG以及在實踐中遇到的和某些資料上結論不同的經驗：

1、Like語句是否屬于SARG取決于所使用的通配符的類型

如：name like ‘張%’ ，這就屬于SARG

而：name like ‘%張’ ,就不屬于SARG。

原因是通配符%在字元串的開通使得索引無法使用。

2、or 會引起全表掃描

Name=’張三’ and 價格>5000 符号SARG，而：Name=’張三’ or 價格>5000 則不符合SARG。使用or會引起全表掃描。

3、非操作符、函數引起的不滿足SARG形式的語句

不滿足SARG形式的語句最典型的情況就是包括非操作符的語句，如：NOT、!=、<>、!<、!>、NOT EXISTS、NOT IN、NOT LIKE等，另外還有函數。下面就是幾個不滿足SARG形式的例子：

ABS(價格)<5000

Name like ‘%三’

有些表達式，如：

WHERE 價格*2>5000

SQL SERVER也會認為是SARG，SQL SERVER會将此式轉化為：

WHERE 價格>2500/2

但我們不推薦這樣使用，因為有時SQL SERVER不能保證這種轉化與原始表達式是完全等價的。

4、IN 的作用相當與OR

語句：

Select * from table1 where tid in (2,3)

和

Select * from table1 where tid=2 or tid=3

是一樣的，都會引起全表掃描，如果tid上有索引，其索引也會失效。

5、盡量少用NOT

6、exists 和 in 的執行效率是一樣的

很多資料上都顯示說，exists要比in的執行效率要高，同時應盡可能的用not exists來代替not in。但事實上，我試驗了一下，發現二者無論是前面帶不帶not，二者之間的執行效率都是一樣的。因為涉及子查詢，我們試驗這次用SQL SERVER自帶的pubs資料庫。運作前我們可以把SQL SERVER的statistics I/O狀态打開。

（1）select title,price from titles where title_id in (select title_id from sales where qty>30)

該句的執行結果為：

表 'sales'。掃描計數 18，邏輯讀 56 次，實體讀 0 次，預讀 0 次。

表 'titles'。掃描計數 1，邏輯讀 2 次，實體讀 0 次，預讀 0 次。

（2）select title,price from titles where exists (select * from sales where sales.title_id=titles.title_id and qty>30)

第二句的執行結果為：

表 'sales'。掃描計數 18，邏輯讀 56 次，實體讀 0 次，預讀 0 次。

表 'titles'。掃描計數 1，邏輯讀 2 次，實體讀 0 次，預讀 0 次。

我們從此可以看到用exists和用in的執行效率是一樣的。

7、用函數charindex()和前面加通配符%的LIKE執行效率一樣

前面，我們談到，如果在LIKE前面加上通配符%，那麼将會引起全表掃描，是以其執行效率是低下的。但有的資料介紹說，用函數charindex()來代替LIKE速度會有大的提升，經我試驗，發現這種說明也是錯誤的：

select gid,title,fariqi,reader from tgongwen where charindex('刑偵支隊',reader)>0 and fariqi>'2004-5-5'

用時：7秒，另外：掃描計數 4，邏輯讀 7155 次，實體讀 0 次，預讀 0 次。

select gid,title,fariqi,reader from tgongwen where reader like '%' + '刑偵支隊' + '%' and fariqi>'2004-5-5'

用時：7秒，另外：掃描計數 4，邏輯讀 7155 次，實體讀 0 次，預讀 0 次。

8、union并不絕對比or的執行效率高

我們前面已經談到了在where子句中使用or會引起全表掃描，一般的，我所見過的資料都是推薦這裡用union來代替or。事實證明，這種說法對于大部分都是适用的。

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16' or gid>9990000

用時：68秒。掃描計數 1，邏輯讀 404008 次，實體讀 283 次，預讀 392163 次。

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16'

union

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid>9990000

用時：9秒。掃描計數 8，邏輯讀 67489 次，實體讀 216 次，預讀 7499 次。

看來，用union在通常情況下比用or的效率要高的多。

但經過試驗，筆者發現如果or兩邊的查詢列是一樣的話，那麼用union則反倒和用or的執行速度差很多，雖然這裡union掃描的是索引，而or掃描的是全表。

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16' or fariqi='2004-2-5'

用時：6423毫秒。掃描計數 2，邏輯讀 14726 次，實體讀 1 次，預讀 7176 次。

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16'

union

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-2-5'

用時：11640毫秒。掃描計數 8，邏輯讀 14806 次，實體讀 108 次，預讀 1144 次。

9、字段提取要按照“需多少、提多少”的原則，避免“select *”

我們來做一個試驗：

select top 10000 gid,fariqi,reader,title from tgongwen ord

轉載于:https://www.cnblogs.com/wzg0319/archive/2010/03/01/1675719.html