（一）深入淺出了解索引結構
實際上，您可以把索引了解為一種特殊的目錄。微軟的SQL SERVER提供了兩種索引：聚集索引（clustered index，也稱聚類索引、簇集索引）和非聚集索引（nonclustered index，也稱非聚類索引、非簇集索引）。下面，我們舉例來說明一下聚集索引和非聚集索引的差別：
其實，我們的漢語字典的正文本身就是一個聚集索引。比如，我們要查“安”字，就會很自然地翻開字典的前幾頁，因為“安”的拼音是“an”，而按照拼音排序漢字的字典是以英文字母“a”開頭并以“z”結尾的，那麼“安”字就自然地排在字典的前部。如果您翻完了所有以“a”開頭的部分仍然找不到這個字，那麼就說明您的字典中沒有這個字；同樣的，如果查“張”字，那您也會将您的字典翻到最後部分，因為“張”的拼音是“zhang”。也就是說，字典的正文部分本身就是一個目錄，您不需要再去查其他目錄來找到您需要找的内容。我們把這種正文内容本身就是一種按照一定規則排列的目錄稱為“聚集索引”。
如果您認識某個字，您可以快速地從自動中查到這個字。但您也可能會遇到您不認識的字，不知道它的發音，這時候，您就不能按照剛才的方法找到您要查的字，而需要去根據“偏旁部首”查到您要找的字，然後根據這個字後的頁碼直接翻到某頁來找到您要找的字。但您結合“部首目錄”和“檢字表”而查到的字的排序并不是真正的正文的排序方法，比如您查“張”字，我們可以看到在查部首之後的檢字表中“張”的頁碼是672頁，檢字表中“張”的上面是“馳”字，但頁碼卻是63頁，“張”的下面是“弩”字，頁面是390頁。很顯然，這些字并不是真正的分别位于“張”字的上下方，現在您看到的連續的“馳、張、弩”三字實際上就是他們在非聚集索引中的排序，是字典正文中的字在非聚集索引中的映射。我們可以通過這種方式來找到您所需要的字，但它需要兩個過程，先找到目錄中的結果，然後再翻到您所需要的頁碼。我們把這種目錄純粹是目錄，正文純粹是正文的排序方式稱為“非聚集索引”。
通過以上例子，我們可以了解到什麼是“聚集索引”和“非聚集索引”。進一步引申一下，我們可以很容易的了解：每個表隻能有一個聚集索引，因為目錄隻能按照一種方法進行排序。
二、何時使用聚集索引或非聚集索引
下面的表總結了何時使用聚集索引或非聚集索引（很重要）：
| 動作描述 | 使用聚集索引 | 使用非聚集索引 |
| 列經常被分組排序 | 應 | 應 |
| 傳回某範圍内的資料 | 應 | 不應 |
| 一個或極少不同值 | 不應 | 不應 |
| 小數目的不同值 | 應 | 不應 |
| 大數目的不同值 | 不應 | 應 |
| 頻繁更新的列 | 不應 | 應 |
| 外鍵列 | 應 | 應 |
| 主鍵列 | 應 | 應 |
| 頻繁修改索引列 | 不應 | 應 |
事實上，我們可以通過前面聚集索引和非聚集索引的定義的例子來了解上表。如：傳回某範圍内的資料一項。比如您的某個表有一個時間列，恰好您把聚合索引建立在了該列，這時您查詢2004年1月1日至2004年10月1日之間的全部資料時，這個速度就将是很快的，因為您的這本字典正文是按日期進行排序的，聚類索引隻需要找到要檢索的所有資料中的開頭和結尾資料即可；而不像非聚集索引，必須先查到目錄中查到每一項資料對應的頁碼，然後再根據頁碼查到具體内容。
三、結合實際，談索引使用的誤區
理論的目的是應用。雖然我們剛才列出了何時應使用聚集索引或非聚集索引，但在實踐中以上規則卻很容易被忽視或不能根據實際情況進行綜合分析。下面我們将根據在實踐中遇到的實際問題來談一下索引使用的誤區，以便于大家掌握索引建立的方法。
1、主鍵就是聚集索引
這種想法筆者認為是極端錯誤的，是對聚集索引的一種浪費。雖然SQL SERVER預設是在主鍵上建立聚集索引的。
通常，我們會在每個表中都建立一個ID列，以區分每條資料，并且這個ID列是自動增大的，步長一般為1。我們的這個辦公自動化的執行個體中的列Gid就是如此。此時，如果我們将這個列設為主鍵，SQL SERVER會将此列預設為聚集索引。這樣做有好處，就是可以讓您的資料在資料庫中按照ID進行實體排序，但筆者認為這樣做意義不大。
顯而易見，聚集索引的優勢是很明顯的，而每個表中隻能有一個聚集索引的規則，這使得聚集索引變得更加珍貴。
從我們前面談到的聚集索引的定義我們可以看出，使用聚集索引的最大好處就是能夠根據查詢要求，迅速縮小查詢範圍，避免全表掃描。在實際應用中，因為ID号是自動生成的，我們并不知道每條記錄的ID号，是以我們很難在實踐中用ID号來進行查詢。這就使讓ID号這個主鍵作為聚集索引成為一種資源浪費。其次，讓每個ID号都不同的字段作為聚集索引也不符合“大數目的不同值情況下不應建立聚合索引”規則；當然，這種情況隻是針對使用者經常修改記錄内容，特别是索引項的時候會負作用，但對于查詢速度并沒有影響。
在辦公自動化系統中，無論是系統首頁顯示的需要使用者簽收的檔案、會議還是使用者進行檔案查詢等任何情況下進行資料查詢都離不開字段的是“日期”還有使用者本身的“使用者名”。
通常，辦公自動化的首頁會顯示每個使用者尚未簽收的檔案或會議。雖然我們的where語句可以僅僅限制目前使用者尚未簽收的情況，但如果您的系統已建立了很長時間，并且資料量很大，那麼，每次每個使用者打開首頁的時候都進行一次全表掃描，這樣做意義是不大的，絕大多數的使用者1個月前的檔案都已經浏覽過了，這樣做隻能徒增資料庫的開銷而已。事實上，我們完全可以讓使用者打開系統首頁時，資料庫僅僅查詢這個使用者近3個月來未閱覽的檔案，通過“日期”這個字段來限制表掃描，提高查詢速度。如果您的辦公自動化系統已經建立的2年，那麼您的首頁顯示速度理論上将是原來速度8倍，甚至更快。
在這裡之是以提到“理論上”三字，是因為如果您的聚集索引還是盲目地建在ID這個主鍵上時，您的查詢速度是沒有這麼高的，即使您在“日期”這個字段上建立的索引（非聚合索引）。下面我們就來看一下在1000萬條資料量的情況下各種查詢的速度表現（3個月内的資料為25萬條）：
（1）僅在主鍵上建立聚集索引，并且不劃分時間段：
1.Select gid,fariqi,neibuyonghu,title from tgongwen
用時：128470毫秒（即：128秒）
（2）在主鍵上建立聚集索引，在fariq上建立非聚集索引：
1.select gid,fariqi,neibuyonghu,title from Tgongwen
2.where fariqi> dateadd(day,-90,getdate())
用時：53763毫秒（54秒）
（3）将聚合索引建立在日期列（fariqi）上：
1.select gid,fariqi,neibuyonghu,title from Tgongwen
2.where fariqi> dateadd(day,-90,getdate())
用時：2423毫秒（2秒）
雖然每條語句提取出來的都是25萬條資料，各種情況的差異卻是巨大的，特别是将聚集索引建立在日期列時的差異。事實上，如果您的資料庫真的有1000萬容量的話，把主鍵建立在ID列上，就像以上的第1、2種情況，在網頁上的表現就是逾時，根本就無法顯示。這也是我摒棄ID列作為聚集索引的一個最重要的因素。得出以上速度的方法是：在各個select語句前加：
1.declare @d datetime
2.set @d=getdate()
并在select語句後加：
1.select [語句執行花費時間(毫秒)]=datediff(ms,@d,getdate())
2、隻要建立索引就能顯著提高查詢速度
事實上，我們可以發現上面的例子中，第2、3條語句完全相同，且建立索引的字段也相同；不同的僅是前者在fariqi字段上建立的是非聚合索引，後者在此字段上建立的是聚合索引，但查詢速度卻有着天壤之别。是以，并非是在任何字段上簡單地建立索引就能提高查詢速度。
從建表的語句中，我們可以看到這個有着1000萬資料的表中fariqi字段有5003個不同記錄。在此字段上建立聚合索引是再合适不過了。在現實中，我們每天都會發幾個檔案，這幾個檔案的發文日期就相同，這完全符合建立聚集索引要求的：“既不能絕大多數都相同，又不能隻有極少數相同”的規則。由此看來，我們建立“适當”的聚合索引對于我們提高查詢速度是非常重要的。
3、把所有需要提高查詢速度的字段都加進聚集索引，以提高查詢速度
上面已經談到：在進行資料查詢時都離不開字段的是“日期”還有使用者本身的“使用者名”。既然這兩個字段都是如此的重要，我們可以把他們合并起來，建立一個複合索引（compound index）。
很多人認為隻要把任何字段加進聚集索引，就能提高查詢速度，也有人感到迷惑：如果把複合的聚集索引字段分開查詢，那麼查詢速度會減慢嗎？帶着這個問題，我們來看一下以下的查詢速度（結果集都是25萬條資料）：（日期列fariqi首先排在複合聚集索引的起始列，使用者名neibuyonghu排在後列）：
1.（1）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>''2004-5-5''
查詢速度：2513毫秒
1.（2）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>''2004-5-5'' and neibuyonghu=''辦公室''
查詢速度：2516毫秒
1.（3）select gid,fariqi,neibuyonghu,title from Tgongwen where neibuyonghu=''辦公室''
查詢速度：60280毫秒
從以上試驗中，我們可以看到如果僅用聚集索引的起始列作為查詢條件和同時用到複合聚集索引的全部列的查詢速度是幾乎一樣的，甚至比用上全部的複合索引列還要略快（在查詢結果集數目一樣的情況下）；而如果僅用複合聚集索引的非起始列作為查詢條件的話，這個索引是不起任何作用的。當然，語句1、2的查詢速度一樣是因為查詢的條目數一樣，如果複合索引的所有列都用上，而且查詢結果少的話，這樣就會形成“索引覆寫”，因而性能可以達到最優。同時，請記住：無論您是否經常使用聚合索引的其他列，但其前導列一定要是使用最頻繁的列。
四、其他書上沒有的索引使用經驗總結
1、用聚合索引比用不是聚合索引的主鍵速度快
下面是執行個體語句：（都是提取25萬條資料）
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
使用時間：3326毫秒
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid<=250000
使用時間：4470毫秒
這裡，用聚合索引比用不是聚合索引的主鍵速度快了近1/4。
2、用聚合索引比用一般的主鍵作order by時速度快，特别是在小資料量情況下
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by fariqi
用時：12936
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by gid
用時：18843
這裡，用聚合索引比用一般的主鍵作order by時，速度快了3/10。事實上，如果資料量很小的話，用聚集索引作為排序列要比使用非聚集索引速度快得明顯的多；而資料量如果很大的話，如10萬以上，則二者的速度差别不明顯。
3、使用聚合索引内的時間段，搜尋時間會按資料占整個資料表的百分比成比例減少，而無論聚合索引使用了多少個：
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-1-1''
用時：6343毫秒（提取100萬條）
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-6-6''
用時：3170毫秒（提取50萬條）
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
用時：3326毫秒（和上句的結果一模一樣。如果采集的數量一樣，那麼用大于号和等于号是一樣的）
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-1-1'' and fariqi<''2004-6-6''
用時：3280毫秒
4、日期列不會因為有分秒的輸入而減慢查詢速度
下面的例子中，共有100萬條資料，2004年1月1日以後的資料有50萬條，但隻有兩個不同的日期，日期精确到日；之前有資料50萬條，有5000個不同的日期，日期精确到秒。
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-1-1'' order by fariqi
用時：6390毫秒
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi<''2004-1-1'' order by fariqi
用時：6453毫秒
五、其他注意事項
“水可載舟，亦可覆舟”，索引也一樣。索引有助于提高檢索性能，但過多或不當的索引也會導緻系統低效。因為使用者在表中每加進一個索引，資料庫就要做更多的工作。過多的索引甚至會導緻索引碎片。
是以說，我們要建立一個“适當”的索引體系，特别是對聚合索引的建立，更應精益求精，以使您的資料庫能得到高性能的發揮。
當然，在實踐中，作為一個盡職的資料庫管理者，您還要多測試一些方案，找出哪種方案效率最高、最為有效。
（二）改善SQL語句
很多人不知道SQL語句在SQL SERVER中是如何執行的，他們擔心自己所寫的SQL語句會被SQL SERVER誤解。比如：
1.select * from table1 where name=''zhangsan'' and tID > 10000和執行select * from table1 where tID > 10000 and name=''zhangsan''
一些人不知道以上兩條語句的執行效率是否一樣，因為如果簡單的從語句先後上看，這兩個語句的确是不一樣，如果tID是一個聚合索引，那麼後一句僅僅從表的10000條以後的記錄中查找就行了；而前一句則要先從全表中查找看有幾個name=''zhangsan''的，而後再根據限制條件條件tID>10000來提出查詢結果。
事實上，這樣的擔心是不必要的。SQL SERVER中有一個“查詢分析優化器”，它可以計算出where子句中的搜尋條件并确定哪個索引能縮小表掃描的搜尋空間，也就是說，它能實作自動優化。
雖然查詢優化器可以根據where子句自動的進行查詢優化，但大家仍然有必要了解一下“查詢優化器”的工作原理，如非這樣，有時查詢優化器就會不按照您的本意進行快速查詢。
在查詢分析階段，查詢優化器檢視查詢的每個階段并決定限制需要掃描的資料量是否有用。如果一個階段可以被用作一個掃描參數（SARG），那麼就稱之為可優化的，并且可以利用索引快速獲得所需資料。
SARG的定義：用于限制搜尋的一個操作，因為它通常是指一個特定的比對，一個值得範圍内的比對或者兩個以上條件的AND連接配接。形式如下：
列名 操作符 <常數 或 變量>或<常數 或 變量> 操作符列名
列名可以出現在操作符的一邊，而常數或變量出現在操作符的另一邊。如：
Name=’張三’
價格>5000
5000<價格
Name=’張三’ and 價格>5000
如果一個表達式不能滿足SARG的形式，那它就無法限制搜尋的範圍了，也就是SQL SERVER必須對每一行都判斷它是否滿足WHERE子句中的所有條件。是以一個索引對于不滿足SARG形式的表達式來說是無用的。
介紹完SARG後，我們來總結一下使用SARG以及在實踐中遇到的和某些資料上結論不同的經驗：
1、Like語句是否屬于SARG取決于所使用的通配符的類型
如：name like ‘張%’ ，這就屬于SARG
而：name like ‘%張’ ,就不屬于SARG。
原因是通配符%在字元串的開通使得索引無法使用。
2、or 會引起全表掃描
Name=’張三’ and 價格>5000 符号SARG，而：Name=’張三’ or 價格>5000 則不符合SARG。使用or會引起全表掃描。
3、非操作符、函數引起的不滿足SARG形式的語句
不滿足SARG形式的語句最典型的情況就是包括非操作符的語句，如：NOT、!=、<>、!<、!>、NOT EXISTS、NOT IN、NOT LIKE等，另外還有函數。下面就是幾個不滿足SARG形式的例子：
ABS(價格)<5000
Name like ‘%三’
有些表達式，如：
WHERE 價格*2>5000
SQL SERVER也會認為是SARG，SQL SERVER會将此式轉化為：
WHERE 價格>2500/2
但我們不推薦這樣使用，因為有時SQL SERVER不能保證這種轉化與原始表達式是完全等價的。
4、IN 的作用相當與OR
語句：
Select * from table1 where tid in (2,3)和Select * from table1 where tid=2 or tid=3
是一樣的，都會引起全表掃描，如果tid上有索引，其索引也會失效。
5、盡量少用NOT
6、exists 和 in 的執行效率是一樣的
很多資料上都顯示說，exists要比in的執行效率要高，同時應盡可能的用not exists來代替not in。但事實上，我試驗了一下，發現二者無論是前面帶不帶not，二者之間的執行效率都是一樣的。因為涉及子查詢，我們試驗這次用SQL SERVER自帶的pubs資料庫。運作前我們可以把SQL SERVER的statistics I/O狀态打開：
1.（1）select title,price from titles where title_id in (select title_id from sales where qty>30)
該句的執行結果為：
表 ''sales''。掃描計數 18，邏輯讀 56 次，實體讀 0 次，預讀 0 次。
表 ''titles''。掃描計數 1，邏輯讀 2 次，實體讀 0 次，預讀 0 次。
1.（2）select title,price from titles where exists (select * from sales where sales.title_id=titles.title_id and qty>30)
第二句的執行結果為：
表 ''sales''。掃描計數 18，邏輯讀 56 次，實體讀 0 次，預讀 0 次。
表 ''titles''。掃描計數 1，邏輯讀 2 次，實體讀 0 次，預讀 0 次。
我們從此可以看到用exists和用in的執行效率是一樣的。
7、用函數charindex()和前面加通配符%的LIKE執行效率一樣
前面，我們談到，如果在LIKE前面加上通配符%，那麼将會引起全表掃描，是以其執行效率是低下的。但有的資料介紹說，用函數charindex()來代替LIKE速度會有大的提升，經我試驗，發現這種說明也是錯誤的：
1.select gid,title,fariqi,reader from tgongwen where charindex(''刑偵支隊'',reader)>0 and fariqi>''2004-5-5''
用時：7秒，另外：掃描計數 4，邏輯讀 7155 次，實體讀 0 次，預讀 0 次。
1.select gid,title,fariqi,reader from tgongwen where reader like ''%'' + ''刑偵支隊'' + ''%'' and fariqi>''2004-5-5''
用時：7秒，另外：掃描計數 4，邏輯讀 7155 次，實體讀 0 次，預讀 0 次。
8、union并不絕對比or的執行效率高
我們前面已經談到了在where子句中使用or會引起全表掃描，一般的，我所見過的資料都是推薦這裡用union來代替or。事實證明，這種說法對于大部分都是适用的。
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16'' or gid>9990000
用時：68秒。掃描計數 1，邏輯讀 404008 次，實體讀 283 次，預讀 392163 次。
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
2.union
3.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid>9990000
用時：9秒。掃描計數 8，邏輯讀 67489 次，實體讀 216 次，預讀 7499 次。
看來，用union在通常情況下比用or的效率要高的多。
但經過試驗，筆者發現如果or兩邊的查詢列是一樣的話，那麼用union則反倒和用or的執行速度差很多，雖然這裡union掃描的是索引，而or掃描的是全表。
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16'' or fariqi=''2004-2-5''
用時：6423毫秒。掃描計數 2，邏輯讀 14726 次，實體讀 1 次，預讀 7176 次。
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
2.union
3.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-2-5''
用時：11640毫秒。掃描計數 8，邏輯讀 14806 次，實體讀 108 次，預讀 1144 次。
9、字段提取要按照“需多少、提多少”的原則，避免“select *”
我們來做一個試驗：
1.select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc
用時：4673毫秒
1.select top 10000 gid,fariqi,title from tgongwen order by gid desc
用時：1376毫秒
1.select top 10000 gid,fariqi from tgongwen order by gid desc
用時：80毫秒
由此看來，我們每少提取一個字段，資料的提取速度就會有相應的提升。提升的速度還要看您舍棄的字段的大小來判斷。
10、count(*)不比count(字段)慢
某些資料上說：用*會統計所有列，顯然要比一個世界的列名效率低。這種說法其實是沒有根據的。我們來看：
1.select count(*) from Tgongwen
用時：1500毫秒
1.select count(gid) from Tgongwen
用時：1483毫秒
1.select count(fariqi) from Tgongwen
用時：3140毫秒
1.select count(title) from Tgongwen
用時：52050毫秒
從以上可以看出，如果用count(*)和用count(主鍵)的速度是相當的，而count(*)卻比其他任何除主鍵以外的字段彙總速度要快，而且字段越長，彙總的速度就越慢。我想，如果用count(*)， SQL SERVER可能會自動查找最小字段來彙總的。當然，如果您直接寫count(主鍵)将會來的更直接些。
11、order by按聚集索引列排序效率最高
我們來看：（gid是主鍵，fariqi是聚合索引列）：
1.select top 10000 gid,fariqi,reader,title from tgongwen
用時：196 毫秒。 掃描計數 1，邏輯讀 289 次，實體讀 1 次，預讀 1527 次。
1.select top 10000 gid,fariqi,reader,title from tgongwen order by gid asc
用時：4720毫秒。 掃描計數 1，邏輯讀 41956 次，實體讀 0 次，預讀 1287 次。
1.select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc
用時：4736毫秒。 掃描計數 1，邏輯讀 55350 次，實體讀 10 次，預讀 775 次。
1.select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi asc
用時：173毫秒。 掃描計數 1，邏輯讀 290 次，實體讀 0 次，預讀 0 次。
1.select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi desc
用時：156毫秒。 掃描計數 1，邏輯讀 289 次，實體讀 0 次，預讀 0 次。
從以上我們可以看出，不排序的速度以及邏輯讀次數都是和“order by 聚集索引列” 的速度是相當的，但這些都比“order by 非聚集索引列”的查詢速度是快得多的。
同時，按照某個字段進行排序的時候，無論是正序還是倒序，速度是基本相當的。
12、高效的TOP
事實上，在查詢和提取超大容量的資料集時，影響資料庫響應時間的最大因素不是資料查找，而是實體的I/0操作。如：
select top 10 * from (
select top 10000 gid,fariqi,title from tgongwen where neibuyonghu='辦公室' order by gid desc
) as a
order by gid asc 這條語句，從理論上講，整條語句的執行時間應該比子句的執行時間長，但事實相反。因為，子句執行後傳回的是10000條記錄，而整條語句僅傳回10條語句，是以影響資料庫響應時間最大的因素是實體I/O操作。而限制實體I/O操作此處的最有效方法之一就是使用TOP關鍵詞了。TOP關鍵詞是SQL SERVER中經過系統優化過的一個用來提取前幾條或前幾個百分比資料的詞。經筆者在實踐中的應用，發現TOP确實很好用，效率也很高。但這個詞在另外一個大型資料庫ORACLE中卻沒有，這不能說不是一個遺憾，雖然在ORACLE中可以用其他方法（如：rownumber）來解決。在以後的關于“實作千萬級資料的分頁顯示存儲過程”的讨論中，我們就将用到TOP這個關鍵詞。
到此為止，我們上面讨論了如何實作從大容量的資料庫中快速地查詢出您所需要的資料方法。當然，我們介紹的這些方法都是“軟”方法，在實踐中，我們還要考慮各種“硬”因素，如：網絡性能、伺服器的性能、作業系統的性能，甚至網卡、交換機等。
（三）實作小資料量和海量資料的通用分頁顯示存儲過程
建立一個 Web 應用，分頁浏覽功能必不可少。這個問題是資料庫進行中十分常見的問題。經典的資料分頁方法是:ADO 紀錄集分頁法，也就是利用ADO自帶的分頁功能（利用遊标）來實作分頁。但這種分頁方法僅适用于較小資料量的情形，因為遊标本身有缺點：遊标是存放在記憶體中，很費記憶體。遊标一建立，就将相關的記錄鎖住，直到取消遊标。遊标提供了對特定集合中逐行掃描的手段，一般使用遊标來逐行周遊資料，根據取出資料條件的不同進行不同的操作。而對于多表和大表中定義的遊标（大的資料集合）循環很容易使程式進入一個漫長的等待甚至當機。
更重要的是，對于非常大的資料模型而言，分頁檢索時，如果按照傳統的每次都加載整個資料源的方法是非常浪費資源的。現在流行的分頁方法一般是檢索頁面大小的塊區的資料，而非檢索所有的資料，然後單步執行目前行。
最早較好地實作這種根據頁面大小和頁碼來提取資料的方法大概就是“俄羅斯存儲過程”。這個存儲過程用了遊标，由于遊标的局限性，是以這個方法并沒有得到大家的普遍認可。
後來，網上有人改造了此存儲過程，下面的存儲過程就是結合我們的辦公自動化執行個體寫的分頁存儲過程：
CREATE procedure pagination1(
@pagesize int, --頁面大小，如每頁存儲20條記錄
@pageindex int --目前頁碼
) as set nocount on
begin
declare @indextable table(id int identity(1,1),nid int); --定義表變量
declare @PageLowerBound int; --定義此頁的底碼
declare @PageUpperBound int; --定義此頁的頂碼
set @PageLowerBound=(@pageindex-1)*@pagesize;
set @[email protected][email protected];
set rowcount @PageUpperBound;
insert into @indextable(nid) select gid from TGongwen
where fariqi >dateadd(day,-365,getdate()) order by fariqi desc;
select O.gid,O.mid,O.title,O.fadanwei,O.fariqi from TGongwen O,@indextable t
where O.gid=t.nid and t.id>@PageLowerBound
and t.id<[email protected] order by t.id;
end
set nocount off 以上存儲過程運用了SQL SERVER的最新技術――表變量。應該說這個存儲過程也是一個非常優秀的分頁存儲過程。當然，在這個過程中，您也可以把其中的表變量寫成臨時表：CREATE TABLE #Temp。但很明顯，在SQL SERVER中，用臨時表是沒有用表變量快的。是以筆者剛開始使用這個存儲過程時，感覺非常的不錯，速度也比原來的ADO的好。但後來，我又發現了比此方法更好的方法。
筆者曾在網上看到了一篇小短文《從資料表中取出第n條到第m條的記錄的方法》，全文如下：
--從publish 表中取出第 n 條到第 m 條的記錄：
SELECT TOP m-n+1 * FROM publish WHERE (id NOT IN (SELECT TOP n-1 id FROM publish))
--id 為publish 表的關鍵字 我當時看到這篇文章的時候，真的是精神為之一振，覺得思路非常得好。等到後來，我在作辦公自動化系統（ASP.NET+ C#＋SQL SERVER）的時候，忽然想起了這篇文章，我想如果把這個語句改造一下，這就可能是一個非常好的分頁存儲過程。于是我就滿網上找這篇文章，沒想到，文章還沒找到，卻找到了一篇根據此語句寫的一個分頁存儲過程，這個存儲過程也是目前較為流行的一種分頁存儲過程，我很後悔沒有争先把這段文字改造成存儲過程：
CREATE PROCEDURE pagination2(
@SQL nVARCHAR(4000), --不帶排序語句的SQL語句
@Page int, --頁碼
@RecsPerPage int, --每頁容納的記錄數
@ID VARCHAR(255), --需要排序的不重複的ID号
@Sort VARCHAR(255) --排序字段及規則
) AS
DECLARE @Str nVARCHAR(4000)
SET @Str=''SELECT TOP ''+CAST(@RecsPerPage AS VARCHAR(20))+'' * FROM
(''[email protected]+'') T WHERE T.''[email protected]+''NOT IN (SELECT TOP''+CAST((@RecsPerPage*(@Page-1))
AS VARCHAR(20))+'' ''[email protected]+'' FROM (''[email protected]+'') T9 ORDER BY''[email protected]+'') ORDER BY ''[email protected]
PRINT @Str --列印變量@Str
EXEC sp_ExecuteSql @Str
GO;
--其實，以上語句可以簡化為：
SELECT TOP 頁大小 *
FROM Table1 WHERE (ID NOT IN (SELECT TOP 頁大小*頁數 id FROM 表 ORDER BY id))
ORDER BY id;
--但這個存儲過程有一個緻命的缺點，就是它含有NOT IN字樣。雖然我可以把它改造為：
SELECT TOP 頁大小 *
FROM Table1 WHERE not exists
(SELECT * FROM (SELECT TOP (頁大小*頁數) * FROM table1 ORDER BY id) b WHERE b.id=a.id )
ORDER BY id; 即，用not exists來代替not in，但我們前面已經談過了，二者的執行效率實際上是沒有差別的。既便如此，用TOP 結合NOT IN的這個方法還是比用遊标要來得快一些。
雖然用not exists并不能挽救上個存儲過程的效率，但使用SQL SERVER中的TOP關鍵字卻是一個非常明智的選擇。因為分頁優化的最終目的就是避免産生過大的記錄集，而我們在前面也已經提到了TOP的優勢，通過TOP 即可實作對資料量的控制。
在分頁算法中，影響我們查詢速度的關鍵因素有兩點：TOP和NOT IN。TOP可以提高我們的查詢速度，而NOT IN會減慢我們的查詢速度，是以要提高我們整個分頁算法的速度，就要徹底改造NOT IN，同其他方法來替代它。
我們知道，幾乎任何字段，我們都可以通過max(字段)或min(字段)來提取某個字段中的最大或最小值，是以如果這個字段不重複，那麼就可以利用這些不重複的字段的max或min作為分水嶺，使其成為分頁算法中分開每頁的參照物。在這裡，我們可以用操作符“>”或“<”号來完成這個使命，使查詢語句符合SARG形式。如：
Select top 10 * from table1 where id>200
--于是就有了如下分頁方案：
select top 頁大小 * from table1
where id > (select max (id) from (select top ((頁碼-1)*頁大小) id from table1 order by id) as T)
order by id 在選擇即不重複值，又容易分辨大小的列時，我們通常會選擇主鍵。下表列出了筆者用有着1000萬資料的辦公自動化系統中的表，在以GID（GID是主鍵，但并不是聚集索引。）為排序列、提取gid,fariqi,title字段，分别以第1、10、100、500、1000、1萬、10萬、25萬、50萬頁為例，測試以上三種分頁方案的執行速度：（機關：毫秒）
| 頁碼 | 方案1 | 方案2 | 方案3 |
| 1 | 60 | 30 | 76 |
| 10 | 46 | 16 | 63 |
| 100 | 1076 | 720 | 130 |
| 500 | 540 | 12943 | 83 |
| 1000 | 17110 | 470 | 250 |
| 10000 | 24796 | 4500 | 140 |
| 100000 | 38326 | 42283 | 1553 |
| 250000 | 28140 | 128720 | 2330 |
| 500000 | 121686 | 127846 | 7168 |
從上表中，我們可以看出，三種存儲過程在執行100頁以下的分頁指令時，都是可以信任的，速度都很好。但第一種方案在執行分頁1000頁以上後，速度就降了下來。第二種方案大約是在執行分頁1萬頁以上後速度開始降了下來。而第三種方案卻始終沒有大的降勢，後勁仍然很足。
在确定了第三種分頁方案後，我們可以據此寫一個存儲過程。大家知道SQL SERVER的存儲過程是事先編譯好的SQL語句，它的執行效率要比通過WEB頁面傳來的SQL語句的執行效率要高。下面的存儲過程不僅含有分頁方案，還會根據頁面傳來的參數來确定是否進行資料總數統計。
--擷取指定頁的資料：
CREATE PROCEDURE pagination3(
@tblName varchar(255), -- 表名
@strGetFields varchar(1000) = "*", -- 需要傳回的列
@fldName varchar(255)=" ", -- 排序的字段名
@PageSize int = 10, -- 頁尺寸
@PageIndex int = 1, -- 頁碼
@doCount bit = 0, -- 傳回記錄總數, 非 0 值則傳回
@OrderType bit = 0, -- 設定排序類型, 非 0 值則降序
@strWhere varchar(1500) = '' -- 查詢條件 (注意: 不要加 where)
)
AS
declare @strSQL varchar(5000) -- 主語句
declare @strTmp varchar(110) -- 臨時變量
declare @strOrder varchar(400) -- 排序類型
if @doCount != 0
begin
if @strWhere !=""
set @strSQL = "select count(*) as Total from [" + @tblName + "] where "[email protected]
else
set @strSQL = "select count(*) as Total from [" + @tblName + "]"
end
--以上代碼的意思是如果@doCount傳遞過來的不是0，就執行總數統計。以下的所有代碼都是@doCount為0的情況：
else
begin
if @OrderType != 0
begin
set @strTmp = "<(select min"
set @strOrder = " order by [" + @fldName +"] desc"
--如果@OrderType不是0，就執行降序，這句很重要！
end
else
begin
set @strTmp = ">(select max"
set @strOrder = " order by [" + @fldName +"] asc"
end
if @PageIndex = 1
begin
if @strWhere != ''''
set @strSQL = "select top " + str(@PageSize) +" "[email protected]+ "
from [" + @tblName + "] where " + @strWhere + " " + @strOrder
else
set @strSQL = "select top " + str(@PageSize) +" "[email protected]+ "
from ["+ @tblName + "] "+ @strOrder
--如果是第一頁就執行以上代碼，這樣會加快執行速度
end
else
begin
--以下代碼賦予了@strSQL以真正執行的SQL代碼
set @strSQL = "select top " + str(@PageSize) +" "[email protected]+ " from ["
+ @tblName + "] where [" + @fldName + "]" + @strTmp + "(["+ @fldName + "])
from (select top " + str((@PageIndex-1)*@PageSize) + " ["+ @fldName + "]
from [" + @tblName + "]" + @strOrder + ") as tblTmp)"+ @strOrder
if @strWhere != ""
set @strSQL = "select top " + str(@PageSize) +" "[email protected]+ " from ["
+ @tblName + "] where [" + @fldName + "]" + @strTmp + "(["
+ @fldName + "]) from (select top " + str((@PageIndex-1)*@PageSize) +" ["
+ @fldName + "] from [" + @tblName + "] where " + @strWhere + " "
+ @strOrder + ") as tblTmp) and " + @strWhere + " " + @strOrder
end
end
exec (@strSQL)
GO 上面的這個存儲過程是一個通用的存儲過程，其注釋已寫在其中了。在大資料量的情況下，特别是在查詢最後幾頁的時候，查詢時間一般不會超過9秒；而用其他存儲過程，在實踐中就會導緻逾時，是以這個存儲過程非常适用于大容量資料庫的查詢。筆者希望能夠通過對以上存儲過程的解析，能給大家帶來一定的啟示，并給工作帶來一定的效率提升，同時希望同行提出更優秀的實時資料分頁算法。
（四）聚集索引的重要性和如何選擇聚集索引
在上一節的标題中，筆者寫的是：實作小資料量和海量資料的通用分頁顯示存儲過程。這是因為在将本存儲過程應用于“辦公自動化”系統的實踐中時，筆者發現這第三種存儲過程在小資料量的情況下，有如下現象：
1、分頁速度一般維持在1秒和3秒之間。
2、在查詢最後一頁時，速度一般為5秒至8秒，哪怕分頁總數隻有3頁或30萬頁。
雖然在超大容量情況下，這個分頁的實作過程是很快的，但在分前幾頁時，這個1－3秒的速度比起第一種甚至沒有經過優化的分頁方法速度還要慢，借使用者的話說就是“還沒有ACCESS資料庫速度快”，這個認識足以導緻使用者放棄使用您開發的系統。
筆者就此分析了一下，原來産生這種現象的症結是如此的簡單，但又如此的重要：排序的字段不是聚集索引！
本篇文章的題目是：“查詢優化及分頁算法方案”。筆者隻是以把“查詢優化”和“分頁算法”這兩個聯系不是很大的論題放在一起，就是因為二者都需要一個非常重要的東西――聚集索引。
在前面的讨論中我們已經提到了，聚集索引有兩個最大的優勢：
1、以最快的速度縮小查詢範圍。
2、以最快的速度進行字段排序。
第1條多用在查詢優化時，而第2條多用在進行分頁時的資料排序。
而聚集索引在每個表内又隻能建立一個，這使得聚集索引顯得更加的重要。聚集索引的挑選可以說是實作“查詢優化”和“高效分頁”的最關鍵因素。
但要既使聚集索引列既符合查詢列的需要，又符合排序列的需要，這通常是一個沖突。筆者前面“索引”的讨論中，将fariqi，即使用者發文日期作為了聚集索引的起始列，日期的精确度為“日”。這種作法的優點，前面已經提到了，在進行劃時間段的快速查詢中，比用ID主鍵列有很大的優勢。
但在分頁時，由于這個聚集索引列存在着重複記錄，是以無法使用max或min來最為分頁的參照物，進而無法實作更為高效的排序。而如果将ID主鍵列作為聚集索引，那麼聚集索引除了用以排序之外，沒有任何用處，實際上是浪費了聚集索引這個寶貴的資源。
為解決這個沖突，筆者後來又添加了一個日期列，其預設值為getdate()。使用者在寫入記錄時，這個列自動寫入當時的時間，時間精确到毫秒。即使這樣，為了避免可能性很小的重合，還要在此列上建立UNIQUE限制。将此日期列作為聚集索引列。
有了這個時間型聚集索引列之後，使用者就既可以用這個列查找使用者在插入資料時的某個時間段的查詢，又可以作為唯一列來實作max或min，成為分頁算法的參照物。
經過這樣的優化，筆者發現，無論是大資料量的情況下還是小資料量的情況下，分頁速度一般都是幾十毫秒，甚至0毫秒。而用日期段縮小範圍的查詢速度比原來也沒有任何遲鈍。聚集索引是如此的重要和珍貴，是以筆者總結了一下，一定要将聚集索引建立在：
1、您最頻繁使用的、用以縮小查詢範圍的字段上；
2、您最頻繁使用的、需要排序的字段上。
結束語
本篇文章彙集了筆者近段在使用資料庫方面的心得，是在做“辦公自動化”系統時實踐經驗的積累。希望這篇文章不僅能夠給大家的工作帶來一定的幫助，也希望能讓大家能夠體會到分析問題的方法；最重要的是，希望這篇文章能夠抛磚引玉，掀起大家的學習和讨論的興趣，以共同促進，共同為公安科技強警事業和金盾工程做出自己最大的努力。
最後需要說明的是，在試驗中，我發現使用者在進行大資料量查詢的時候，對資料庫速度影響最大的不是記憶體大小，而是CPU。在我的P4 2.4機器上試驗的時候，檢視“資料總管”，CPU經常出現持續到100%的現象，而記憶體用量卻并沒有改變或者說沒有大的改變。即使在我們的HP ML 350 G3伺服器上試驗時，CPU峰值也能達到90%，一般持續在70%左右。
本文的試驗資料都是來自我們的HP ML 350伺服器。伺服器配置：雙Inter Xeon 超線程 CPU 2.4G，記憶體1G，作業系統Windows Server 2003 Enterprise Edition，資料庫SQL Server 2000 SP3
（完）
有索引情況下，insert速度一定有影響，不過：
1. 你不大可能一該不停地進行insert, SQL Server能把你傳來的指令緩存起來，依次執行，不會漏掉任何一個insert。
2. 你也可以建立一個相同結構但不做索引的表，insert資料先插入到這個表裡，當這個表中行數達到一定行數再用insert table1 select * from table2這樣的指令整批插入到有索引的那個表裡。
![資料遷移方法資料遷移原則資料遷移之雙寫方案資料遷移之級聯同步方案[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)