Ⅰ sql如何快速處理海量數據
在以下的文章中，我將以「辦公自動化」系統為例，探討如何在有著1000萬條數據的MS SQL SERVER資料庫中實現快速的數據提取和數據分頁。以下代碼說明了我們實例中資料庫的「紅頭文件」一表的部分數據結構：
CREATE TABLE [dbo].[TGongwen] ( --TGongwen是紅頭文件表名
[Gid] [int] IDENTITY (1, 1) NOT NULL ,
--本表的id號，也是主鍵
[title] [varchar] (80) COLLATE Chinese_PRC_CI_AS NULL ,
--紅頭文件的標題
[fariqi] [datetime] NULL ,
--發布日期
[neibuYonghu] [varchar] (70) COLLATE Chinese_PRC_CI_AS NULL ,
--發布用戶
[reader] [varchar] (900) COLLATE Chinese_PRC_CI_AS NULL ,
--需要瀏覽的用戶。每個用戶中間用分隔符「,」分開
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]
GO
下面，我們來往資料庫中添加1000萬條數據：
declare @i int
set @i=1
while @i<=250000
begin
insert into Tgongwen(fariqi,neibuyonghu,reader,title) values('2004-2-5','通信科','通信科,辦公室,王局長,劉局長,張局長,admin,刑偵支隊,特勤支隊,交巡警支隊,經偵支隊,戶政科,治安支隊,外事科','這是最先的25萬條記錄')
set @i=@i+1
end
GO
declare @i int
set @i=1
while @i<=250000
begin
insert into Tgongwen(fariqi,neibuyonghu,reader,title) values('2004-9-16','辦公室','辦公室,通信科,王局長,劉局長,張局長,admin,刑偵支隊,特勤支隊,交巡警支隊,經偵支隊,戶政科,外事科','這是中間的25萬條記錄')
set @i=@i+1
end
GO
declare @h int
set @h=1
while @h<=100
begin
declare @i int
set @i=2002
while @i<=2003
begin
declare @j int
set @j=0
while @j<50
begin
declare @k int
set @k=0
while @k<50
begin
insert into Tgongwen(fariqi,neibuyonghu,reader,title) values(cast(@i as varchar(4))+'-8-15 3:'+cast(@j as varchar(2))+':'+cast(@j as varchar(2)),'通信科','辦公室,通信科,王局長,劉局長,張局長,admin,刑偵支隊,特勤支隊,交巡警支隊,經偵支隊,戶政科,外事科','這是最後的50萬條記錄')
set @k=@k+1
end
set @j=@j+1
end
set @i=@i+1
end
set @h=@h+1
end
GO
declare @i int
set @i=1
while @i<=9000000
begin
insert into Tgongwen(fariqi,neibuyonghu,reader,title) values('2004-5-5','通信科','通信科,辦公室,王局長,劉局長,張局長,admin,刑偵支隊,特勤支隊,交巡警支隊,經偵支隊,戶政科,治安支隊,外事科','這是最後添加的900萬條記錄')
set @i=@i+1000000
end
GO
通過以上語句，我們創建了25萬條由通信科於2004年2月5日發布的記錄，25萬條由辦公室於2004年9月6日發布的記錄，2002年和2003年各100個2500條相同日期、不同分秒的由通信科發布的記錄（共50萬條），還有由通信科於2004年5月5日發布的900萬條記錄，合計1000萬條。
一、因情制宜，建立「適當」的索引
建立「適當」的索引是實現查詢優化的首要前提。
索引（index）是除表之外另一重要的、用戶定義的存儲在物理介質上的數據結構。當根據索引碼的值搜索數據時，索引提供了對數據的快速訪問。事實上，沒有索引,資料庫也能根據SELECT語句成功地檢索到結果，但隨著表變得越來越大，使用「適當」的索引的效果就越來越明顯。注意，在這句話中，我們用了「適當」這個詞，這是因為，如果使用索引時不認真考慮其實現過程，索引既可以提高也會破壞資料庫的工作性能。
（一）深入淺出理解索引結構
實際上，您可以把索引理解為一種特殊的目錄。微軟的SQL SERVER提供了兩種索引：聚集索引（clustered index，也稱聚類索引、簇集索引）和非聚集索引（nonclustered index，也稱非聚類索引、非簇集索引）。下面，我們舉例來說明一下聚集索引和非聚集索引的區別：
其實，我們的漢語字典的正文本身就是一個聚集索引。比如，我們要查「安」字，就會很自然地翻開字典的前幾頁，因為「安」的拼音是「an」，而按照拼音排序漢字的字典是以英文字母「a」開頭並以「z」結尾的，那麼「安」字就自然地排在字典的前部。如果您翻完了所有以「a」開頭的部分仍然找不到這個字，那麼就說明您的字典中沒有這個字；同樣的，如果查「張」字，那您也會將您的字典翻到最後部分，因為「張」的拼音是「zhang」。也就是說，字典的正文部分本身就是一個目錄，您不需要再去查其他目錄來找到您需要找的內容。
我們把這種正文內容本身就是一種按照一定規則排列的目錄稱為「聚集索引」。
如果您認識某個字，您可以快速地從自動中查到這個字。但您也可能會遇到您不認識的字，不知道它的發音，這時候，您就不能按照剛才的方法找到您要查的字，而需要去根據「偏旁部首」查到您要找的字，然後根據這個字後的頁碼直接翻到某頁來找到您要找的字。但您結合「部首目錄」和「檢字表」而查到的字的排序並不是真正的正文的排序方法，比如您查「張」字，我們可以看到在查部首之後的檢字表中「張」的頁碼是672頁，檢字表中「張」的上面是「馳」字，但頁碼卻是63頁，「張」的下面是「弩」字，頁面是390頁。很顯然，這些字並不是真正的分別位於「張」字的上下方，現在您看到的連續的「馳、張、弩」三字實際上就是他們在非聚集索引中的排序，是字典正文中的字在非聚集索引中的映射。我們可以通過這種方式來找到您所需要的字，但它需要兩個過程，先找到目錄中的結果，然後再翻到您所需要的頁碼。
我們把這種目錄純粹是目錄，正文純粹是正文的排序方式稱為「非聚集索引」。
通過以上例子，我們可以理解到什麼是「聚集索引」和「非聚集索引」。
進一步引申一下，我們可以很容易的理解：每個表只能有一個聚集索引，因為目錄只能按照一種方法進行排序。
（二）何時使用聚集索引或非聚集索引
下面的表總結了何時使用聚集索引或非聚集索引（很重要）。
動作描述
使用聚集索引
使用非聚集索引
列經常被分組排序
應
應
返回某范圍內的數據
應
不應
一個或極少不同值
不應
不應
小數目的不同值
應
不應
大數目的不同值
不應
應
頻繁更新的列
不應
應
外鍵列
應
應
主鍵列
應
應
頻繁修改索引列
不應
應
事實上，我們可以通過前面聚集索引和非聚集索引的定義的例子來理解上表。如：返回某范圍內的數據一項。比如您的某個表有一個時間列，恰好您把聚合索引建立在了該列，這時您查詢2004年1月1日至2004年10月1日之間的全部數據時，這個速度就將是很快的，因為您的這本字典正文是按日期進行排序的，聚類索引只需要找到要檢索的所有數據中的開頭和結尾數據即可；而不像非聚集索引，必須先查到目錄中查到每一項數據對應的頁碼，然後再根據頁碼查到具體內容。
（三）結合實際，談索引使用的誤區
理論的目的是應用。雖然我們剛才列出了何時應使用聚集索引或非聚集索引，但在實踐中以上規則卻很容易被忽視或不能根據實際情況進行綜合分析。下面我們將根據在實踐中遇到的實際問題來談一下索引使用的誤區，以便於大家掌握索引建立的方法。
1、主鍵就是聚集索引
這種想法筆者認為是極端錯誤的，是對聚集索引的一種浪費。雖然SQL SERVER默認是在主鍵上建立聚集索引的。
通常，我們會在每個表中都建立一個ID列，以區分每條數據，並且這個ID列是自動增大的，步長一般為1。我們的這個辦公自動化的實例中的列Gid就是如此。此時，如果我們將這個列設為主鍵，SQL SERVER會將此列默認為聚集索引。這樣做有好處，就是可以讓您的數據在資料庫中按照ID進行物理排序，但筆者認為這樣做意義不大。
顯而易見，聚集索引的優勢是很明顯的，而每個表中只能有一個聚集索引的規則，這使得聚集索引變得更加珍貴。
從我們前面談到的聚集索引的定義我們可以看出，使用聚集索引的最大好處就是能夠根據查詢要求，迅速縮小查詢范圍，避免全表掃描。在實際應用中，因為ID號是自動生成的，我們並不知道每條記錄的ID號，所以我們很難在實踐中用ID號來進行查詢。這就使讓ID號這個主鍵作為聚集索引成為一種資源浪費。其次，讓每個ID號都不同的欄位作為聚集索引也不符合「大數目的不同值情況下不應建立聚合索引」規則；當然，這種情況只是針對用戶經常修改記錄內容，特別是索引項的時候會負作用，但對於查詢速度並沒有影響。
在辦公自動化系統中，無論是系統首頁顯示的需要用戶簽收的文件、會議還是用戶進行文件查詢等任何情況下進行數據查詢都離不開欄位的是「日期」還有用戶本身的「用戶名」。
通常，辦公自動化的首頁會顯示每個用戶尚未簽收的文件或會議。雖然我們的where語句可以僅僅限制當前用戶尚未簽收的情況，但如果您的系統已建立了很長時間，並且數據量很大，那麼，每次每個用戶打開首頁的時候都進行一次全表掃描，這樣做意義是不大的，絕大多數的用戶1個月前的文件都已經瀏覽過了，這樣做只能徒增資料庫的開銷而已。事實上，我們完全可以讓用戶打開系統首頁時，資料庫僅僅查詢這個用戶近3個月來未閱覽的文件，通過「日期」這個欄位來限製表掃描，提高查詢速度。如果您的辦公自動化系統已經建立的2年，那麼您的首頁顯示速度理論上將是原來速度8倍，甚至更快。
在這里之所以提到「理論上」三字，是因為如果您的聚集索引還是盲目地建在ID這個主鍵上時，您的查詢速度是沒有這么高的，即使您在「日期」這個欄位上建立的索引（非聚合索引）。下面我們就來看一下在1000萬條數據量的情況下各種查詢的速度表現（3個月內的數據為25萬條）：
（1）僅在主鍵上建立聚集索引，並且不劃分時間段：
Select gid,fariqi,neibuyonghu,title from tgongwen
用時：128470毫秒（即：128秒）
（2）在主鍵上建立聚集索引，在fariq上建立非聚集索引：
select gid,fariqi,neibuyonghu,title from Tgongwen
where fariqi> dateadd(day,-90,getdate())
用時：53763毫秒（54秒）
（3）將聚合索引建立在日期列（fariqi）上：
select gid,fariqi,neibuyonghu,title from Tgongwen
where fariqi> dateadd(day,-90,getdate())
用時：2423毫秒（2秒）
雖然每條語句提取出來的都是25萬條數據，各種情況的差異卻是巨大的，特別是將聚集索引建立在日期列時的差異。事實上，如果您的資料庫真的有1000萬容量的話，把主鍵建立在ID列上，就像以上的第1、2種情況，在網頁上的表現就是超時，根本就無法顯示。這也是我摒棄ID列作為聚集索引的一個最重要的因素。
得出以上速度的方法是：在各個select語句前加：declare @d datetime
set @d=getdate()
並在select語句後加：
select [語句執行花費時間(毫秒)]=datediff(ms,@d,getdate())
2、只要建立索引就能顯著提高查詢速度
事實上，我們可以發現上面的例子中，第2、3條語句完全相同，且建立索引的欄位也相同；不同的僅是前者在fariqi欄位上建立的是非聚合索引，後者在此欄位上建立的是聚合索引，但查詢速度卻有著天壤之別。所以，並非是在任何欄位上簡單地建立索引就能提高查詢速度。
從建表的語句中，我們可以看到這個有著1000萬數據的表中fariqi欄位有5003個不同記錄。在此欄位上建立聚合索引是再合適不過了。在現實中，我們每天都會發幾個文件，這幾個文件的發文日期就相同，這完全符合建立聚集索引要求的：「既不能絕大多數都相同，又不能只有極少數相同」的規則。由此看來，我們建立「適當」的聚合索引對於我們提高查詢速度是非常重要的。
3、把所有需要提高查詢速度的欄位都加進聚集索引，以提高查詢速度
上面已經談到：在進行數據查詢時都離不開欄位的是「日期」還有用戶本身的「用戶名」。既然這兩個欄位都是如此的重要，我們可以把他們合並起來，建立一個復合索引（compound index）。
很多人認為只要把任何欄位加進聚集索引，就能提高查詢速度，也有人感到迷惑：如果把復合的聚集索引欄位分開查詢，那麼查詢速度會減慢嗎？帶著這個問題，我們來看一下以下的查詢速度（結果集都是25萬條數據）：（日期列fariqi首先排在復合聚集索引的起始列，用戶名neibuyonghu排在後列）
（1）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>'2004-5-5'
查詢速度：2513毫秒
（2）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>'2004-5-5' and neibuyonghu='辦公室'
查詢速度：2516毫秒
（3）select gid,fariqi,neibuyonghu,title from Tgongwen where neibuyonghu='辦公室'
查詢速度：60280毫秒
從以上試驗中，我們可以看到如果僅用聚集索引的起始列作為查詢條件和同時用到復合聚集索引的全部列的查詢速度是幾乎一樣的，甚至比用上全部的復合索引列還要略快（在查詢結果集數目一樣的情況下）；而如果僅用復合聚集索引的非起始列作為查詢條件的話，這個索引是不起任何作用的。當然，語句1、2的查詢速度一樣是因為查詢的條目數一樣，如果復合索引的所有列都用上，而且查詢結果少的話，這樣就會形成「索引覆蓋」，因而性能可以達到最優。同時，請記住：無論您是否經常使用聚合索引的其他列，但其前導列一定要是使用最頻繁的列。
（四）其他書上沒有的索引使用經驗總結
1、用聚合索引比用不是聚合索引的主鍵速度快
下面是實例語句：（都是提取25萬條數據）
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16'
使用時間：3326毫秒
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid<=250000
使用時間：4470毫秒
這里，用聚合索引比用不是聚合索引的主鍵速度快了近1/4。
2、用聚合索引比用一般的主鍵作order by時速度快，特別是在小數據量情況下
select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by fariqi
用時：12936
select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by gid
用時：18843
這里，用聚合索引比用一般的主鍵作order by時，速度快了3/10。事實上，如果數據量很小的話，用聚集索引作為排序列要比使用非聚集索引速度快得明顯的多；而數據量如果很大的話，如10萬以上，則二者的速度差別不明顯。
3、使用聚合索引內的時間段，搜索時間會按數據占整個數據表的百分比成比例減少，而無論聚合索引使用了多少個
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-1-1'
用時：6343毫秒（提取100萬條）
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-6-6'
用時：3170毫秒（提取50萬條）
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16'
用時：3326毫秒（和上句的結果一模一樣。如果採集的數量一樣，那麼用大於號和等於號是一樣的）
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-1-1' and fariqi<'2004-6-6'
用時：3280毫秒
4 、日期列不會因為有分秒的輸入而減慢查詢速度
下面的例子中，共有100萬條數據，2004年1月1日以後的數據有50萬條，但只有兩個不同的日期，日期精確到日；之前有數據50萬條，有5000個不同的日期，日期精確到秒。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-1-1' order by fariqi
用時：6390毫秒
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi<'2004-1-1' order by fariqi
用時：6453毫秒
（五）其他注意事項
「水可載舟，亦可覆舟」，索引也一樣。索引有助於提高檢索性能，但過多或不當的索引也會導致系統低效。因為用戶在表中每加進一個索引，資料庫就要做更多的工作。過多的索引甚至會導致索引碎片。
所以說，我們要建立一個「適當」的索引體系，特別是對聚合索引的創建，更應精益求精，以使您的資料庫能得到高性能的發揮。
當然，在實踐中，作為一個盡職的資料庫管理員，您還要多測試一些方案，找出哪種方案效率最高、最為有效。
二、改善SQL語句
很多人不知道SQL語句在SQL SERVER中是如何執行的，他們擔心自己所寫的SQL語句會被SQL SERVER誤解。比如：
select * from table1 where name='zhangsan' and tID > 10000
和執行:
select * from table1 where tID > 10000 and name='zhangsan'
一些人不知道以上兩條語句的執行效率是否一樣，因為如果簡單的從語句先後上看，這兩個語句的確是不一樣，如果tID是一個聚合索引，那麼後一句僅僅從表的10000條以後的記錄中查找就行了；而前一句則要先從全表中查找看有幾個name='zhangsan'的，而後再根據限制條件條件tID>10000來提出查詢結果。
事實上，這樣的擔心是不必要的。SQL SERVER中有一個「查詢分析優化器」，它可以計算出where子句中的搜索條件並確定哪個索引能縮小表掃描的搜索空間，也就是說，它能實現自動優化。
雖然查詢優化器可以根據where子句自動的進行查詢優化，但大家仍然有必要了解一下「查詢優化器」的工作原理，如非這樣，有時查詢優化器就會不按照您的本意進行快速查詢。
在查詢分析階段，查詢優化器查看查詢的每個階段並決定限制需要掃描的數據量是否有用。如果一個階段可以被用作一個掃描參數（SARG），那麼就稱之為可優化的，並且可以利用索引快速獲得所需數據。
SARG的定義：用於限制搜索的一個操作，因為它通常是指一個特定的匹配，一個值得范圍內的匹配或者兩個以上條件的AND連接。形式如下：
列名 操作符 <常數 或 變數>
或
<常數 或 變數> 操作符列名
列名可以出現在操作符的一邊，而常數或變數出現在操作符的另一邊。如：
Name=』張三』
價格>5000
5000<價格
Name=』張三』 and 價格>5000
如果一個表達式不能滿足SARG的形式，那它就無法限制搜索的范圍了，也就是SQL SERVER必須對每一行都判斷它是否滿足WHERE子句中的所有條件。所以一個索引對於不滿足SARG形式的表達式來說是無用的。
介紹完SARG後，我們來總結一下使用SARG以及在實踐中遇到的和某些資料上結論不同的經驗：
1、Like語句是否屬於SARG取決於所使用的通配符的類型
如：name like 『張%』 ，這就屬於SARG
而：name like 『%張』 ,就不屬於SARG。
原因是通配符%在字元串的開通使得索引無法使用。
2、or 會引起全表掃描
Name=』張三』 and 價格>5000 符號SARG，而：Name=』張三』 or 價格>5000 則不符合SARG。使用or會引起全表掃描。
3、非操作符、函數引起的不滿足SARG形式的語句
不滿足SARG形式的語句最典型的情況就是包括非操作符的語句，如：NOT、!=、<>、!<、!>、NOT EXISTS、NOT IN、NOT LIKE等，另外還有函數。下面就是幾個不滿足SARG形式的例子：
ABS(價格)<5000
Name like 『%三』
有些表達式，如：
WHERE 價格*2>5000
SQL SERVER也會認為是SARG，SQL SERVER會將此式轉化為：
WHERE 價格>2500/2
但我們不推薦這樣使用，因為有時SQL SERVER不能保證這種轉化與原始表達式是完全等價的。
4、IN 的作用相當與OR
語句：
Select * from table1 where tid in (2,3)
和
Select * from table1 where tid=2 or tid=3
是一樣的，都會引起全表掃描，如果tid上有索引，其索引也會失效。
5、盡量少用NOT
6、exists 和 in 的執行效率是一樣的
很多資料上都顯示說，exists要比in的執行效率要高，同時應盡可能的用not exists來代替not in。但事實上，我試驗了一下，發現二者無論是前面帶不帶not，二者之間的執行效率都是一樣的。因為涉及子查詢，我們試驗這次用SQL SERVER自帶的pubs資料庫。運行前我們可以把SQL SERVER的statistics I/O狀態打開。
（1）select title,price from titles where title_id in (select title_id from sales where qty>30)
該句的執行結果為：
表 'sales'。掃描計數 18，邏輯讀 56 次，物理讀 0 次，預讀 0 次。
表 'titles'。掃描計數 1，邏輯讀 2 次，物理讀 0 次，預讀 0 次。
（2）select title,price from titles where exists (select * from sales where sales.title_id=titles.title_id and qty>30)
第二句的執行結果為：
表 'sales'。掃描計數 18，邏輯讀 56 次，物理讀 0 次，預讀 0 次。
表 'titles'。掃描計數 1，邏輯讀 2 次，物理讀 0 次，預讀 0 次。
我們從此可以看到用exists和用in的執行效率是一樣的。
7、用函數charindex()和前面加通配符%的LIKE執行效率一樣
前面，我們談到，如果在LIKE前面加上通配符%，那麼將會引起全表掃描，所以其執行效率是低下的。但有的資料介紹說，用函數charindex()來代替LIKE速度會有大的提升，經我試驗，發現這種說明也是錯誤的：
select gid,title,fariqi,reader from tgongwen where charindex('刑偵支隊',reader)>0 and fariqi>'2004-5-5'
用時：7秒，另外：掃描計數 4，邏輯讀 7155 次，物理讀 0 次，預讀 0 次。
select gid,title,fariqi,reader from tgongwen where reader like '%' + '刑偵支隊' + '%' and fariqi>'2004-5-5'
用時：7秒，另外：掃描計數 4，邏輯讀 7155 次，物理讀 0 次，預讀 0 次。
8、union並不絕對比or的執行效率高
我們前面已經談到了在where子句中使用or會引起全表掃描，一般的，我所見過的資料都是推薦這里用union來代替or。事實證明，這種說法對於大部分都是適用的。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16' or gid>9990000
用時：68秒。掃描計數 1，邏輯讀 404008 次，物理讀 283 次，預讀 392163 次。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16'
union
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid>9990000
用時：9秒。掃描計數 8，邏輯讀 67489 次，物理讀 216 次，預讀 7499 次。
看來，用union在通常情況下比用or的效率要高的多。
但經過試驗，筆者發現如果or兩邊的查詢列是一樣的話，那麼用union則反倒和用or的執行速度差很多，雖然這里union掃描的是索引，而or掃描的是全表。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16' or fariqi='2004-2-5'
用時：6423毫秒。掃描計數 2，邏輯讀 14726 次，物理讀 1 次，預讀 7176 次。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16'
union
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-2-5'
用時：11640毫秒。掃描計數 8，邏輯讀 14806 次，物理讀 108 次，預讀 1144 次。
9、欄位提取要按照「需多少、提多少」的原則，避免「select *」
我們來做一個試驗：
select top 10000 gid,fariqi,reader,title from tgongwen ord
Ⅱ SQL資料庫 如何快速修改一列所有的數據
update creature_loot_template set ChanceOrQuestChance=100; commit; 出現對話框後輸入sql， 然後找到有個執行的按鈕，點下就行。（滑鼠放在按鈕上停頓一小會，看看按鈕的功能，一般是一個向右的三角形）
Ⅲ sql2008資料庫，九百萬條數據，如何快速查詢
根據你說的需求：
"可程序中需要查詢每行的所有數據"、「查詢全部九百萬條數據」
-------------------------------
這樣的需求跟索引沒有關系了（因為已經肯定是走全表掃描的了），要提高效率的辦法就是：1、提高硬碟的io速度；2、增加內存以使sql server有更多的緩存。
另外，你程序不要一次性取那麼多數據返回，這樣會拖死的，建議你考慮變換下處理邏輯（如：分批取回--可以根據id列值進行分批；將數據直接在服務端存成文本再傳回本地處理）。
"而是需要根據這些數據逐一進行其他功能的操作，這款程序是不聯網的"
--------------------------------
就算這樣的話,也不能一次性把9百萬數據一次性取回,如果你非要取出來再操作的話，那你得考慮分批去取。或者你把處理邏輯寫在存儲過程，然後由SQL SERVER本身去完成邏輯處理。總之，不管怎樣，你也是得優化你現在的處理邏輯（現有處理邏輯我覺得不合理，效率很低下）。
「真正部署到電力網的伺服器上速度會不會提高呢」
------------------------
伺服器當然比你本地要快得多啦，硬體配置根本就不同一個級別,但不管怎樣，還是建議你參考上面的建議優化你的處理邏輯才行，否則，你系統的效率將很低。
Ⅳ 如何快速導入大SQL文件到MySQL資料庫
（1）點擊"開始"-"運行"，輸入cmd，然後回車進入到DOS界面。先進入你的MYSQL安裝目錄。這里比方說你的MYSQL安裝在D盤，你的SQL文件也在D盤，加入命名為demo.sql，操作的方法是：輸入"D:"，回車即進入到D盤了，
（2）然後輸入"cd mysql/bin"並回車，然後輸入"mysql -u root -p database d:/demo.sql"，回車顯示要輸入密碼，如果你的MYSQL資料庫的密碼為空則不輸入任何東西回車，沒有出現錯誤說明導入成功。
說明：上面的database是你要導入的資料庫名。
Ⅳ 如何正確的進行大規模SQL語句的批量操作
在使用Statement的批量SQL命令操作的時候，一定要注意寫入到內存中命令列表的SQL語句的數量級，在小規模的數據量下，可以將所有SQL語句添加到命令列表中，一次性執行executeBatch()方法，但是在大規模數據量的情況下，就應該分批將SQL語句添加到命令列表中，並在每次調用executeBatch()方法後，調用clearBatch()方法將命令列表中的SQL語句清空，注意了，一定要記得調用clearBatch()方法清空命令列表，不然即使分批添加SQL語句，一樣要「out
of
memory」。同時由這個問題，我們也可以引申開來考慮考慮在編寫將數據保存在內存中的操作的時候，也應該注意實際系統運行環境的內存配置所能支持的數據量，千萬不能不管三七二十一的將數據一股腦兒往內存里塞。
Ⅵ 如何快速將SQL資料庫遷移到HANA資料庫
一、遷移Database
Schema。
首先使用Sybase
Powerdesigner的逆向工程功能，逆向出SQL
Server資料庫的物理模型。具體操作是在Powerdesigner中選擇「File」，「Reverse
Engine」再選擇Database，將DBMS選擇為SQL
Server
然後選擇數據源，也就是要具體連接到的SQL
Server資料庫伺服器，然後選擇要逆向的資料庫名，比如選中「WSS_Content_80」
單擊確定即可生成物理模型圖，然後單擊「Database」菜單下的Change
Current
DBMS修改當前的DBMS，改為MySQL
5.0，單擊確定後即可生成MySQL的物理模型
然後單擊「Database」菜單下的「Generate
Database」生成資料庫腳本文件。
接下來手工修改下生成的腳本的內容。將其中的dbo.全部替換成空，將create
user這樣的語句刪除掉。
如果有些字元在MySQL中是關鍵字，那麼必須使用「`」（鍵盤上數字1左邊那個符合）符合框起來。
加上MySQL所需要的存儲引擎比如每個建表語句後跟上：
ENGINE
=
INNODB
CHARACTER
SET
utf8
COLLATE
utf8_general_ci;將生成的腳本在MySQL中去運行一次即可創建資料庫。
二、遷移數據內容
數據內容只能通過生成INSERT語句的方式來做。
首先使用SSMS的「生成腳本」功能（在資料庫上右鍵，選擇「任務」「生成腳本」選項），可以為SQL
Server資料庫中的數據生成插入腳本。
首先選擇要遷移數據的表，這里我們全選所有的表
然後單擊下一步，選擇將腳本保存到新的查詢窗口
單擊「高級」選項，在高級選項窗口中選擇「要編寫腳本的數據的類型」為僅限數據
然後「確定」再下一步下一步即可生成INSERT腳本文件。
修改生成的腳本文件，主要有以下幾項修改：
使用批量替換的方式去掉[
]這是SQL
Server的符合，在MySQL中不用這個。
使用批量替換的方式去掉dbo.
有些單詞在MySQL中是關鍵字的，那麼需要使用「`」引起來。
關於Datetime類型的數據，需要手工修改下，SQL
Server默認生成的是這樣的語句，在MySQL中是沒辦法解析的：
CAST(0x00009EEF00000000
AS
DateTime)
為每一行添加一個;表示一個插入語句結束。這個分號在SQL
Server中可以不需要，但是在MySQL中是必須的。簡單的方法是使用高級的文本編輯器（比如Notepad++），將\r\n替換為;\r\n即可。
Ⅶ 在SQL資料庫中有1000w條數據，要對某條數據進行操作，怎樣能快速的找到這條數據，要求優化sQL語句
根據主鍵操作這條數據，或者對你要操作的數據查找的那一列建立索引。如果非要用like查詢的話盡量用select * from table where colume like '條件%'
如果 這樣select * from table where colume like '%條件%' 是不會走索引的
涉及到聯表查詢的話用exists代替in操作
Ⅷ 如何向SQL資料庫中輸入數據
方法/步驟
1、在sql server 2008中，滑鼠右鍵點擊新建好的數據表dbo.Table_1，選擇編輯前200行。
Ⅸ 如何快速將sql文件導入mysql資料庫中
今天見一位php同行在將從伺服器mysql資料庫導出的sql文件導入到本地
mysql資料庫
，見他所用的方法很驚訝，他是用editplus打開下載下來的sql文件，復制所有內容，然後再粘貼到本地的phpmyadmin中。phpmyadmin復制了半天沒有響應，最後還是沒有將資料庫導入到本地。
其實，跟我這位同行一樣，很多php新手也是用的這種方法將sql文件導入到本地mysql資料庫的。sql文件的數據小還好說，如果這個sql文件很大，上百兆的話，那麼你可能都無法成功的導入到mysql資料庫中去。這里我分享下我所使用的方法。
點擊"開始"-"運行"，輸入cmd，然後回車進入到dos界面。先進入你的mysql安裝目錄。這里比方說你的mysql安裝在d盤，你的sql文件也在d盤，加入命名為demo.sql，操作的方法是：輸入"d:"，回車即進入到d盤了，然後輸入"cd
mysql/bin"並回車，然後輸入"mysql
-u
root
-p
database
d:/demo.sql"，回車顯示要輸入密碼，如果你的mysql資料庫的密碼為空則不輸入任何東西回車，沒有出現錯誤說明導入成功。
說明：上面的database是你要導入的資料庫名。