『壹』 MYsql百萬條數據下標簽、文章的分頁查詢排序的高效方法有哪些
文章：content表儲存：content_id[自增id]，content[內容]，dateline[發布時間戳]，ispublic[是否發布]
關系：tag_content表儲存：tag_id[標簽id]，content_id[文章id]
網站前段，訪問標簽頁面，需要查詢出這個標簽下的所有文章，需要篩選是否發布，需要按照時間排序。
通過一般方法left join + 聯合索引 速度仍然十分不理想。
請教在百萬級文章，萬級標簽，千萬級關系下。如果高效的實現某一標簽下文章的分頁排序查詢。（分頁可只顯示前100頁，不用全部可訪問）
以前數據量沒這么大，聯合索引+left join 沒問題。在大數據量的時候，速度瓶頸在於按照時間戳、瀏覽量等排序。
『貳』 如何對百萬級的數據進行數據分析
1.可視化分析
大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。
2. 數據挖掘演算法
大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統
計
學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如
果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。
3. 預測性分析
大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。
4. 語義引擎
非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。
5.數據質量和數據管理。 大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。
大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。
大數據的技術
數據採集： ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
數據存取： 關系資料庫、NOSQL、SQL等。
基礎架構： 雲存儲、分布式文件存儲等。
數
據處理： 自然語言處理(NLP，Natural Language
Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機」理解」自然語言，所以自然語言處理又叫做自然語言理
解也稱為計算語言學。一方面它是語言信息處理的一個分支，另一方面它是人工智慧的核心課題之一。
統計分析：
假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、 方差分析 、
卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、
因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。
數
據挖掘： 分類
（Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity
grouping or association rules）、聚類（Clustering）、描述和可視化、Description and
Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
模型預測 ：預測模型、機器學習、建模模擬。
結果呈現： 雲計算、標簽雲、關系圖等。
大數據的處理
1. 大數據處理之一：採集
大
數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的
數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除
此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時
有可能會有成千上萬的用戶
來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間
進行負載均衡和分片的確是需要深入的思考和設計。
2. 大數據處理之二：導入/預處理
雖然採集端本身會有很多資料庫，但是如果要對這些
海量數據進行有效的分析，還是應該將這
些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使
用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。
3. 大數據處理之三：統計/分析
統
計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通
的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於
MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
4. 大數據處理之四：挖掘
與
前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數
據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於
統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並
且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。
整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。
『叄』 oracle資料庫，搜索百萬級別數據分頁優化問題
oracle count 百萬級 分頁查詢記錄總數、總條數優化
Oracle count 百萬級 查詢記錄總數、總條數優化
最近做一個項目時，做分頁時，發現分頁查詢速度很慢，分頁我做的是兩次查詢，一次是查詢總數，一次是查詢分頁結果
[java] view plain
/** 查詢總記錄數 **/
SELECT
COUNT(id)
FROM
USER
order by
id
/** 查詢結果集 **/
select
*
from
( select
row_.*,
rownum rownum_
from
( select
id ,
user_number,
user_name,
user_password,
sex,
Registered_time,
last_login_time,
post
from
USER u
order by
u.id) row_
where
rownum <= ?
)
where
rownum_ > ?
user表中的記錄是128萬多條，這個是沒有查詢條件時的查詢，也就是用戶剛剛進入模塊時的查詢，發現查詢時間是2566ms~2152ms之間，單獨執行每條語句，發現第一條的執行時間在2000ms以上，在PL/SQL中執行的結果也證實了我的判斷。所以要對select count語句進行優化。
在網上找了很多優化方案，大多不盡人意，（分表的方式聽上去不錯，不過由於單表是歷史原因，這里就不作考慮）。最後找到一個比較令人滿意的答。就是在語句中加入 /*+ROWID(USER)*/或者/*+ INDEX(USER ID) */ 來提高查詢效果。
聽說這個就是強制使用索引統計結果？如果有哪位大蝦能把原理詳細告訴我，請來多多指點！
[java] view plain
SELECT /*+ROWID(USER)*/ count(*) FROM USER t
或者
SELECT /*+ INDEX(USER ID) */ count(*) FROM USER t
使用後，單條統計總數的查詢在800ms左右，分頁查詢結果基本在900ms~950ms之間，基本在一秒之內，達到了當初設計需求。
當然，這個是沒有加查詢條件的，當把查詢條件加入後，不管前面加不加強制索引，結果時間都在2000ms之間，所以，如果要進行有條件的查詢，就要在where條件中進行優化。特別注意條件欄位查詢前後順序。
『肆』 java怎麼在數據超過百萬後分頁導出
用過POI的人都知道，在POI以前的版本中並不支持大數據量的處理，如果數據量過多還會常報OOM錯誤，
這時候調整JVM的配置參數
也不是一個好對策（註：
jdk在32位系統中支持的內存不能超過2個G，而在64位中沒有限制，但是在64位的系統中，性能並不是太好
）,好在POI3.8版本新出來了一個SXSSFWorkbook對象，它就是用來解決大數據量以及超大數據量的導入導出操作的，但是SXSSFWorkbook只支持.xlsx格式，不支持.xls格式的Excel文件。
這里普及一下，在POI中使用HSSF對象時，excel 2003最多隻允許存6553數據，一般用來處理較少的數據量，這時對於百萬級別數據，Excel肯定
容納不了，而且在計算機性能稍低的機器上測試，就很容易導致堆溢出。當我升級到XSSF對象時，它可以直接支持excel2007以上版本，因為它採用
ooxml格式。這時excel可以支持1048576條數據，單個sheet表就支持近104
萬條數據了,雖然這時導出100萬數據能滿足要求，但使用XSSF測試後發現偶爾還是會發生堆溢出，所以也不適合百萬數據的導出。現在我們知道excel2007及以上版本可以輕松實現存儲百萬級別的數據，但是系統中的大量數據是如何能夠快速准確的導入到excel中這好像是個難題，對於一般的web系統，我們為了解決成本，基本都是使用的入門級web伺服器tomcat，既然我們不推薦調整JVM的大小，那我們就要針對我們的代碼來解決我們要解決的問題。在POI3.8之後新增加了一個類，
SXSSFWorkbook
，採用當數據加工時不是類似前面版本的對象，它可以控制excel數據佔用的內存，他通過控制在內存中的行數來實現資源管理，即當創建對象超過了設定的行數，它會自動刷新內存，將數據寫入文件，
這樣導致列印時，佔用的CPU，和內存很少。但有人會說了，我用過這個類啊，他好像並不能完全解決，當數據量超過一定量後還是會內存溢出的，而且時間還很長。對你只是用了這個類，但是你並沒有針對你的需求進行相應的設計，僅僅是用了，所以接下來我要說的問題就是，如何通過SXSSFWorkbook以及相應的寫入設計來實現百萬級別的數據快速寫入。
我先舉個例子，以前我們[資料庫
中存在大量的數據，我們要查詢，怎麼辦？我們在沒有經過設計的時候是這樣來處理的，先寫一個集合，然後執行jdbc，將返回的結果賦值給list，然後再返回到頁面上，但是當數據量大的時候，就會出現數據無法返回，內存溢出的情況，於是我們在有限的時間和空間下，通過分頁將數據一頁一頁的顯示出來，這樣可以避免了[大數據
量數據對內存的佔用，也提高了用戶的體驗，在我們要導出的百萬數據也是一個道理，內存突發性佔用，我們可以限制導出數據所佔用的內存，
這里我先建立一個list容器，list中開辟10000行的存儲空間，每次存儲10000行，用完了將內容清空，然後重復利用
，這樣就可以有效控制內存，所以我們的設計思路就基本形成了，所以分頁數據導出共有以下3個步驟：
1、求資料庫中待導出數據的行數
2、根據行數求數據提取次數
3、按次數將數據寫入文件
『伍』 百萬級數據分頁 C# SQL 2K5
百萬級數據檢索存儲過程需要很精潔 盡量不要在select部分、where部分做判斷； 考慮僅一次的order by。
在存儲過程里做分頁是個不錯的選擇。排序好的數據可以用between and達到分頁效果。
『陸』 SQL 存儲過程分頁，（要求百萬級）
ALTER PROCEDURE GetDataList
(
@TableName varchar(50), --表名
@Fields varchar(5000) = '*', --欄位名(全部欄位為*)
@OrderField varchar(5000), --排序欄位(必須!支持多欄位)
@sqlWhere varchar(5000) = Null,--條件語句(不用加where)
@pageSize int, --每頁多少條記錄
@pageIndex int = 1 , --指定當前為第幾頁
@TotalPage int output --返回總頁數
)
as
begin Begin Tran --開始事務 Declare @sql nvarchar(4000);
Declare @totalRecord int; --計算總記錄數
if (@SqlWhere='' or @sqlWhere=NULL)
set @sql = 'select @totalRecord = count(*) from ' + @TableName
else
set @sql = 'select @totalRecord = count(*) from ' + @TableName + ' where ' + @sqlWhere EXEC sp_executesql @sql,N'@totalRecord int OUTPUT',@totalRecord OUTPUT--計算總記錄數
--計算總頁數
select @TotalPage=CEILING((@totalRecord+0.0)/@PageSize) if (@SqlWhere='' or @sqlWhere=NULL)
set @sql = 'Select * FROM (select ROW_NUMBER() Over(order by ' + @OrderField + ') as rowId,' + @Fields + ' from ' + @TableName
else
set @sql = 'Select * FROM (select ROW_NUMBER() Over(order by ' + @OrderField + ') as rowId,' + @Fields + ' from ' + @TableName + ' where ' + @SqlWhere
--處理頁數超出范圍情況
if @PageIndex<=0
Set @pageIndex = 1
if @pageIndex>@TotalPage
Set @pageIndex = @TotalPage --處理開始點和結束點
Declare @StartRecord int
Declare @EndRecord int
set @StartRecord = (@pageIndex-1)*@PageSize + 1
set @EndRecord = @StartRecord + @pageSize - 1 --繼續合成sql語句
set @Sql = @Sql + ') as ' + @TableName + ' where rowId between ' + Convert(varchar(50),@StartRecord) + ' and ' + Convert(varchar(50),@EndRecord)
Exec(@Sql)
---------------------------------------------------
If @@Error <> 0
Begin
RollBack Tran
Return -1
End
Else
Begin
Commit Tran
Return @totalRecord ---返回記錄總數
End
end
『柒』 承受每天百萬級訪問量的網站需要多少台伺服器
伺服器的構成與微機基本相似，有處理器、硬碟、內存、系統匯流排等，它們是針對具體的網路應用特別制定的，因而伺服器與微機在處理能力、穩定性、可靠性、安全性、可擴展性、可管理性等方面存在差異很大。
一台獨立伺服器同時承受4到5萬訪客在線,差不多還能保證不影響速度,算下來20到30台伺服器,就是一個小機房。
『捌』 mysql 百萬級數據，怎麼分頁
一般剛開始學SQL的時候，會這樣寫 復制代碼代碼如下: SELECT * FROM table ORDER BY id LIMIT 1000, 10; 但在數據達到百萬級的時候，這樣寫會慢死 復制代碼代碼如下: SELECT * FROM table ORDER BY id LIMIT 1000000,
『玖』 php+mysql優化，百萬至千萬級快速分頁mysql性能到底能有多高
php+Mysql 優化，百萬至千萬級快速分頁
MySql 性能到底能有多高？用了php半年多，真正如此深入的去思考這個問題還是從前天開始。有過痛苦有過絕望，到現在充滿信心！MySql 這個資料庫絕對是適合dba級的高手去玩的，一般做一點1萬篇新聞的小型系統怎麼寫都可以，用xx框架可以實現快速開發。可是數據量到了10萬，百萬至千萬，他的性能還能那麼高嗎？一點小小的失誤，可能造成整個系統的改寫，甚至更本系統無法正常運行！好了，不那麼多廢話了。用事實說話，看例子：
數據表 collect ( id, title ,info ,vtype) 就這4個欄位，其中 title 用定長，info 用text, id 是逐漸，vtype是tinyint，vtype是索引。這是一個基本的新聞系統的簡單模型。現在往裡面填充數據，填充10萬篇新聞。
最後collect 為 10萬條記錄，資料庫表佔用硬碟1.6G。OK ,看下面這條sql語句：
select id,title from collect limit 1000,10; 很快；基本上0.01秒就OK，再看下面的
select id,title from collect limit 90000,10; 從9萬條開始分頁，結果？
8-9秒完成，my god 哪出問題了？？？？其實要優化這條數據，網上找得到答案。看下面一條語句:
select id from collect order by id limit 90000,10; 很快，0.04秒就OK。為什麼？因為用了id主鍵做索引當然快。網上的改法是：
select id,title from collect where id>=(select id from collect order by id limit 90000,1) limit 10;
這就是用了id做索引的結果。可是問題復雜那麼一點點，就完了。看下面的語句
select id from collect where vtype=1 order by id limit 90000,10; 很慢，用了8-9秒！
到了這里我相信很多人會和我一樣，有崩潰感覺！vtype 做了索引了啊？怎麼會慢呢？vtype做了索引是不錯，你直接 select id from collect where vtype=1 limit 1000,10; 是很快的，基本上0.05秒，可是提高90倍，從9萬開始，那就是0.05*90=4.5秒的速度了。和測試結果8-9秒到了一個數量級。從這里開始有人提出了分表的思路，這個和discuz 論壇是一樣的思路。思路如下：
建一個索引表： t (id,title,vtype) 並設置成定長，然後做分頁，分頁出結果再到 collect 裡面去找info 。 是否可行呢？實驗下就知道了。
10萬條記錄到 t(id,title,vtype) 里，數據表大小20M左右。用
select id from t where vtype=1 order by id limit 90000,10; 很快了。基本上0.1-0.2秒可以跑完。為什麼會這樣呢？我猜想是因為collect 數據太多，所以分頁要跑很長的路。limit 完全和數據表的大小有關的。其實這樣做還是全表掃描，只是因為數據量小，只有10萬才快。OK，來個瘋狂的實驗，加到100萬條，測試性能。
加了10倍的數據，馬上t表就到了200多M，而且是定長。還是剛才的查詢語句，時間是0.1-0.2秒完成！分表性能沒問題？錯！因為我們的limit還是9萬，所以快。給個大的，90萬開始
select id from t where vtype=1 order by id limit 900000,10; 看看結果，時間是1-2秒！
why 分表了時間還是這么長，非常之郁悶！有人說定長會提高limit的性能，開始我也以為，因為一條記錄的長度是固定的，mysql 應該可以算出90萬的位置才對啊？ 可是我們高估了mysql 的智能，他不是商務資料庫，事實證明定長和非定長對limit影響不大？怪不得有人說 discuz到了100萬條記錄就會很慢，我相信這是真的，這個和資料庫設計有關！
難道MySQL 無法突破100萬的限制嗎？？？到了100萬的分頁就真的到了極限？？？
答案是： NO !!!! 為什麼突破不了100萬是因為不會設計mysql造成的。下面介紹非分表法，來個瘋狂的測試！一張表搞定100萬記錄，並且10G 資料庫，如何快速分頁！
好了，我們的測試又回到 collect表，開始測試結論是： 30萬數據，用分表法可行，超過30萬他的速度會慢道你無法忍受！當然如果用分表+我這種方法，那是絕對完美的。但是用了我這種方法後，不用分表也可以完美解決！
答案就是：復合索引！有一次設計mysql索引的時候，無意中發現索引名字可以任取，可以選擇幾個欄位進來，這有什麼用呢？開始的select id from collect order by id limit 90000,10; 這么快就是因為走了索引，可是如果加了where 就不走索引了。抱著試試看的想法加了 search(vtype,id) 這樣的索引。然後測試
select id from collect where vtype=1 limit 90000,10; 非常快！0.04秒完成！
再測試: select id ,title from collect where vtype=1 limit 90000,10; 非常遺憾，8-9秒，沒走search索引！
再測試：search(id,vtype)，還是select id 這個語句，也非常遺憾，0.5秒。
綜上：如果對於有where 條件，又想走索引用limit的，必須設計一個索引，將where 放第一位，limit用到的主鍵放第2位，而且只能select 主鍵！
完美解決了分頁問題了。可以快速返回id就有希望優化limit ， 按這樣的邏輯，百萬級的limit 應該在0.0x秒就可以分完。看來mysql 語句的優化和索引時非常重要的！
好了，回到原題，如何將上面的研究成功快速應用於開發呢？如果用復合查詢，我的輕量級框架就沒的用了。分頁字元串還得自己寫，那多麻煩？這里再看一個例子，思路就出來了：
select * from collect where id in (9000,12,50,7000); 竟然 0秒就可以查完！
mygod ，mysql 的索引竟然對於in語句同樣有效！看來網上說in無法用索引是錯誤的！
有了這個結論，就可以很簡單的應用於輕量級框架了：
代碼如下：
$db=dblink();
$db->pagesize=20;
$sql="select id from collect where vtype=$vtype";
$db->execute($sql);
$strpage=$db->strpage(); //將分頁字元串保存在臨時變數，方便輸出
while($rs=$db->fetch_array()){
$strid.=$rs['id'].',';
}
$strid=substr($strid,0,strlen($strid)-1); //構造出id字元串
$db->pagesize=0; //很關鍵，在不注銷類的情況下，將分頁清空，這樣只需要用一次資料庫連接，不需要再開；
$db->execute("select id,title,url,sTime,gTime,vtype,tag from collect where id in ($strid)");
< php while($rs=$db->fetch_array()): >
<tr>
<td$amp;>amp;$amp;nbsp;< php echo $rs['id']; $amp;>amp;$lt;/td>
<td$amp;>amp;$amp;nbsp;< php echo $rs['url']; $amp;>amp;$lt;/td>
<td$amp;>amp;$amp;nbsp;< php echo $rs['sTime']; $amp;>amp;$lt;/td>
<td$amp;>amp;$amp;nbsp;< php echo $rs['gTime']; $amp;>amp;$lt;/td>
<td$amp;>amp;$amp;nbsp;< php echo $rs['vtype']; $amp;>amp;$lt;/td>
<td$amp;>amp;$amp;nbsp;<a act=show&id=< php echo $rs['id']; $amp;>quot;$ target="_blank"$amp;>amp;$lt; php echo $rs['title']; $amp;>amp;$lt;/a$amp;>amp;$lt;/td>
<td$amp;>amp;$amp;nbsp;< php echo $rs['tag']; $amp;>amp;$lt;/td>
</tr>
< php endwhile; >
</table>
< php
echo $strpage;
通過簡單的變換，其實思路很簡單：1）通過優化索引，找出id，並拼成 "123,90000,12000" 這樣的字元串。2）第2次查詢找出結果。
小小的索引+一點點的改動就使mysql 可以支持百萬甚至千萬級的高效分頁！
通過這里的例子，我反思了一點：對於大型系統，PHP千萬不能用框架，尤其是那種連sql語句都看不到的框架！因為開始對於我的輕量級框架都差點崩潰！只適合小型應用的快速開發，對於ERP,OA，大型網站，數據層包括邏輯層的東西都不能用框架。如果程序員失去了對sql語句的把控，那項目的風險將會成幾何級數增加！尤其是用mysql 的時候，mysql 一定需要專業的dba 才可以發揮他的最佳性能。一個索引所造成的性能差別可能是上千倍！
PS: 經過實際測試，到了100萬的數據，160萬數據，15G表，190M索引，就算走索引，limit都得0.49秒。所以分頁最好別讓別人看到10萬條以後的數據，要不然會很慢！就算用索引。經過這樣的優化，mysql到了百萬級分頁是個極限！但有這樣的成績已經很不錯，如果你是用sqlserver肯定卡死！而 160萬的數據用 id in (str) 很快，基本還是0秒。如果這樣，千萬級的數據，mysql應該也很容易應付。
『拾』 承受每天百萬級訪問量的網站需要多少台伺服器
一般情況下,一台至強高配置的伺服器一天能承載十幾到二十萬左右的訪問量.如果有達到上百萬的訪問量.可以通過多台伺服器來做負載均衡解決這個問題.比如說把網站的前端頁面和資料庫分開,用10台機器.其中一台高配置的放資料庫.另外9台機器放前端頁面.然後利用DNSPOD智能解析,把一個域名解析指向9台機器的IP.DNSPOD本身有智能分配的功能.當一台伺服器的資源不足以滿足用戶的訪問需求時會自動切換到其他機器上面訪問.