Ⅰ mysql 達到1億級別的表如何設計優化
單表一億？還是全庫1億？
1.首先可以考慮業務層面優化，即垂直分表。
垂直分表就是把一個數據量很大的表,可以按某個欄位的屬性或使用頻繁程度分類,拆分為多個表。
如有多種業務類型，每種業務類型入不同的表，table1,table2,table3.
如果日常業務不需要使用所有數據，可以按時間分表，比如說月表。每個表只存一個月記錄。
2.架構上的優化，即水平分表。
水平分表就是根據一列或多列數據的值把數據行放到多個獨立的表裡，這里不具備業務意義。
如按照id分表，末尾是0-9的數據分別插入到10個表裡面。
可能你要問，這樣看起來和剛才說的垂直分表沒什麼區別。只不過是否具備業務意義的差異，都是按欄位的值來分表。
實際上，水平分表現在最流行的實現方式，是通過水平分庫來實現的。即剛才所說的10個表，分布在10個mysql資料庫上。這樣可以通過多個低配置主機整合起來，實現高性能。
最常見的解決方案是cobar，這個帖子介紹的比較完善，可以看看。
http://blog.csdn.net/shagoo/article/details/8191346
cobar的邏輯層次圖：
不過這種分庫方式也是有一定局限性的，需要應用程序做相應的配合，比如說分庫的情況下，雖然可以實現跨庫查詢，但是不能進行相關的groupby計算。
另外，之前關於水平分表的實現方式，也可以通過表分區來實現。
mysql優化的方式有很多，選擇上主要還是要考慮個人的實際情況，如代碼不可控的情況下，就不適合選擇按欄位屬性分表的情況，這樣可能會帶來大量的重構以及很多不可預期的風險。
而架構的優化，雖然對應用是透明的，但對sql的寫法有很多局限性，比如說不能使用聚合函數等等，同時也需要有充足的硬體資源，只有一台伺服器的情況下是沒有意義的。
相比起來，代價最低的是按時間分表或分區，這兩種辦法對應用來說都是透明的。
分區只需要一次本地數據遷移的操作。
而通過分表把現網數據和歷史數據分離，唯一的代價是定期的數據維護。
一般如果表裡面有1億數據的情況下，索引的問題應該是常識了，這方面我就不說了。
另外如果覺得答的不錯多給點分。
Ⅱ mysql資料庫表太大查詢慢優化的幾種方法
優化方案：
主從同步+讀寫分離：
這個表在有設備條件的情況下，讀寫分離，這樣能減少很多壓力，而且數據穩定性也能提高
縱向分表：
根據原則，每個表最多不要超過5個索引，縱向拆分欄位，將部分欄位拆到一個新表
通常我們按以下原則進行垂直拆分:（先區分這個表中的冷熱數據欄位）
把不常用的欄位單獨放在一張表;
把text，blob等大欄位拆分出來放在附表中;
經常組合查詢的列放在一張表中;
缺點是：很多邏輯需要重寫，帶來很大的工作量。
利用表分區：
這個是推薦的一個解決方案，不會帶來重寫邏輯等，可以根據時間來進行表分區，相當於在同一個磁碟上，表的數據存在不同的文件夾內，能夠極大的提高查詢速度。
橫向分表：
1000W條數據不少的，會帶來一些運維壓力，備份的時候，單表備份所需時間會很長，所以可以根據伺服器硬體條件進行水平分表，每個表有多少數據為准。
Ⅲ mysql怎麼優化，都要怎麼做
mysql優化是一個大方向，大的是要分布式、讀寫分離，小的是對sql語句進行優化。不過大多問的也是對sql語句優化，網上很多資料，我就大體說說。
1、explain+索引。
在你要查詢的語句前加explain，看下有沒有用到索引，如果出現type為all的，則說明有必要添加下索引。（附多表查詢速度比較：表關聯>exists>in）慢查詢優化是一大塊。
2、預統計。
很經常需要對歷史的數據進行過濾統計。比如移動需要統計上個月電話小時數超過N小時的人，那麼如果直接取原始數據，那將很慢，此時如果每天晚上凌晨都對數據進行預統計，統計每個人每天電話時數，那再來過濾就很快。
3、分表分區。
分表分區也是為了提高搜索速度。例如，公交車的gps行駛記錄，gps每隔15s報一次，一輛車一天運行12小時，一天就要插入4*60*12條記錄，N輛車就要再乘，其數量極大，所以經常按月分表，分表裡再按上報時間做日分區，這樣就達到很大的優化，想查詢某段時間，mysql很快就可以定位到。
4、表結構。
表結構很重要，經常需要多表關聯查詢一些欄位，有時可以冗餘下放到同一張表。
mysql優化很有意思，多去查閱些資料，多去嘗試，對你有好處的。
Ⅳ mysql 分表分頁查詢解決思路
當業務上按照月份分表，但是前端h5需要分頁展示，小夥伴們不知有沒有遇到這個這個需求最後怎麼完成的。
我這里想了一個解決思路，可能還不完善，希望能拋轉引玉。
1、入參pageNo 為頁號碼，如果為1那麼就是第一頁。pageSize 可以是入參也可定死，這里定死10條。Limit 是數據偏移標記，根據入參pageNo 計算出來的，Limit=(pageNo-1)*pageSize。假設A表有41條數據符合，B表有51條數據符合，如下圖。
有幾種種情況 1.如果limit<A表41條 那麼需要從A表中取數據，（1）如果Limit+pageSize<Count直接獲取數據即可（2）如果Limit+pageSize>Count,那麼需要從A 表取部分數據從B表取一部分數據。
1.如果limit>A表41條 那麼需要從B表取數據，如果B數據依然不足，那麼重復以上的步驟。如下圖
Ⅳ 超詳細MySQL資料庫優化
資料庫優化一方面是找出系統的瓶頸,提高MySQL資料庫的整體性能,而另一方面需要合理的結構設計和參數調整,以提高用戶的相應速度,同時還要盡可能的節約系統資源,以便讓系統提供更大的負荷.
1. 優化一覽圖
2. 優化
筆者將優化分為了兩大類,軟優化和硬優化,軟優化一般是操作資料庫即可,而硬優化則是操作伺服器硬體及參數設置.
2.1 軟優化
2.1.1 查詢語句優化
1.首先我們可以用EXPLAIN或DESCRIBE(簡寫:DESC)命令分析一條查詢語句的執行信息.
2.例:
顯示:
其中會顯示索引和查詢數據讀取數據條數等信息.
2.1.2 優化子查詢
在MySQL中,盡量使用JOIN來代替子查詢.因為子查詢需要嵌套查詢,嵌套查詢時會建立一張臨時表,臨時表的建立和刪除都會有較大的系統開銷,而連接查詢不會創建臨時表,因此效率比嵌套子查詢高.
2.1.3 使用索引
索引是提高資料庫查詢速度最重要的方法之一,關於索引可以參高筆者<MySQL資料庫索引>一文,介紹比較詳細,此處記錄使用索引的三大注意事項:
2.1.4 分解表
對於欄位較多的表,如果某些欄位使用頻率較低,此時應當,將其分離出來從而形成新的表,
2.1.5 中間表
對於將大量連接查詢的表可以創建中間表,從而減少在查詢時造成的連接耗時.
2.1.6 增加冗餘欄位
類似於創建中間表,增加冗餘也是為了減少連接查詢.
2.1.7 分析表,,檢查表,優化表
分析表主要是分析表中關鍵字的分布,檢查表主要是檢查表中是否存在錯誤,優化表主要是消除刪除或更新造成的表空間浪費.
1. 分析表: 使用 ANALYZE 關鍵字,如ANALYZE TABLE user;
2. 檢查表: 使用 CHECK關鍵字,如CHECK TABLE user [option]
option 只對MyISAM有效,共五個參數值:
3. 優化表:使用OPTIMIZE關鍵字,如OPTIMIZE [LOCAL|NO_WRITE_TO_BINLOG] TABLE user;
LOCAL|NO_WRITE_TO_BINLOG都是表示不寫入日誌.,優化表只對VARCHAR,BLOB和TEXT有效,通過OPTIMIZE TABLE語句可以消除文件碎片,在執行過程中會加上只讀鎖.
2.2 硬優化
2.2.1 硬體三件套
1.配置多核心和頻率高的cpu,多核心可以執行多個線程.
2.配置大內存,提高內存,即可提高緩存區容量,因此能減少磁碟I/O時間,從而提高響應速度.
3.配置高速磁碟或合理分布磁碟:高速磁碟提高I/O,分布磁碟能提高並行操作的能力.
2.2.2 優化資料庫參數
優化資料庫參數可以提高資源利用率,從而提高MySQL伺服器性能.MySQL服務的配置參數都在my.cnf或my.ini,下面列出性能影響較大的幾個參數.
2.2.3 分庫分表
因為資料庫壓力過大，首先一個問題就是高峰期系統性能可能會降低，因為資料庫負載過高對性能會有影響。另外一個，壓力過大把你的資料庫給搞掛了怎麼辦？所以此時你必須得對系統做分庫分表 + 讀寫分離，也就是把一個庫拆分為多個庫，部署在多個資料庫服務上，這時作為主庫承載寫入請求。然後每個主庫都掛載至少一個從庫，由從庫來承載讀請求。
2.2.4 緩存集群
如果用戶量越來越大，此時你可以不停的加機器，比如說系統層面不停加機器，就可以承載更高的並發請求。然後資料庫層面如果寫入並發越來越高，就擴容加資料庫伺服器，通過分庫分表是可以支持擴容機器的，如果資料庫層面的讀並發越來越高，就擴容加更多的從庫。但是這里有一個很大的問題：資料庫其實本身不是用來承載高並發請求的，所以通常來說，資料庫單機每秒承載的並發就在幾千的數量級，而且資料庫使用的機器都是比較高配置，比較昂貴的機器，成本很高。如果你就是簡單的不停的加機器，其實是不對的。所以在高並發架構里通常都有緩存這個環節，緩存系統的設計就是為了承載高並發而生。所以單機承載的並發量都在每秒幾萬，甚至每秒數十萬，對高並發的承載能力比資料庫系統要高出一到兩個數量級。所以你完全可以根據系統的業務特性，對那種寫少讀多的請求，引入緩存集群。具體來說，就是在寫資料庫的時候同時寫一份數據到緩存集群里，然後用緩存集群來承載大部分的讀請求。這樣的話，通過緩存集群，就可以用更少的機器資源承載更高的並發。
一個完整而復雜的高並發系統架構中，一定會包含：各種復雜的自研基礎架構系統。各種精妙的架構設計.因此一篇小文頂多具有拋磚引玉的效果,但是資料庫優化的思想差不多就這些了.
Ⅵ 「mysql」達到1億級別如何設計優化
「mysql」達到1億級別如何設計優化？
1.首先可以考慮業務層面優化，即垂直分表。
垂直分表就是把一個數據量很大的表,可以按某個欄位的屬性或使用頻繁程度分類,拆分為多個表。
如有多種業務類型，每種業務類型入不同的表，table1,table2,table3.
如果日常業務不需要使用所有數據，可以按時間分表，比如說月表。每個表只存一個月記錄。
2.架構上的優化，即水平分表。
水平分表就是根據一列或多列數據的值把數據行放到多個獨立的表裡，這里不具備業務意義。
如按照id分表，末尾是0-9的數據分別插入到10個表裡面。
可能你要問，這樣看起來和剛才說的垂直分表沒什麼區別。只不過是否具備業務意義的差異，都是按欄位的值來分表。
實際上，水平分表現在最流行的實現方式，是通過水平分庫來實現的。即剛才所說的10個表，分布在10個mysql資料庫上。這樣可以通過多個低配置主機整合起來，實現高性能。
最常見的解決方案是cobar，這個帖子介紹的比較完善，可以看看。
Ⅶ mysql資料庫要放1億條信息怎樣分表
mysql資料庫對1億條數據的分表方法設計：
目前針對海量數據的優化有兩種方法：
（1）垂直分割
如果單表的IO壓力大，可以考慮用水平分割，其原理就是通過hash演算法，將一張表分為N多頁，並通過一個新的表（總表），記錄著每個頁的的位置。
假如一個門戶網站，它的資料庫表已經達到了1億條記錄，那麼此時如果通過select去查詢，必定會效率低下（不做索引的前提下）。為了降低單表的讀寫IO壓力，通過水平分割，將這個表分成10個頁，同時生成一個總表，記錄各個頁的信息，那麼假如我查詢一條id=100的記錄，它不再需要全表掃描，而是通過總表找到該記錄在哪個對應的頁上，然後再去相應的頁做檢索，這樣就降低了IO壓力。
Ⅷ MySQL優化分庫分表，為什麼要分表，分表以後
1 基本思想之什麼是分庫分表？
從字面上簡單理解，就是把原本存儲於一個庫的數據分塊存儲到多個庫上，把原本存儲於一個表的數據分塊存儲到多個表上。
2 基本思想之為什麼要分庫分表？
資料庫中的數據量不一定是可控的，在未進行分庫分表的情況下，隨著時間和業務的發展，庫中的表會越來越多，表中的數據量也會越來越大，相應地，數據操作，增刪改查的開銷也會越來越大；另外，由於無法進行分布式式部署，而一台伺服器的資源（CPU、磁碟、內存、IO等）是有限的，最終資料庫所能承載的數據量、數據處理能力都將遭遇瓶頸。