我們都知道，伺服器資料庫的開發一般都是通過java或者是PHP語言來編程實現的，而為了提高我們資料庫的運行速度和效率，資料庫優化也成為了我們每日的工作重點，今天，雲南IT培訓http://www.kmbdqn.cn/就一起來了解一下mysql伺服器資料庫的優化方法。
為什麼要了解索引
真實案例
案例一：大學有段時間學習爬蟲，爬取了知乎300w用戶答題數據，存儲到mysql數據中。那時不了解索引，一條簡單的「根據用戶名搜索全部回答的sql「需要執行半分鍾左右，完全滿足不了正常的使用。
案例二：近線上應用的資料庫頻頻出現多條慢sql風險提示，而工作以來，對資料庫優化方面所知甚少。例如一個用戶數據頁面需要執行很多次資料庫查詢，性能很慢，通過增加超時時間勉強可以訪問，但是性能上需要優化。
索引的優點
合適的索引，可以大大減小mysql伺服器掃描的數據量，避免內存排序和臨時表，提高應用程序的查詢性能。
索引的類型
mysql數據中有多種索引類型，primarykey，unique，normal，但底層存儲的數據結構都是BTREE;有些存儲引擎還提供hash索引，全文索引。
BTREE是常見的優化要面對的索引結構，都是基於BTREE的討論。
B-TREE
查詢數據簡單暴力的方式是遍歷所有記錄;如果數據不重復，就可以通過組織成一顆排序二叉樹，通過二分查找演算法來查詢，大大提高查詢性能。而BTREE是一種更強大的排序樹，支持多個分支，高度更低，數據的插入、刪除、更新更快。
現代資料庫的索引文件和文件系統的文件塊都被組織成BTREE。
btree的每個節點都包含有key，data和只想子節點指針。
btree有度的概念d>=1。假設btree的度為d，則每個內部節點可以有n=[d+1，2d+1)個key，n+1個子節點指針。樹的大高度為h=Logb[(N+1)/2]。
索引和文件系統中，B-TREE的節點常設計成接近一個內存頁大小(也是磁碟扇區大小)，且樹的度非常大。這樣磁碟I/O的次數，就等於樹的高度h。假設b=100，一百萬個節點的樹，h將只有3層。即，只有3次磁碟I/O就可以查找完畢，性能非常高。
索引查詢
建立索引後，合適的查詢語句才能大發揮索引的優勢。
另外，由於查詢優化器可以解析客戶端的sql語句，會調整sql的查詢語句的條件順序去匹配合適的索引。
❷ java 怎樣分頁存儲數據到mysql資料庫
根據我的理解你的程序的主要作用是：
抓取另外一個網站的頁面內容
解析後存儲到自己的資料庫裡面
然後再在頁面上顯示剛剛抓取的數據
如果我的理解正確的話，你要做的是一個網站數據採集器，那麼
分頁存儲的方法有兩種：
方案A
在資料庫找個表存儲當前進行到的序號，比如現在網站上有1000個數據，有個欄位可以標定數據的序號，就是網站文章的id（這個數據根據業務的不同要自己去尋找）
然後你讀取對方網站的時候先把網站的html讀取到java內存中，然後解析這些html，讀出一個list列表
在對list列表遍歷的時候，把文章的id跟資料庫中存儲的文章id比對，如果發現是已經存儲過的文章id就不存儲，如果是沒存儲過的再存儲
在遍歷的過程中記錄下當前存儲的文章數量，當達到一個指定的數量（你可以自己定義，比如是100個文章）的時候停止存儲，並退出循環，然後把當前遍歷到的文章id存儲到資料庫中
這樣就實現了每次只存儲指定的數量（比如100個文章）
方案B
如果你要抓取的網站也是分頁的，那麼你就每次抓取一頁，並把當前抓取到的頁數記錄到資料庫中
通過觀察得出對方網站的不同頁數據的url規律，比如發現他們網站第x頁的數據總是根據 域名/具體的頁面?page=x ，那麼下次抓取的時候，從資料庫讀出上次抓取的頁面數，然後加1
拼出新的頁面的url，然後訪問，再進行抓取
這樣就實現了每次只存儲一頁數據
分頁顯示的方法：
使用mysql的 limit 語法：limit x,y ，代表從第x行開始讀取 y 行數據
假定當前要翻到第page頁，每頁有row行數據，sql要這么寫
select*fromuserlimit((page-1)*row),row
舉個例子一頁20條，第3頁的寫法
select*fromuserlimit40,20
❸ mysql 存儲過程
1. exec 存儲過程名
2. exec 存儲過程名 參數1,參數2,參數3......
或者exec 存儲過程名 參數1='',參數2='',參數3=''......
❹ 簡介mysql之mysql語句執行流程
1.一條查詢語句如何執行？
2.一條更新語句如何執行？
3.innodb的redolog是什麼？
4.什麼是寫緩沖
5.寫緩沖一定好嗎？
6.什麼情況會引發刷臟頁
關於一條mysql查詢語句在mysql中的執行流程
如select name from test where id=10;
1.連接器---先與mysql服務端連接器建立連接，若查詢緩存命中則直接返回 （查詢緩存的弊端：查詢緩存的失效非常頻繁，只要有對一個表的更新，這個表上所有的查詢緩存都會被清空。）
2.分析器---詞法分析告訴服務端你要干什麼（我要找 test表中id為10的名字） ( 其中sql語法錯誤在這塊暴露 )
3.優化器---服務端會思考該怎麼執行最優(索引的選擇)
4.執行器---檢查用戶對庫對表的許可權
5.存儲引擎--存儲數據，提供讀寫介面
以update a set name=1 where id=1;
主要區別在於在查詢到數據之後(select name from a where id=1)，如果是innodb引擎它會進行日誌的兩階段提交:
1.開啟事務，寫入redolog（innodb引擎特有），並更新內存
3.寫入binlog，提交事務，commit
我們知道mysql數據存儲包含內存與磁碟兩個部分，innodb是按數據頁(通常為16k)從磁碟讀取到內存中的(剩餘操作在內存中執行)，當要更新數據時，若目標數據的數據頁剛好在內存中，則直接更新。不在呢？
將這個更新操作(也可能是插入) 緩存在change buffer中 (redolog也會記錄這個change buffer操作)等到下一次查詢要用到這些數據時，再執行這些操作，改變數據(稱為合並操作記錄稱為merge)。
innodb_change_buffer_max_size
innodb_change_buffering
先介紹兩個概念
因為redolog是環形日誌，當redolog寫滿時，就需要「擦掉」開頭的一部分數據來達到循環寫，這里的擦掉指，指將redolog日誌的checkpoint位置從 CP推進到CP『 ，同時將兩點之間的臟頁刷到磁碟上(flush操作)，此時系統要停止所有的更新操作（防止更新操作丟失）
1.系統內存不足。當要讀取新的內存頁時就要淘汰一些數據頁，如果淘汰的正好是臟頁，就要執行一次flush操作
2.Mysql認為系統處於「空閑狀態」
3.正常關閉Mysql
上述後兩者場景(系統空閑和正常關閉)對於性能都沒太大影響。
當為第一種redolog寫滿時，系統無法執行更新操作，所有操作都會堵塞
當為第二種內存不夠用時，如果淘汰臟頁太多，影響mysql響應時間
後兩者刷臟頁會影響性能，所以Mysql需要有刷臟頁控制策略，可以從以下幾個設置項考慮
1.設置innodb_io_capacity告訴innodb所在主機的IO能力
❺ mysql存儲引擎類型有哪些
1、MyISAM
使用這個存儲引擎，每個MyISAM在磁碟上存儲成三個文件。
（1）frm文件：存儲表的定義數據
（2）MYD文件：存放表具體記錄的數據
（3）MYI文件：存儲索引
frm和MYI可以存放在不同的目錄下。MYI文件用來存儲索引，但僅保存記錄所在頁的指針，索引的結構是B+樹結構。下面這張圖就是MYI文件保存的機制：
從這張圖可以發現，這個存儲引擎通過MYI的B+樹結構來查找記錄頁，再根據記錄頁查找記錄。並且支持全文索引、B樹索引和數據壓縮。
支持數據的類型也有三種：
（1）靜態固定長度表
這種方式的優點在於存儲速度非常快，容易發生緩存，而且表發生損壞後也容易修復。缺點是占空間。這也是默認的存儲格式。
（2）動態可變長表
優點是節省空間，但是一旦出錯恢復起來比較麻煩。
（3）壓縮表
上面說到支持數據壓縮，說明肯定也支持這個格式。在數據文件發生錯誤時候，可以使用check table工具來檢查，而且還可以使用repair table工具來恢復。
有一個重要的特點那就是不支持事務，但是這也意味著他的存儲速度更快，如果你的讀寫操作允許有錯誤數據的話，只是追求速度，可以選擇這個存儲引擎。
2、InnoDB
InnoDB是默認的資料庫存儲引擎，他的主要特點有：
（1）可以通過自動增長列，方法是auto_increment。
（2）支持事務。默認的事務隔離級別為可重復度，通過MVCC（並發版本控制）來實現的。
（3）使用的鎖粒度為行級鎖，可以支持更高的並發；
（4）支持外鍵約束；外鍵約束其實降低了表的查詢速度，但是增加了表之間的耦合度。
（5）配合一些熱備工具可以支持在線熱備份；
（6）在InnoDB中存在著緩沖管理，通過緩沖池，將索引和數據全部緩存起來，加快查詢的速度；
（7）對於InnoDB類型的表，其數據的物理組織形式是聚簇表。所有的數據按照主鍵來組織。數據和索引放在一塊，都位於B+數的葉子節點上；
當然InnoDB的存儲表和索引也有下面兩種形式：
（1）使用共享表空間存儲：所有的表和索引存放在同一個表空間中。
（2）使用多表空間存儲：表結構放在frm文件，數據和索引放在IBD文件中。分區表的話，每個分區對應單獨的IBD文件，分區表的定義可以查看我的其他文章。使用分區表的好處在於提升查詢效率。
對於InnoDB來說，最大的特點在於支持事務。但是這是以損失效率來換取的。
3、Memory
將數據存在內存，為了提高數據的訪問速度，每一個表實際上和一個磁碟文件關聯。文件是frm。
（1）支持的數據類型有限制，比如：不支持TEXT和BLOB類型，對於字元串類型的數據，只支持固定長度的行，VARCHAR會被自動存儲為CHAR類型；
（2）支持的鎖粒度為表級鎖。所以，在訪問量比較大時，表級鎖會成為MEMORY存儲引擎的瓶頸；
（3）由於數據是存放在內存中，一旦伺服器出現故障，數據都會丟失；
（4）查詢的時候，如果有用到臨時表，而且臨時表中有BLOB，TEXT類型的欄位，那麼這個臨時表就會轉化為MyISAM類型的表，性能會急劇降低；
（5）默認使用hash索引。
（6）如果一個內部表很大，會轉化為磁碟表。
在這里只是給出3個常見的存儲引擎。使用哪一種引擎需要靈活選擇，一個資料庫中多個表可以使用不同引擎以滿足各種性能和實際需求，使用合適的存儲引擎，將會提高整個資料庫的性能
❻ 五、MYSQL存儲過程和函數
• create procere用來創建 存儲過程 ，create function用來創建 函數
• Delimiter命令是改變語句的結束符 ，MySQL默認的結束符為;號，由於procere和function中的;號並不代表創建的結束，所以要替換成另外的結束符以便表示創建的結束
• rontine_body子句可以包含一個簡單的SQL語句，也可以包含多個SQL語句， 通過begin…end將這多個SQL語句 包含在一起
• MySQL存儲過程和函數中也可以包含類似create和drop等DDL語句
• comment子句用來寫入對存儲過程和函數的注釋
• Language子句用來表示此存儲過程和函數的創建語言
• 存儲過程和函數被標注為deterministic表明當輸入相同的參數是會返回相同的結果，反之如果是not deterministic則表示相同參數不會是相同結果，默認是not deterministic
• 相關屬性短語只有咨詢含義，並不是強制性的約束
• Drop procere/function語句用來 刪除指定名稱的存儲過程或函數
• Begin…end語句通常出現在存儲過程、函數和觸發器中，其中 可以包含一個或多個語句 ，每個語句用;號隔開
• 標簽label可以加在begin…end語句以及loop, repeat和while語句
• 語句中通過iterate和leave來控制流程，iterate表示返回指定標簽位置，leave表示跳出標簽
• Declare語句通常用來聲明本地變數、游標、條件或者handler
• Declare語句只允許出現在begin … end語句中而且必須出現在第一行
• Declare的順序也有要求，通常是先聲明本地變數，再是游標，然後是條件和handler
• 本地變數可以通過declare語句進行聲明
• 聲明後的變數可以通過select … into var_list進行賦值，或者通過set語句賦值，或者通過定義游標並使用fetch … into var_list賦值
• 通過declare聲明變數方法：
• MySQL支持if,case,iterate,leave,loop,while,repeat語句作為存儲過程和函數中的 流程式控制制語句 ，另外return語句也是函數中的特定流程式控制制語句
• Case語句在存儲過程或函數中表明了 復雜的條件選擇語句
• IF語句在存儲過程或函數中表明了 基礎的條件選擇語句
其中在 function 裡面，只有 DETERMINISTIC, NO SQL 和 READS SQL DATA 被支持。如果我們開啟了 bin-log, 我們就必須為我們的 function 指定一個參數。
在 MySQL 中創建函數時出現這種錯誤的解決方法：
set global log_bin_trust_function_creators=TRUE;
• Iterate語句 僅出現在loop,repeat,while循環語句中，其含義表示重新開始此循環
• Leave語句表明 退出指定標簽的流程式控制制語句塊
• 通常會用在begin…end，以及loop,repeat,while的循環語句中
• Loop語句是存儲過程或函數中表達 循環執行 的一種方式
• repeat語句是存儲過程或函數中表達 循環執行 的一種方式
• while語句是存儲過程或函數中表達 循環執行 的一種方式
• Return語句用在 函數中，用來終結函數的執行並將指定值返回給調用者
• Cursor游標用來 聲明一個數據集
• 游標的聲明必須在變數和條件聲明之後，在handler聲明之前
• Cursor close語句用來 關閉之前打開的游標
• Cursor declare語句用來聲明一個游標和指定游標對應的數據集合， 通常數據集合是一個select語句
• Cursor fetch語句用來獲取游標指定數據集的 下一行數據 並將各個欄位值賦予後面的變數
• Open cursor語句用來打開一個之前已經 聲明好的游標
• Declare condition語句命名 特定的錯誤條件 ，而該特定錯誤可以在declare…handler中指定 處理方法
• 比如在MySQL中1051error code表示的是unknown table的錯誤，如果要對這
個錯誤做特殊處理，可以用三種方法：
• Declare handler語句用來聲明一個handler來處理一個或多個特殊條件，當其中的某個條件滿足時則觸發其中的statement語句執行
• Statement可以是一個簡單SQL語句，也可以是begin…end組成的多個語句
• Handler_action子句聲明當執行完statement語句之後應該怎麼辦
Condition_value的值有以下幾種：
• 當condition發生但沒有聲明handler時，則存儲過程和函數依照如下規則處理
• create trigger語句用來創建一個觸發器，觸發器的作用是當表上有對應SQL語句發生時，則觸發執行
• 觸發器創建時需要 指定對應的表名 tbl_name
• Definer關鍵詞用來指定trigger的安全環境
• Trigger_time指定觸發器的執行時間，BEFORE和AFTER指定觸發器在表中的 每行數據修改前或者後 執行
• Trigger_event指定觸發該觸發器的具體 事件
• INSERT當新的一行數據插入表中時觸發，比如通過執行insert,load data,replace語句插入新數據
• UPDATE當表的一行數據被修改時觸發，比如執行update語句時
• DELETE當表的一行數據被刪除時觸發，比如執行delete,replace語句時
• 當執行insert into … on plicate key update語句時，當碰到重復行執行update時，則觸發update下的觸發器
• 從5.7.2版本開始，可以創建具有相同trigger_time和trigger_event的同一個表上的多個觸發器，默認情況下按照創建的時間依次執行，通過 指定FOLLOWS/PRECEDES改變執行順序 ，即FOLLOWS時表示新創建的觸發器後執行，PRECEDES則表示新觸發器先執行
• Trigger_body表示觸發器觸發之後要執行的一個或多個語句，在內部可以引用涉及表的欄位， OLD.col_name表示行數據被修改或刪除之前的欄位數據，NEW.col_name表示行數據被插入或修改之後的欄位數據
• Drop trigger語句用來 刪除一個觸發器
• If exists短語用來避免刪除不存在的觸發器時引發報錯
• 當你執行drop table時，表上的觸發器也被drop掉了
❼ 請教mysql每次存儲塊大小的問題
想咨詢您一下，mysql的myisam機制中，一次寫到文件中的數據塊時多少位元組呢？有限制嘛？reclength和length的關系是什麼呢？謝謝~
int _mi_write_part_record(MI_INFO *info,
my_off_t filepos, /* points at empty block */
ulong length, /* length of block */
my_off_t next_filepos,/* Next empty block */
byte **record, /* pointer to record ptr */
ulong *reclength, /* length of *record */