1. php存入資料庫 如何將json格式的數據直接存入mysql資料庫
把json字元串存入資料庫,如果資料庫裡面存儲的欄位是字元串類型或者text的話是可以直接存入的。
例如:
$sql="insertintotablename(fieldname)values('$jsondata')";
mysql_query($sql);
這樣就好了。
2. mysql資料庫中某個欄位存的是json數據,如何對json數據中的數據進行操作
這個可以吧json格式的字元串解析成數組json_decode()函數,變成數組以後就可以方便操作了,可以刪除數組中的任意一項,也可以增加一項比如:array_push($data,['sort'=>3,'catentryId'=>10003]),再變成json格式的存入資料庫。方法有多種,這里簡單的示例下
3. mysql使用什麼類型存 json數據
JSON (JavaScriptObject Notation) 是一種輕量級的數據交換格式,主要用於傳送數據。JSON採用了獨立於語言的文本格式,類似XML,但是比XML簡單,易讀並且易編寫。對機器來說易於解析和生成,並且會減少網路帶寬的傳輸。由於JSON格式可以解耦javascript客戶端應用與Restful伺服器端的方法調用,因而在互聯網應用中被大量使用。
JSON的格式非常簡單:名稱/鍵值。之前MySQL版本裡面要實現這樣的存儲,要麼用VARCHAR要麼用TEXT大文本。 MySQL5.7發布後,專門設計了JSON數據類型以及關於這種類型的檢索以及其他函數解析。我們先看看MySQL老版本的JSON存取。
示例表結構:
CREATE TABLE json_test(
id INT,
person_desc TEXT
)ENGINE INNODB;
我們來插入一條記錄:
INSERT INTO json_test VALUES (1,'{
"programmers": [{
"firstName": "Brett",
"lastName": "McLaughlin",
"email": "aaaa"
}, {
"firstName": "Jason",
"lastName": "Hunter",
"email": "bbbb"
}, {
"firstName": "Elliotte",
"lastName": "Harold",
"email": "cccc"
}],
"authors": [{
"firstName": "Isaac",
"lastName": "Asimov",
"genre": "sciencefiction"
}, {
"firstName": "Tad",
"lastName": "Williams",
"genre":"fantasy"
}, {
"firstName": "Frank",
"lastName": "Peretti",
"genre": "christianfiction"
}],
"musicians": [{
"firstName": "Eric",
"lastName": "Clapton",
"instrument": "guitar"
}, {
"firstName": "Sergei",
"lastName": "Rachmaninoff",
"instrument": "piano"
}]
}');
那一般我們遇到這樣來存儲JSON格式的話,只能把這條記錄取出來交個應用程序,由應用程序來解析。如此一來,JSON又和特定的應用程序耦合在一起,其便利性的優勢大打折扣。
現在到了MySQL5.7,可以支持對JSON進行屬性的解析,我們重新修改下表結構:
ALTER TABLE json_test MODIFY person_desc json;
先看看插入的這行JSON數據有哪些KEY:
mysql> SELECT id,json_keys(person_desc) as "keys" FROM json_test\G
*************************** 1. row***************************
id: 1
keys: ["authors", "musicians","programmers"]
1 row in set (0.00 sec)
我們可以看到,裡面有三個KEY,分別為authors,musicians,programmers。那現在找一個KEY把對應的值拿出來:
mysql> SELECT json_extract(AUTHORS,'$.lastName[0]') AS 'name', AUTHORS FROM
-> (
-> SELECT id,json_extract(person_desc,'$.authors[0][0]') AS "authors" FROM json_test
->UNION ALL
-> SELECT id,json_extract(person_desc,'$.authors[1][0]') AS "authors" FROM json_test
-> UNION ALL
-> SELECT id,json_extract(person_desc,'$.authors[2][0]') AS "authors" FROM json_test
-> ) AS T1
-> ORDER BY NAME DESC\G
*************************** 1. row***************************
name:"Williams"
AUTHORS: {"genre": "fantasy","lastName": "Williams", "firstName":"Tad"}
*************************** 2. row***************************
name:"Peretti"
AUTHORS: {"genre":"christianfiction", "lastName": "Peretti","firstName": "Frank"}
*************************** 3. row***************************
name:"Asimov"
AUTHORS: {"genre": "sciencefiction","lastName": "Asimov", "firstName":"Isaac"}
3 rows in set (0.00 sec)
現在來把詳細的值羅列出來:
mysql> SELECT
->json_extract(AUTHORS,'$.firstName[0]') AS "firstname",
-> json_extract(AUTHORS,'$.lastName[0]')AS "lastname",
-> json_extract(AUTHORS,'$.genre[0]') AS"genre"
-> FROM
-> (
-> SELECT id,json_extract(person_desc,'$.authors[0]')AS "authors" FROM json
_test
-> ) AS T\G
*************************** 1. row***************************
firstname: "Isaac"
lastname:"Asimov"
genre:"sciencefiction"
1 row in set (0.00 sec)
我們進一步來演示把authors 這個KEY對應的所有對象刪掉。
mysql> UPDATE json_test
-> SET person_desc =json_remove(person_desc,'$.authors')\G
Query OK, 1 row affected (0.01 sec)
Rows matched: 1 Changed: 1 Warnings: 0
查找下對應的KEY,發現已經被刪除掉了。
mysql> SELECT json_contains_path(person_desc,'all','$.authors')as authors_exists FROM json_test\G
*************************** 1. row***************************
authors_exists: 0
1 row in set (0.00 sec)
總結下,雖然MySQL5.7開始支持JSON數據類型,但是我建議如果要使用的話,最好是把這樣的值取出來,然後在應用程序段來計算。畢竟資料庫是用來處理結構化數據的,大量的未預先定義schema的json解析,會拖累資料庫的性能。
4. mysql5.7支持json是要幹掉mongodb嗎
在MySQL與PostgreSQL的對比中,PG的JSON格式支持優勢總是不斷被拿來比較。其實早先MariaDB也有對非結構化的數據進行存儲的方案,稱為dynamic column,但是方案是通過BLOB類型的方式來存儲。這樣導致的問題是查詢性能不高,不能有效建立索引,與一些文檔資料庫對比,優勢並不大,故在社區的反應其實比較一般。當然,MariaDB的dynamic column功能還不僅限於非結構化數據的存儲,但不在本文進行展開。
MySQL 5.7.7 labs版本開始InnoDB存儲引擎已經原生支持JSON格式,該格式不是簡單的BLOB類似的替換。原生的JSON格式支持有以下的優勢:
JSON數據有效性檢查:BLOB類型無法在資料庫層做這樣的約束性檢查
查詢性能的提升:查詢不需要遍歷所有字元串才能找到數據
支持索引:通過虛擬列的功能可以對JSON中的部分數據進行索引
mysql> create table user ( uid int auto_increment, -> data json,primary key(uid))engine=innodb; Query OK, 0 rows affected (0.01 sec) mysql> insert into user values (NULL, -> '{"name":"David","mail":"[email protected]","address":"Shangahai"}'); Query OK, 1 row affected (0.00 sec) mysql> insert into user values (NULL,'{"name":"Amy","mail":"[email protected]"}'); Query OK, 1 row affected (0.00 sec)
可以看到我們新建了表user,並且將列data定義為了JSON類型。這意味著我們可以對插入的數據做JSON格式檢查,確保其符合JSON格式的約束,如插入一條不合法的JSON數據會報如下錯誤:
mysql> insert into user values (NULL,"test"); ERROR 3130 (22032): Invalid JSON text: "Invalid value" at position 2 in value (or column) 'test'.
此外,正如前面所說的,MySQL 5.7提供了一系列函數來高效地處理JSON字元,而不是需要遍歷所有字元來查找,這不得不說是對MariaDB dynamic column的巨大改進:
mysql> select jsn_extract(data, '$.name'),jsn_extract(data,'$.address') from user; +-----------------------------+-------------------------------+ | jsn_extract(data, '$.name') | jsn_extract(data,'$.address') | +-----------------------------+-------------------------------+ | "David" | "Shangahai" | | "Amy" | NULL | +-----------------------------+-------------------------------+ 2 rows in set (0.00 sec)
當然,最令人的激動的功能應該是MySQL 5.7的虛擬列功能,通過傳統的B+樹索引即可實現對JSON格式部分屬性的快速查詢。使用方法是首先創建該虛擬列,然後在該虛擬列上創建索引:
mysql> ALTER TABLE user ADD user_name varchar(128) -> GENERATED ALWAYS AS (jsn_extract(data,'$.name')) VIRTUAL; Query OK, 0 rows affected (0.01 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> select user_name from user; +-----------+ | user_name | +-----------+ | "Amy" | | "David" | +-----------+ 2 rows in set (0.00 sec) mysql> alter table user add index idx_username (user_name); Query OK, 2 rows affected (0.01 sec) Records: 2 Duplicates: 0 Warnings: 0
然後可以通過添加的索引對用戶名進行快速的查詢,這和普通類型的列查詢一樣。而通過explain可以驗證優化器已經選擇了在虛擬列上創建的新索引:
mysql> explain select * from user where user_name='"Amy"'\G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: user partitions: NULL type: ref possible_keys: idx_username key: idx_username key_len: 131 ref: const rows: 1 filtered: 100.00 Extra: NULL 1 row in set, 1 warning (0.00 sec)
5. mysql存儲過程處理json格式內容
找MYSQL JSON UDF吧,原生並沒有JSON解碼支持
6. mysql使用什麼類型存json數據
JSON (JavaScriptObject Notation) 是一種輕量級的數據交換格式,主要用於傳送數據。JSON採用了獨立於語言的文本格式,類似XML,但是比XML簡單,易讀並且易編寫。對機器來說易於解析和生成,並且會減少網路帶寬的傳輸。由於JSON格式可以解耦javascript客戶端應用與Restful伺服器端的方法調用,因而在互聯網應用中被大量使用。
7. 如果將json格式數據存儲到類似mysql這樣的關系型資料庫中,怎麼查
在MySQL與PostgreSQL的對比中,PG的JSON格式支持優勢總是不斷被拿來比較。其實早先MariaDB也有對非結構化的數據進行存儲的方案,稱為dynamic column,但是方案是通過BLOB類型的方式來存儲。這樣導致的問題是查詢性能不高,不能有效建立索引,與一些文檔資料庫對比,優勢並不大,故在社區的反應其實比較一般。當然,MariaDB的dynamic column功能還不僅限於非結構化數據的存儲,但不在本文進行展開。
MySQL 5.7.7 labs版本開始InnoDB存儲引擎已經原生支持JSON格式,該格式不是簡單的BLOB類似的替換。原生的JSON格式支持有以下的優勢:
JSON數據有效性檢查:BLOB類型無法在資料庫層做這樣的約束性檢查
查詢性能的提升:查詢不需要遍歷所有字元串才能找到數據
支持索引:通過虛擬列的功能可以對JSON中的部分數據進行索引
首先我們來看如何在MySQL中使用原生的JSON格式:
mysql> create table user ( uid int auto_increment,
-> data json,primary key(uid))engine=innodb;
Query OK, 0 rows affected (0.01 sec)
mysql> insert into user values (NULL,
-> '{"name":"David","mail":"[email protected]","address":"Shangahai"}');
Query OK, 1 row affected (0.00 sec)
mysql> insert into user values (NULL,'{"name":"Amy","mail":"[email protected]"}');
Query OK, 1 row affected (0.00 sec)
可以看到我們新建了表user,並且將列data定義為了JSON類型。這意味著我們可以對插入的數據做JSON格式檢查,確保其符合JSON格式的約束,如插入一條不合法的JSON數據會報如下錯誤:
mysql> insert into user values (NULL,"test");
ERROR 3130 (22032): Invalid JSON text: "Invalid value" at position 2 in value (or column) 'test'.
此外,正如前面所說的,MySQL 5.7提供了一系列函數來高效地處理JSON字元,而不是需要遍歷所有字元來查找,這不得不說是對MariaDB dynamic column的巨大改進:
mysql> select jsn_extract(data, '$.name'),jsn_extract(data,'$.address') from user;
+-----------------------------+-------------------------------+
| jsn_extract(data, '$.name') | jsn_extract(data,'$.address') |
+-----------------------------+-------------------------------+
| "David" | "Shangahai" |
| "Amy" | NULL |
+-----------------------------+-------------------------------+
2 rows in set (0.00 sec)
當然,最令人的激動的功能應該是MySQL 5.7的虛擬列功能,通過傳統的B+樹索引即可實現對JSON格式部分屬性的快速查詢。使用方法是首先創建該虛擬列,然後在該虛擬列上創建索引:
mysql> ALTER TABLE user ADD user_name varchar(128)
-> GENERATED ALWAYS AS (jsn_extract(data,'$.name')) VIRTUAL;
Query OK, 0 rows affected (0.01 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> select user_name from user;
+-----------+
| user_name |
+-----------+
| "Amy" |
| "David" |
+-----------+
2 rows in set (0.00 sec)
mysql> alter table user add index idx_username (user_name);
Query OK, 2 rows affected (0.01 sec)
Records: 2 Duplicates: 0 Warnings: 0
然後可以通過添加的索引對用戶名進行快速的查詢,這和普通類型的列查詢一樣。而通過explain可以驗證優化器已經選擇了在虛擬列上創建的新索引:
mysql> explain select * from user where user_name='"Amy"'\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: user
partitions: NULL
type: ref
possible_keys: idx_username
key: idx_username
key_len: 131
ref: const
rows: 1
filtered: 100.00
Extra: NULL
1 row in set, 1 warning (0.00 sec)
可以發現MySQL 5.7對於JSON格式堪稱完美,相信PostgreSQL陣營需要尋找新的策略來「攻擊」MySQL了吧。如無意外,還是會停留在優化器這塊,畢竟這塊是目前MySQL必須要克服的最大問題,好在MySQL團隊已經在重構優化器代碼,相信更好的優化器將會在下一個版本中全面爆發。而一大堆文檔資料庫們已經哭暈在廁所了吧。
8. mongodb和mysql5.7的json哪個更好,優缺點比較
與關系型資料庫相比,MongoDB的優點:
①弱一致性(最終一致),更能保證用戶的訪問速度:
舉例來說,在傳統的關系型資料庫中,一個COUNT類型的操作會鎖定數據集,這樣可以保證得到「當前」情況下的精確值。這在某些情況下,例 如通過ATM查看賬戶信息的時候很重要,但對於Wordnik來說,數據是不斷更新和增長的,這種「精確」的保證幾乎沒有任何意義,反而會產生很大的延 遲。他們需要的是一個「大約」的數字以及更快的處理速度。
但某些情況下MongoDB會鎖住資料庫。如果此時正有數百個請求,則它們會堆積起來,造成許多問題。我們使用了下面的優化方式來避免鎖定:
每次更新前,我們會先查詢記錄。查詢操作會將對象放入內存,於是更新則會盡可能的迅速。在主/從部署方案中,從節點可以使用「-pretouch」參數運行,這也可以得到相同的效果。
使用多個mongod進程。我們根據訪問模式將資料庫拆分成多個進程。
②文檔結構的存儲方式,能夠更便捷的獲取數據。
對於一個層級式的數據結構來說,如果要將這樣的數據使用扁平式的,表狀的結構來保存數據,這無論是在查詢還是獲取數據時都十分困難。
舉例1:
就拿一個「字典項」來說,雖然並不十分復雜,但還是會關繫到「定義」、「詞性」、「發音」或是「引用」等內容。大部分工程師會將這種模型使用關系型資料庫 中的主鍵和外鍵表現出來,但把它看作一個「文檔」而不是「一系列有關系的表」豈不更好?使用 「dictionary.definition.partOfSpeech='noun'」來查詢也比表之間一系列復雜(往往代價也很高)的連接查詢方便 且快速。
舉例2:在一個關系型資料庫中,一篇博客(包含文章內容、評論、評論的投票)會被打散在多張數據表中。在MongoDB中,能用一個文檔來表示一篇博客, 評論與投票作為文檔數組,放在正文主文檔中。這樣數據更易於管理,消除了傳統關系型資料庫中影響性能和水平擴展性的「JOIN」操作。
CODE↓
> db.blogposts.save({ title : "My First Post", author: {name : "Jane", id :1},
comments : [{ by: "Abe", text: "First" },
{ by : "Ada", text : "Good post" }]
})
> db.blogposts.find( { "author.name" : "Jane" } )
> db.blogposts.findOne({ title : "My First Post", "author.name": "Jane",
comments : [{ by: "Abe", text: "First" },
{ by : "Ada", text : "Good post" } ]
})
> db.blogposts.find( { "comments.by" : "Ada" } )
> db.blogposts.ensureIndex( { "comments.by" : 1 } );
舉例③:
MongoDB是一個面向文檔的資料庫,目前由10gen開發並維護,它的功能豐富,齊全,完全可以替代MySQL。在使用MongoDB做產品原型的過程中,我們總結了MonogDB的一些亮點:
使用JSON風格語法,易於掌握和理解:MongoDB使用JSON的變種BSON作為內部存儲的格式和語法。針對MongoDB的操作都使用JSON風格語法,客戶端提交或接收的數據都使用JSON形式來展現。相對於SQL來說,更加直觀,容易理解和掌握。
Schema-less,支持嵌入子文檔:MongoDB是一個Schema-free的文檔資料庫。一個資料庫可以有多個Collection,每 個Collection是Documents的集合。Collection和Document和傳統資料庫的Table和Row並不對等。無需事先定義 Collection,隨時可以創建。
Collection中可以包含具有不同schema的文檔記錄。 這意味著,你上一條記錄中的文檔有3個屬性,而下一條記錄的文檔可以有10個屬 性,屬性的類型既可以是基本的數據類型(如數字、字元串、日期等),也可以是數組或者散列,甚至還可以是一個子文檔(embed document)。這 樣,可以實現逆規范化(denormalizing)的數據模型,提高查詢的速度。
③內置GridFS,支持大容量的存儲。
GridFS是一個出色的分布式文件系統,可以支持海量的數據存儲。
內置了GridFS了MongoDB,能夠滿足對大數據集的快速范圍查詢。
④內置Sharding。
提供基於Range的Auto Sharding機制:一個collection可按照記錄的范圍,分成若干個段,切分到不同的Shard上。
Shards可以和復制結合,配合Replica sets能夠實現Sharding+fail-over,不同的Shard之間可以負載均衡。查詢是對 客戶端是透明的。客戶端執行查詢,統計,MapRece等操作,這些會被MongoDB自動路由到後端的數據節點。這讓我們關注於自己的業務,適當的 時候可以無痛的升級。MongoDB的Sharding設計能力最大可支持約20 petabytes,足以支撐一般應用。
這可以保證MongoDB運行在便宜的PC伺服器集群上。PC集群擴充起來非常方便並且成本很低,避免了「sharding」操作的復雜性和成本。
⑤第三方支持豐富。(這是與其他的NoSQL相比,MongoDB也具有的優勢)
現在網路上的很多NoSQL開源資料庫完全屬於社區型的,沒有官方支持,給使用者帶來了很大的風險。
而開源文檔資料庫MongoDB背後有商業公司10gen為其提供供商業培訓和支持。
而且MongoDB社區非常活躍,很多開發框架都迅速提供了對MongDB的支持。不少知名大公司和網站也在生產環境中使用MongoDB,越來越多的創新型企業轉而使用MongoDB作為和Django,RoR來搭配的技術方案。
⑥性能優越:
在使用場合下,千萬級別的文檔對象,近10G的數據,對有索引的ID的查詢不會比mysql慢,而對非索引欄位的查詢,則是全面勝出。 mysql實際無法勝任大數據量下任意欄位的查詢,而mongodb的查詢性能實在讓我驚訝。寫入性能同樣很令人滿意,同樣寫入百萬級別的數 據,mongodb比我以前試用過的couchdb要快得多,基本10分鍾以下可以解決。補上一句,觀察過程中mongodb都遠算不上是CPU殺手。
與關系型資料庫相比,MongoDB的缺點:
①mongodb不支持事務操作。
所以事務要求嚴格的系統(如果銀行系統)肯定不能用它。(這點和優點①是對應的)
②mongodb佔用空間過大。
關於其原因,在官方的FAQ中,提到有如下幾個方面:
1、空間的預分配:為避免形成過多的硬碟碎片,mongodb每次空間不足時都會申請生成一大塊的硬碟空間,而且申請的量從64M、128M、256M那 樣的指數遞增,直到2G為單個文件的最大體積。隨著數據量的增加,你可以在其數據目錄里看到這些整塊生成容量不斷遞增的文件。
2、欄位名所佔用的空間:為了保持每個記錄內的結構信息用於查詢,mongodb需要把每個欄位的key-value都以BSON的形式存儲,如果 value域相對於key域並不大,比如存放數值型的數據,則數據的overhead是最大的。一種減少空間佔用的方法是把欄位名盡量取短一些,這樣佔用 空間就小了,但這就要求在易讀性與空間佔用上作為權衡了。我曾建議作者把欄位名作個index,每個欄位名用一個位元組表示,這樣就不用擔心欄位名取多長 了。但作者的擔憂也不無道理,這種索引方式需要每次查詢得到結果後把索引值跟原值作一個替換,再發送到客戶端,這個替換也是挺耗費時間的。現在的實現算是 拿空間來換取時間吧。
3、刪除記錄不釋放空間:這很容易理解,為避免記錄刪除後的數據的大規模挪動,原記錄空間不刪除,只標記「已刪除」即可,以後還可以重復利用。