Tidb存儲佔用監控

1. go是什麼編程語言主要應用於哪些方面

Go語言由Google公司開發，並於2009年開源，相比Java/Python/C等語言，Go尤其擅長並發編程，性能堪比C語言，開發效率肩比Python，被譽為「21世紀的C語言」。
Go語言在雲計算、大數據、微服務、高並發領域應用應用非常廣泛。BAT大廠正在把Go作為新項目開發的首選語言。
Go語言能幹什麼?
1、服務端開發：以前你使用C或者C++做的那些事情，用Go來做很合適，例如日誌處理、文件系統、監控系統等;
2、DevOps：運維生態中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go語言開發;
3、網路編程：大量優秀的Web框架如Echo、Gin、Iris、beego等，而且Go內置的 net/http包十分的優秀;
4、Paas雲平台領域：Kubernetes和Docker Swarm等;
5、分布式存儲領域：etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;
6、區塊鏈領域：區塊鏈裡面有兩個明星項目以太坊和fabric都使用Go語言;
7、容器虛擬化：大名鼎鼎的Docker就是使用Go語言實現的;
8、爬蟲及大數據：Go語言天生支持並發，所以十分適合編寫分布式爬蟲及大數據處理。

2. 騰訊tidb是自研的嗎

不是的。

最開始，我們調研了開源的分布式Newsql方案：TIDB。雖然TIDB是非常優秀的NewSQL產品，但是對於我們的業務場景來說，TIDB並不是非常適合，原因如下：

• 需要一款高吞吐，低延遲的資料庫解決方案，但是TIDB由於要滿足事務，2pc方案天然無法滿足低延遲（100ms以內的99rt，甚至50ms內的99rt）

• 多數業務，並不真正需要分布式事務，或者說可以通過其他補償機制，繞過分布式事務。這是由於業務場景決定的。

• TIDB三副本的存儲空間成本相對比較高。

• 內部一些離線數據導入在線系統的場景，不能直接和TIDB打通。

基於以上原因，我們開啟了自研符合自己業務需求的NewSQL之路。

3. tidb 好不好用

摘要 TiDB 是一款結合了傳統的關系型資料庫和 NoSQL 資料庫特性的新型分布式資料庫。

4. 資料庫為什麼要分庫分表

1 基本思想之什麼是分庫分表？
從字面上簡單理解，就是把原本存儲於一個庫的數據分塊存儲到多個庫上，把原本存儲於一個表的數據分塊存儲到多個表上。
2 基本思想之為什麼要分庫分表？

數
據庫中的數據量不一定是可控的，在未進行分庫分表的情況下，隨著時間和業務的發展，庫中的表會越來越多，表中的數據量也會越來越大，相應地，數據操作，增
刪改查的開銷也會越來越大；另外，由於無法進行分布式式部署，而一台伺服器的資源（CPU、磁碟、內存、IO等）是有限的，最終資料庫所能承載的數據量、
數據處理能力都將遭遇瓶頸。
3 分庫分表的實施策略。

分庫分表有垂直切分和水平切分兩種。
3.1
何謂垂直切分，即將表按照功能模塊、關系密切程度劃分出來，部署到不同的庫上。例如，我們會建立定義資料庫workDB、商品資料庫payDB、用戶數據
庫userDB、日誌資料庫logDB等，分別用於存儲項目數據定義表、商品定義表、用戶數據表、日誌數據表等。
3.2
何謂水平切分，當一個表中的數據量過大時，我們可以把該表的數據按照某種規則，例如userID散列，進行劃分，然後存儲到多個結構相同的表，和不同的庫
上。例如，我們的userDB中的用戶數據表中，每一個表的數據量都很大，就可以把userDB切分為結構相同的多個userDB：part0DB、
part1DB等，再將userDB上的用戶數據表userTable，切分為很多userTable：userTable0、userTable1等，
然後將這些表按照一定的規則存儲到多個userDB上。
3.3 應該使用哪一種方式來實施資料庫分庫分表，這要看資料庫中數據量的瓶頸所在，並綜合項目的業務類型進行考慮。
如果資料庫是因為表太多而造成海量數據，並且項目的各項業務邏輯劃分清晰、低耦合，那麼規則簡單明了、容易實施的垂直切分必是首選。
而
如果資料庫中的表並不多，但單表的數據量很大、或數據熱度很高，這種情況之下就應該選擇水平切分，水平切分比垂直切分要復雜一些，它將原本邏輯上屬於一體
的數據進行了物理分割，除了在分割時要對分割的粒度做好評估，考慮數據平均和負載平均，後期也將對項目人員及應用程序產生額外的數據管理負擔。
在現實項目中，往往是這兩種情況兼而有之，這就需要做出權衡，甚至既需要垂直切分，又需要水平切分。我們的游戲項目便綜合使用了垂直與水平切分，我們首先對資料庫進行垂直切分，然後，再針對一部分表，通常是用戶數據表，進行水平切分。
4 分庫分表存在的問題。

4.1 事務問題。
在執行分庫分表之後，由於數據存儲到了不同的庫上，資料庫事務管理出現了困難。如果依賴資料庫本身的分布式事務管理功能去執行事務，將付出高昂的性能代價；如果由應用程序去協助控制，形成程序邏輯上的事務，又會造成編程方面的負擔。
4.2 跨庫跨表的join問題。
在執行了分庫分表之後，難以避免會將原本邏輯關聯性很強的數據劃分到不同的表、不同的庫上，這時，表的關聯操作將受到限制，我們無法join位於不同分庫的表，也無法join分表粒度不同的表，結果原本一次查詢能夠完成的業務，可能需要多次查詢才能完成。
4.3 額外的數據管理負擔和數據運算壓力。
額
外的數據管理負擔，最顯而易見的就是數據的定位問題和數據的增刪改查的重復執行問題，這些都可以通過應用程序解決，但必然引起額外的邏輯運算，例如，對於
一個記錄用戶成績的用戶數據表userTable，業務要求查出成績最好的100位，在進行分表之前，只需一個order
by語句就可以搞定，但是在進行分表之後，將需要n個order
by語句，分別查出每一個分表的前100名用戶數據，然後再對這些數據進行合並計算，才能得出結果。

5. 學go語言能做什麼工作

沒有。
老老實實的去學，VB，C，JAVA

6. 分布式資料庫相比自建資料庫具備哪些優勢

自建資料庫：

• 容易產生容量與性能瓶頸

  當前的硬體條件下，主流資料庫可以支持單表千萬級數據量的存儲，但是難以支撐密集的並發讀寫，存在性能瓶頸。

• 分區分表或分庫方案限制太多

  採用分區表方案，數據不能跨實例存儲，擴展性和維護性較差。

  採用分庫方案，客戶端需要自行管理各庫連接，資料庫連接管理和升級復雜，擴容遷移困難。

• 伺服器成本高昂

  普通X86伺服器支撐能力有限，品牌廠商的伺服器價格高昂，通過增加硬體規格來提升並發性能的成本太高，且能到達的性能高度有限。

在分布式資料庫面前，上面這些都不是問題，有很長廠商都已經把分布式資料庫做的不錯了，如阿里雲，華為雲等。

如下以我熟悉的華為雲分布式資料庫中間件DDM為例為你介紹下，如果感興趣可以去官網了解一下，現在好像還有試用活動：華為雲分布式資料庫中間件DDM

分布式資料庫：

• 數據分布存儲

  DDM採用水平拆分方式，將數據記錄數龐大的單表，按指定的拆分規則，分布式存儲到各個分片中。同時DDM提供路由分發功能，應用服務無需考慮數據該寫入哪個分片，該從哪個分片讀取。

• 讀寫分離

  用戶可以根據數據讀取壓力負載情況，為每個RDS實例配置一個或者多個只讀實例，提高查詢並發性能。

• 高性能

  在實際業務訪問中，SQL主要的性能瓶頸集中在物理資料庫節點上。

  DDM實例關聯多個RDS節點，減少單個RDS存儲的數據量，同時實現並行計算，支持PB級數據量訪問，以及百萬級高並發。

• 在線平滑擴容

  DDM在不中斷業務的情況下，支持新增RDS實例，水平擴容存儲空間。一鍵式擴容，輕松解決單機資料庫的容量瓶頸。

7. 咋測試tidb自增id是不是唯一

咋測試tidb自增id是唯一。tidb的自增id只能保證唯一性，不保證自增性和連續性，也不支持在線添加列auto_increment屬性，tidb的主鍵索引和唯一索引的存儲方式相同，不支持全文索引、空間索引、僅支持utf8/utf8mb4/ascii/latin1/binary幾個字元集。

tidb的存儲能力

無限水平擴展是TiDB的一大特點，這里說的水平擴展包括兩方面：計算能力和存儲能力。TiDB Server負責處理SQL請求，隨著業務的增長，可以簡單的添加TiDB Server節點，提高整體的處理能力，提供更高的吞吐。

TiKV負責存儲數據，隨著數據量的增長，可以部署更多的TiKV Server節點解決數據Scale的問題。PD會在TiKV節點之間以Region為單位做調度，將部分數據遷移到新加的節點上。所以在業務的早期，可以只部署少量的服務實例（推薦至少部署3個TiKV，3個PD，2個TiDB），隨著業務量的增長，按照需求添加TiKV或者TiDB實例。

8. linux下的 資料庫 有哪些

你要的全在下面：資料庫已經有4代了產品很多。

DBA課程更新內容大綱：

序章 DBA職業體系與資料庫產品趨勢

• What is DBA？

• DBA成長體系與職業方向(0-30W-50W-100W-???)

• 資料庫發展歷史,產品迭代趨勢與職業學習方向

第一部分 OLTP資料庫-MySQL(約1天)

• MySQL基礎入門

• MySQL資料庫簡介

• 什麼是資料庫？什麼是OLTP?

• 為什麼學習MySQL?MySQL產品迭代

• 一二線大廠MySQL主流版本功能使用與特性介紹(5.1,5.6,5.7,8.0)**獨家**

• MySQL部署與管理體系

• 5.7,8.0版本企業規范部署,啟動

• MySQL管理體系講解

• MySQL產品架構分析與基礎管理

• MySQL基礎架構解析(一條SQL是如何執行的)

• MySQL啟動過程

• MySQL連接的生命與使命

• MySQL表結構實現原理

• MySQL開發應用（約1.5天）

• MySQL SQL基礎應用

• 聲明式式語言與SQL語言

• SQL語言應用場景與sqlmode

• MySQL開發工具選擇與使用

• MySQL字元串類型與字元集

• MySQL語句類型介紹(DDL,DCL,DML,DQL)

• SQL之查詢基礎

• SQL之聚合與排序

• SQL之數據更新

• SQL之復雜查詢

• SQL之集合運算

• MySQL SQL高級處理與開發

• 函數開發與應用

• 存儲過程,觸發器，事件

• 表分區管理及企業級應用場景

• Online DDL解析與開源生態OPS

• 窗口函數講解及應用場景

• MySQL JSON開發及應用

• 一二線大廠MySQL企業級開發規范詳解**獨家**

• MySQL核心技術

• MySQL InnoDB索引實現原理及執行計劃分析（約0.5天）

• 索引介紹

1. 索引的由來

2. 表和索引結構

3. 表聚簇與索引行

4. 錶行與索引組織表

• MySQL索引介紹

• InnoDB索引B+ tree的索引設計

• 聚簇索引與二級索引

• InnDB索引插入過程

• 數據類型對索引應用的使用影響

• 執行計劃介紹及結果剖析

• 索引優化基礎實戰演練

• 企業級索引優化實戰案例(億萬級QPS的索引優化與索引上線)**獨家**

• MySQL InnoDB存儲引擎技術內幕與深入講解（約1天）

• Mysql存儲引擎介紹與功能特性

• InnoDB引擎源代碼目錄結構與存儲引擎文件組織

• InnoDB存儲引擎核心架構介紹及解析

• InnoDB數據存儲結構

• InnoDB事務詳解及ACID特性解析

• InnoDB 日誌管理機制Undo與Redo

• InnoDB事務與隔離級別

• InnoDB MVCC及鎖機制

• MySQL日誌管理與實戰（0.5）

• General log詳解

• Error log詳解

• 企業級Binary log with Data pipeline **獨家**

• 企業級Slowlog場景應用**獨家**

• MySQL備份恢復與遷移（0.5）

• 備份工具介紹與使用場景解析

• 一二線大廠過萬數據節點備份策略**獨家**

• 一二線大廠Mysqlmp核心原理與企業級實戰演練**獨家**

• 一二線大廠Xtrabackup核心原理與企業級實戰演練**獨家**

• Enterprise Backup企業級生態工具介紹與應用

• MySQL主從復制深入（約1天）

• 主從復制簡介與簡單搭建

• 主從復制工作原理解析

• 主從數據一致性方案講解(半同步，全同步)

• MySQL主從復制實戰

1. 延時復制

2. 過濾復制

3. 多源復制

• MySQL GTID復制

• 企業級主從復制故障分析與處理方案

• 億級QPS MySQL節點故障轉移實戰案例**獨家**

• MySQL高可用架構（1天）

• 一二線大廠過萬集群規模高可用架構MHA+BLB企業級實戰**獨家**

• Mycat,DBLE企業級實戰

• MySQL企業級優化與實戰（約1天）

• 打造高性能MySQL

• 企業級MySQL參數優化實戰**獨家**

• 企業級T0級別故障案例解析**獨家**

• 阿里雲資料庫產品(RDS與PolarDB)（選修二選一） （1天）

• 企業級RDS介紹,使用與故障案例(網路雲RDS 運維DBA分享或交流)**獨家**

• 企業級PolarDB業務場景解析(阿里團隊PolarDB P7交付架構師分享或交流)**獨家**

第二部分 NoSQL

• Redis核心技術（2天）

• Redis產品介紹與應用場景簡析

• Redis安裝，部署，使用

• Redis數據類型詳解與應用

• Redis集群架構講解與實戰(哨兵,cluster)

• 千億級Redis集群參數優化實戰**獨家**

• 千億級企業級Redis核心案例講解與業務場景解析**獨家**

• MongoDB核心技術（2天）

• MongoDB產品介紹與應用場景簡析

• MongoDB安裝,部署及架構解析

• MongoDB數據類型與運維管理

• MongoDB集群架構講解與實戰

• 企業級MongoDB參數優化實戰**獨家**

• BAT千萬元級別故障案例分享**獨家**

• ES核心技術（2天）

• ES產品介紹與應用場景簡析

• ES安裝,部署及架構解析

• ES日常運維管理

第三部分 NewSQL（4天）

• NewSQL-TiDB(僅學此一個+MySQL至少20K起步) TUG核心成員-PingCAP官方認證講師 **獨家**

• TiDB產品介紹與分布式資料庫技術應用講解

• TiDB集群部署與日常管理

• TiDB集群監控詳解與指標應用

• TiDB核心架構深入講解與Raft協議深入淺出**獨家*

• 企業級TiDB-DM理解與應用**獨家*

1. 58同城億級流量Mysql熱遷移TiDB**獨家**

2. DM集群多源同步復制場景最佳實踐(官方認證，業界唯二)**獨家**

• TiDB企業級業務開發最佳實踐**獨家**

• TiFllash核心架構講解與實戰**獨家**

• TiDB打造HTAP實時數倉平台架構設計**獨家**

• Cloud TiDB(K8S上雲實戰)**獨家**

• TiDB4.0熱升級5.0集群(簡介：我司與Pingcap官方{開發30人，交付專家7人，項目經理4人}封閉測試與在線升級全案例解析6.23日項目完結,官方認證業界目前第一的業務場景與投入)

• NewSQL-TDengine（1天 選修）

• TDengine產品介紹

• TDengine單機版與集群部署與管理

• TDengine架構體系詳解

• TDengine企業級參數優化與實戰

• TDengine業務開發規范與業務場景實戰

第四部分 企業級大規模資料庫集群運維開發實戰(35W+年薪提升)**獨家**

• 數據運維產品架構設計思路（0.5天）

• 什麼是數據運維平台

• 企業級數據運維平台架構解析

• 數據運維平台企業級原型設計實戰（0.5天）

• 資料庫運維自動化工具開發(Shell,Python)（2天5選2，下期輪換）

• MySQL億萬級流量運維平台開發

• Redis億萬級流量運維平台開發

• ES億萬級流量運維平台開發

• MongoDB億萬級流量運維平台開發

• TiDB億萬級流量運維平台開發

9. 有哪些國產資料庫哪個比較好真的不如國外產品么

隨著數據大數據的發展，數據安全已經上升到一個很高的高度。隨著國家對數據安全的重視,國產資料庫開始走進中國個大企業，其中不乏政府、國企。