Tidb存储占用监控

1. go是什么编程语言主要应用于哪些方面

Go语言由Google公司开发，并于2009年开源，相比Java/Python/C等语言，Go尤其擅长并发编程，性能堪比C语言，开发效率肩比Python，被誉为“21世纪的C语言”。
Go语言在云计算、大数据、微服务、高并发领域应用应用非常广泛。BAT大厂正在把Go作为新项目开发的首选语言。
Go语言能干什么?
1、服务端开发：以前你使用C或者C++做的那些事情，用Go来做很合适，例如日志处理、文件系统、监控系统等;
2、DevOps：运维生态中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go语言开发;
3、网络编程：大量优秀的Web框架如Echo、Gin、Iris、beego等，而且Go内置的 net/http包十分的优秀;
4、Paas云平台领域：Kubernetes和Docker Swarm等;
5、分布式存储领域：etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;
6、区块链领域：区块链里面有两个明星项目以太坊和fabric都使用Go语言;
7、容器虚拟化：大名鼎鼎的Docker就是使用Go语言实现的;
8、爬虫及大数据：Go语言天生支持并发，所以十分适合编写分布式爬虫及大数据处理。

2. 腾讯tidb是自研的吗

不是的。

最开始，我们调研了开源的分布式Newsql方案：TIDB。虽然TIDB是非常优秀的NewSQL产品，但是对于我们的业务场景来说，TIDB并不是非常适合，原因如下：

• 需要一款高吞吐，低延迟的数据库解决方案，但是TIDB由于要满足事务，2pc方案天然无法满足低延迟（100ms以内的99rt，甚至50ms内的99rt）

• 多数业务，并不真正需要分布式事务，或者说可以通过其他补偿机制，绕过分布式事务。这是由于业务场景决定的。

• TIDB三副本的存储空间成本相对比较高。

• 内部一些离线数据导入在线系统的场景，不能直接和TIDB打通。

基于以上原因，我们开启了自研符合自己业务需求的NewSQL之路。

3. tidb 好不好用

摘要 TiDB 是一款结合了传统的关系型数据库和 NoSQL 数据库特性的新型分布式数据库。

4. 数据库为什么要分库分表

1 基本思想之什么是分库分表？
从字面上简单理解，就是把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。
2 基本思想之为什么要分库分表？

数
据库中的数据量不一定是可控的，在未进行分库分表的情况下，随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作，增
删改查的开销也会越来越大；另外，由于无法进行分布式式部署，而一台服务器的资源（CPU、磁盘、内存、IO等）是有限的，最终数据库所能承载的数据量、
数据处理能力都将遭遇瓶颈。
3 分库分表的实施策略。

分库分表有垂直切分和水平切分两种。
3.1
何谓垂直切分，即将表按照功能模块、关系密切程度划分出来，部署到不同的库上。例如，我们会建立定义数据库workDB、商品数据库payDB、用户数据
库userDB、日志数据库logDB等，分别用于存储项目数据定义表、商品定义表、用户数据表、日志数据表等。
3.2
何谓水平切分，当一个表中的数据量过大时，我们可以把该表的数据按照某种规则，例如userID散列，进行划分，然后存储到多个结构相同的表，和不同的库
上。例如，我们的userDB中的用户数据表中，每一个表的数据量都很大，就可以把userDB切分为结构相同的多个userDB：part0DB、
part1DB等，再将userDB上的用户数据表userTable，切分为很多userTable：userTable0、userTable1等，
然后将这些表按照一定的规则存储到多个userDB上。
3.3 应该使用哪一种方式来实施数据库分库分表，这要看数据库中数据量的瓶颈所在，并综合项目的业务类型进行考虑。
如果数据库是因为表太多而造成海量数据，并且项目的各项业务逻辑划分清晰、低耦合，那么规则简单明了、容易实施的垂直切分必是首选。
而
如果数据库中的表并不多，但单表的数据量很大、或数据热度很高，这种情况之下就应该选择水平切分，水平切分比垂直切分要复杂一些，它将原本逻辑上属于一体
的数据进行了物理分割，除了在分割时要对分割的粒度做好评估，考虑数据平均和负载平均，后期也将对项目人员及应用程序产生额外的数据管理负担。
在现实项目中，往往是这两种情况兼而有之，这就需要做出权衡，甚至既需要垂直切分，又需要水平切分。我们的游戏项目便综合使用了垂直与水平切分，我们首先对数据库进行垂直切分，然后，再针对一部分表，通常是用户数据表，进行水平切分。
4 分库分表存在的问题。

4.1 事务问题。
在执行分库分表之后，由于数据存储到了不同的库上，数据库事务管理出现了困难。如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价；如果由应用程序去协助控制，形成程序逻辑上的事务，又会造成编程方面的负担。
4.2 跨库跨表的join问题。
在执行了分库分表之后，难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上，这时，表的关联操作将受到限制，我们无法join位于不同分库的表，也无法join分表粒度不同的表，结果原本一次查询能够完成的业务，可能需要多次查询才能完成。
4.3 额外的数据管理负担和数据运算压力。
额
外的数据管理负担，最显而易见的就是数据的定位问题和数据的增删改查的重复执行问题，这些都可以通过应用程序解决，但必然引起额外的逻辑运算，例如，对于
一个记录用户成绩的用户数据表userTable，业务要求查出成绩最好的100位，在进行分表之前，只需一个order
by语句就可以搞定，但是在进行分表之后，将需要n个order
by语句，分别查出每一个分表的前100名用户数据，然后再对这些数据进行合并计算，才能得出结果。

5. 学go语言能做什么工作

没有。
老老实实的去学，VB，C，JAVA

6. 分布式数据库相比自建数据库具备哪些优势

自建数据库：

• 容易产生容量与性能瓶颈

  当前的硬件条件下，主流数据库可以支持单表千万级数据量的存储，但是难以支撑密集的并发读写，存在性能瓶颈。

• 分区分表或分库方案限制太多

  采用分区表方案，数据不能跨实例存储，扩展性和维护性较差。

  采用分库方案，客户端需要自行管理各库连接，数据库连接管理和升级复杂，扩容迁移困难。

• 服务器成本高昂

  普通X86服务器支撑能力有限，品牌厂商的服务器价格高昂，通过增加硬件规格来提升并发性能的成本太高，且能到达的性能高度有限。

在分布式数据库面前，上面这些都不是问题，有很长厂商都已经把分布式数据库做的不错了，如阿里云，华为云等。

如下以我熟悉的华为云分布式数据库中间件DDM为例为你介绍下，如果感兴趣可以去官网了解一下，现在好像还有试用活动：华为云分布式数据库中间件DDM

分布式数据库：

• 数据分布存储

  DDM采用水平拆分方式，将数据记录数庞大的单表，按指定的拆分规则，分布式存储到各个分片中。同时DDM提供路由分发功能，应用服务无需考虑数据该写入哪个分片，该从哪个分片读取。

• 读写分离

  用户可以根据数据读取压力负载情况，为每个RDS实例配置一个或者多个只读实例，提高查询并发性能。

• 高性能

  在实际业务访问中，SQL主要的性能瓶颈集中在物理数据库节点上。

  DDM实例关联多个RDS节点，减少单个RDS存储的数据量，同时实现并行计算，支持PB级数据量访问，以及百万级高并发。

• 在线平滑扩容

  DDM在不中断业务的情况下，支持新增RDS实例，水平扩容存储空间。一键式扩容，轻松解决单机数据库的容量瓶颈。

7. 咋测试tidb自增id是不是唯一

咋测试tidb自增id是唯一。tidb的自增id只能保证唯一性，不保证自增性和连续性，也不支持在线添加列auto_increment属性，tidb的主键索引和唯一索引的存储方式相同，不支持全文索引、空间索引、仅支持utf8/utf8mb4/ascii/latin1/binary几个字符集。

tidb的存储能力

无限水平扩展是TiDB的一大特点，这里说的水平扩展包括两方面：计算能力和存储能力。TiDB Server负责处理SQL请求，随着业务的增长，可以简单的添加TiDB Server节点，提高整体的处理能力，提供更高的吞吐。

TiKV负责存储数据，随着数据量的增长，可以部署更多的TiKV Server节点解决数据Scale的问题。PD会在TiKV节点之间以Region为单位做调度，将部分数据迁移到新加的节点上。所以在业务的早期，可以只部署少量的服务实例（推荐至少部署3个TiKV，3个PD，2个TiDB），随着业务量的增长，按照需求添加TiKV或者TiDB实例。

8. linux下的 数据库 有哪些

你要的全在下面：数据库已经有4代了产品很多。

DBA课程更新内容大纲：

序章 DBA职业体系与数据库产品趋势

• What is DBA？

• DBA成长体系与职业方向(0-30W-50W-100W-???)

• 数据库发展历史,产品迭代趋势与职业学习方向

第一部分 OLTP数据库-MySQL(约1天)

• MySQL基础入门

• MySQL数据库简介

• 什么是数据库？什么是OLTP?

• 为什么学习MySQL?MySQL产品迭代

• 一二线大厂MySQL主流版本功能使用与特性介绍(5.1,5.6,5.7,8.0)**独家**

• MySQL部署与管理体系

• 5.7,8.0版本企业规范部署,启动

• MySQL管理体系讲解

• MySQL产品架构分析与基础管理

• MySQL基础架构解析(一条SQL是如何执行的)

• MySQL启动过程

• MySQL连接的生命与使命

• MySQL表结构实现原理

• MySQL开发应用（约1.5天）

• MySQL SQL基础应用

• 声明式式语言与SQL语言

• SQL语言应用场景与sqlmode

• MySQL开发工具选择与使用

• MySQL字符串类型与字符集

• MySQL语句类型介绍(DDL,DCL,DML,DQL)

• SQL之查询基础

• SQL之聚合与排序

• SQL之数据更新

• SQL之复杂查询

• SQL之集合运算

• MySQL SQL高级处理与开发

• 函数开发与应用

• 存储过程,触发器，事件

• 表分区管理及企业级应用场景

• Online DDL解析与开源生态OPS

• 窗口函数讲解及应用场景

• MySQL JSON开发及应用

• 一二线大厂MySQL企业级开发规范详解**独家**

• MySQL核心技术

• MySQL InnoDB索引实现原理及执行计划分析（约0.5天）

• 索引介绍

1. 索引的由来

2. 表和索引结构

3. 表聚簇与索引行

4. 表行与索引组织表

• MySQL索引介绍

• InnoDB索引B+ tree的索引设计

• 聚簇索引与二级索引

• InnDB索引插入过程

• 数据类型对索引应用的使用影响

• 执行计划介绍及结果剖析

• 索引优化基础实战演练

• 企业级索引优化实战案例(亿万级QPS的索引优化与索引上线)**独家**

• MySQL InnoDB存储引擎技术内幕与深入讲解（约1天）

• Mysql存储引擎介绍与功能特性

• InnoDB引擎源代码目录结构与存储引擎文件组织

• InnoDB存储引擎核心架构介绍及解析

• InnoDB数据存储结构

• InnoDB事务详解及ACID特性解析

• InnoDB 日志管理机制Undo与Redo

• InnoDB事务与隔离级别

• InnoDB MVCC及锁机制

• MySQL日志管理与实战（0.5）

• General log详解

• Error log详解

• 企业级Binary log with Data pipeline **独家**

• 企业级Slowlog场景应用**独家**

• MySQL备份恢复与迁移（0.5）

• 备份工具介绍与使用场景解析

• 一二线大厂过万数据节点备份策略**独家**

• 一二线大厂Mysqlmp核心原理与企业级实战演练**独家**

• 一二线大厂Xtrabackup核心原理与企业级实战演练**独家**

• Enterprise Backup企业级生态工具介绍与应用

• MySQL主从复制深入（约1天）

• 主从复制简介与简单搭建

• 主从复制工作原理解析

• 主从数据一致性方案讲解(半同步，全同步)

• MySQL主从复制实战

1. 延时复制

2. 过滤复制

3. 多源复制

• MySQL GTID复制

• 企业级主从复制故障分析与处理方案

• 亿级QPS MySQL节点故障转移实战案例**独家**

• MySQL高可用架构（1天）

• 一二线大厂过万集群规模高可用架构MHA+BLB企业级实战**独家**

• Mycat,DBLE企业级实战

• MySQL企业级优化与实战（约1天）

• 打造高性能MySQL

• 企业级MySQL参数优化实战**独家**

• 企业级T0级别故障案例解析**独家**

• 阿里云数据库产品(RDS与PolarDB)（选修二选一） （1天）

• 企业级RDS介绍,使用与故障案例(网络云RDS 运维DBA分享或交流)**独家**

• 企业级PolarDB业务场景解析(阿里团队PolarDB P7交付架构师分享或交流)**独家**

第二部分 NoSQL

• Redis核心技术（2天）

• Redis产品介绍与应用场景简析

• Redis安装，部署，使用

• Redis数据类型详解与应用

• Redis集群架构讲解与实战(哨兵,cluster)

• 千亿级Redis集群参数优化实战**独家**

• 千亿级企业级Redis核心案例讲解与业务场景解析**独家**

• MongoDB核心技术（2天）

• MongoDB产品介绍与应用场景简析

• MongoDB安装,部署及架构解析

• MongoDB数据类型与运维管理

• MongoDB集群架构讲解与实战

• 企业级MongoDB参数优化实战**独家**

• BAT千万元级别故障案例分享**独家**

• ES核心技术（2天）

• ES产品介绍与应用场景简析

• ES安装,部署及架构解析

• ES日常运维管理

第三部分 NewSQL（4天）

• NewSQL-TiDB(仅学此一个+MySQL至少20K起步) TUG核心成员-PingCAP官方认证讲师 **独家**

• TiDB产品介绍与分布式数据库技术应用讲解

• TiDB集群部署与日常管理

• TiDB集群监控详解与指标应用

• TiDB核心架构深入讲解与Raft协议深入浅出**独家*

• 企业级TiDB-DM理解与应用**独家*

1. 58同城亿级流量Mysql热迁移TiDB**独家**

2. DM集群多源同步复制场景最佳实践(官方认证，业界唯二)**独家**

• TiDB企业级业务开发最佳实践**独家**

• TiFllash核心架构讲解与实战**独家**

• TiDB打造HTAP实时数仓平台架构设计**独家**

• Cloud TiDB(K8S上云实战)**独家**

• TiDB4.0热升级5.0集群(简介：我司与Pingcap官方{开发30人，交付专家7人，项目经理4人}封闭测试与在线升级全案例解析6.23日项目完结,官方认证业界目前第一的业务场景与投入)

• NewSQL-TDengine（1天 选修）

• TDengine产品介绍

• TDengine单机版与集群部署与管理

• TDengine架构体系详解

• TDengine企业级参数优化与实战

• TDengine业务开发规范与业务场景实战

第四部分 企业级大规模数据库集群运维开发实战(35W+年薪提升)**独家**

• 数据运维产品架构设计思路（0.5天）

• 什么是数据运维平台

• 企业级数据运维平台架构解析

• 数据运维平台企业级原型设计实战（0.5天）

• 数据库运维自动化工具开发(Shell,Python)（2天5选2，下期轮换）

• MySQL亿万级流量运维平台开发

• Redis亿万级流量运维平台开发

• ES亿万级流量运维平台开发

• MongoDB亿万级流量运维平台开发

• TiDB亿万级流量运维平台开发

9. 有哪些国产数据库哪个比较好真的不如国外产品么

随着数据大数据的发展，数据安全已经上升到一个很高的高度。随着国家对数据安全的重视,国产数据库开始走进中国个大企业，其中不乏政府、国企。