‘壹’ ubuntu中mysql数据导入出错
从mysql里面导出.sql的文件,然后将.SQL文件导入到5.1版本,就不会有错了。
‘贰’ 怎么提高mysql执行sql导入速度
linux如下设置内存盘:mount -t ramfs none /ram默认使用内存一半如果内存不够大,系统有多个硬盘,则把mysql应用程序和data目录分开到不同硬盘上。2、mysql的表设置为myiasm,比同等条件下的innodb能快20倍以上3、导入完成以后才创建数据库索引4、导入完成以后根据需要转换为其他engine,比如innodb5、多条数据插入一个表,可以使用多记录方式:insert into tablename values('xxx','xxx'),('yyy','yyy')...;6、如果多个mysql执行导入,可以使用delayedinsert delayed into tablename values('sss','ssss');7、大文件sql文件可以用split分成多份再导8、同等条件下,redhat比ubuntu强很多(几乎肯定)
‘叁’ 怎么提高Mysql执行sql导入的速度
1、如果mysql的data数据很少,内存足够大,可以把data防止到内存盘中。
linux如下设置内存盘:
mount -t ramfs none /ram
默认使用内存一半
如果内存不够大,系统有多个硬盘,则把mysql应用程序和data目录分开到不同硬盘上。
2、mysql的表设置为myiasm,比同等条件下的innodb能快20倍以上
3、导入完成以后才创建数据库索引
4、导入完成以后根据需要转换为其他engine,比如innodb
5、多条数据插入一个表,可以使用多记录方式:
insert into tablename values(’xxx’,'xxx’),(’yyy’,'yyy’)…;
6、如果多个mysql执行导入,可以使用delayed
insert delayed into tablename values(’sss’,’ssss’);
7、大文件sql文件可以用split分成多份再导
8、同等条件下,redhat比ubuntu强很多(几乎肯定)
‘肆’ 怎么将本地的.sql文件导入hadoop master
完成sqoop的安装后,可以这样测试是否可以连接到mysql(注意:mysql的jar包要放到 SQOOP_HOME/lib 下):
sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231
结果如下
即说明sqoop已经可以正常使用了。
下面,要将mysql中的数据导入到hadoop中。
我准备的是一个300万条数据的身份证数据表:
先启动hive(使用命令行:hive 即可启动)
然后使用sqoop导入数据到hive:
sqoop import --connect jdbc:mysql://192.168.1.109:3306/hadoop --username root --password 19891231 --table test_sfz --hive-import
sqoop 会启动job来完成导入工作。
完成导入用了2分20秒,还是不错的。
在hive中可以看到刚刚导入的数据表:
我们来一句sql测试一下数据:
select * from test_sfz where id < 10;
可以看到,hive完成这个任务用了将近25秒,确实是挺慢的(在mysql中几乎是不费时间),但是要考虑到hive是创建了job在hadoop中跑,时间当然多。
接下来,我们会对这些数据进行复杂查询的测试:
我机子的配置如下:
hadoop 是运行在虚拟机上的伪分布式,虚拟机OS是ubuntu12.04 64位,配置如下:
TEST 1 计算平均年龄
测试数据:300.8 W
1. 计算广东的平均年龄
mysql:select (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz where address like '广东%';
用时: 0.877s
hive:select (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz where address like '广东%';
用时:25.012s
2. 对每个城市的的平均年龄进行从高到低的排序
mysql:select
address, (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge
from test_sfz GROUP BY address order by ageAvge desc;
用时:2.949s
hive:select
address, (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as
ageAvge from test_sfz GROUP BY address order by ageAvge desc;
用时:51.29s
可以看到,在耗时上面,hive的增长速度较mysql慢。
TEST 2
测试数据:1200W
mysql 引擎: MyISAM(为了加快查询速度)
导入到hive:
1. 计算广东的平均年龄
mysql:select (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz2 where address like '广东%';
用时: 5.642s
hive:select (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz2 where address like '广东%';
用时:168.259s
2. 对每个城市的的平均年龄进行从高到低的排序
mysql:select
address, (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge
from test_sfz2 GROUP BY address order by ageAvge desc;
用时:11.964s
hive:select
address, (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as
ageAvge from test_sfz2 GROUP BY address order by ageAvge desc;
用时:311.714s
‘伍’ 如何在LINUX下建立一个MYSQL数据库,然后我想把一个SQL数据库导入进去,求步骤!
首先需要安装MYSQL数据,不知你的是哪个发行版,就当是常用的吧,一般为
#apt-get install mysql-server mysql-client #for debian ubuntu
#yum install mysql-server mysql-client #for CENTOS RHEL
安装完毕后进入数据库
mysql 回车,一般在本机上直接用此命令就可以进入的,从其它机器连接还需要账号密码
mysql>source <filename> #把<filename>换成你要导入的数据库备份SQL文件完整路径,回车等待
mysql>exit #打完收功,退出MYSQL
‘陆’ ubuntu下qt链接mysql数据库问题
1,在.pro文件中修改 QT += sql ,大致如下
TEMPLATE = app
TARGET =
DEPENDPATH += .
INCLUDEPATH += .
QT +=sql
2,在程序中添加数据库
QSqlDatabase db = QSqlDatabase::addDatabase("QMYSQL");
qDebug()<<QString("add database");
//db.setHostName("192.168.1.126");//远程访问
db.setHostName("localhost");
db.setDatabaseName("test");
//db.setDataBaseName("");
db.setUserName("root");
db.setPassword("000000");
if (!db.open())
return db.lastError();
‘柒’ 分别在Linux和Windows下,如何使用MySql命令导入/导出*.sql文件
一般服务器上没有分用户的时候mysql用户名可以用 "root"得到最高权限.
Ubuntu下使用MySql命令导入/导出*.sql文件( redhat的mysql命令在: /usr/local/mysql/bin/ 目录下面 )导出:
1.导出整个数据库
mysqlmp -u 用户名 -p密码 数据库名 > 导出的文件名
2.导出指定表
mysqlmp -u 用户名 -p密码 数据库名 表名1 表名2 ... > 导出的文件名
3.导出指定条件的记录
mysqlmp [--host=服务器] -u 用户名 -p密码 数据库名 表名 -w"条件语句" > 导出的文件名
4.如果带端口号的话,必须去掉密码:
mysqlmp [--host=服务器] [--port=端口号] -u 用户名 -p 数据库名 表名 -w"条件语句" [--skip-lock-tables ] > 导出的文件名导入:在提示符下输入
mysql -u root -p 密码
进入MYSQL后:
先打开要导入的数据库
mysql>use test;
然后,设置要导入的数据的编码(如果MySQL默认编与要导入的数据编码一致,此步可省略)
mysql>set names 编码格式(utf8或gbk);
最后,导入数据sql文件
mysql> source c:/test.sql;
Windows下使用MySql命令导入/导出*.sql文件1. 导出数据库:
D:\mysql\bin> mysql 数据库名 > 导出的文件名 -u 用户名 -p密码
2. 导入数据库:
D:\mysql\bin> mysql 数据库名 < 导出的文件名 -u 用户名 -p密码