1.背景:
python提供了很多数据库接口, 常用的数据库有 MS sql Server /mysql /oracle 等。
打开链接 https://wiki.python.org/moin/DatabaseInterfaces
是python 关于数据库接口的一个总结 , 可以看到python支持的访问的数据库系统。
2.模块:
python 主要是通过模块和数据库连接的。
2.1 安装模块:
如果使用anconda,本身就会集合很多模块,不需要手动安装。如果用pycharm就要手动安装模块。
安装模块流程:
下载模块扩展包放到路径下——>cmd找到相应路径——> pip install +扩展包名字
下面列举一些常用连接数据库的模块:pymssql / sqlite3/ PyMySQL/pyodbc/odbc/adodbapi
不同模块连接的数据库不同, 支持的版本系统有的也不一样。但是大体用法都是相近的, 因为有DB-API
相关推荐:《Python教程》
3.Python DB-API
3.1背景:
在没有DB-API 之前, 不同数据库有不同的数据库接口程序, 这就导致python 访问 database 的接口程序非常混乱。如果我们学习了python 访问 mysql 的接口程序, 然后要切换到另一个数据库上, 我们还要在学习另外一个数据库的接口程序。python DB-API就是为了解决接口程序混乱而生成的。有了DB-API, 在不同数据库上移植代码就变得简单的多了。
3.2Python DB-API:
Python 定义了一套操作数据库的 DB-API 接口,它是一个规范,定义了一系列必须的对象和数据库存取方式,以便为不同的底层数据库系统提供一致的访问接口
这个链接就是python 官方给定的 DB-API 的说明 https://www.python.org/dev/peps/pep-0249/
3.3 Python DB--API的内容:
连接对象:
?Connect()创建连接:host/server /user/password/db connect方法生成一个connect对象, 我们通过这个对象来访问数据库。符合标准的模块都会实现connect方法。
?close():关闭连接
?commit():提交当前事务。做出某些更改后确保已经进行了提交,这样才可以将这些修改真正地保存到database中
?rollback() 回滚上一次调用 commit()以来对数据库所做的更改
?cursor():创建游标。系统为用户开通的一个数据缓冲区,用于存放SQL语句执行结果。cursor游标是有状态的,它可以记录当前已经取到结果的第几个记录了,因此,一般你只可以遍历结果集一次。在上面的情况下,如果执行fetchone()会返回为空。这一点在测试时需要注意
游标对象:
?Execute()执行一个数据库查询或命令。 execute 执行sql 语句之后运行的结果不会直接output 出来 , 而是放到了一个缓存区, 要用 fetch语句+print 可以查询sql运行的结果
?fetchone ()得到结果集的下一行
?fetchmany(size)得到结果集的下几行
?fetchall()返回结果集中剩下的所有行
?rowcount 返回影响的行数
?Close()关闭游标对象
3.4Python DB--API的工作原理及流程:
如图所示如果把python 和数据库比作两个不同的地点, connection 就是路, 能连接python和database。cursor就像在路上行驶的小货车, 可以用于执行sql 语句, 以及存储sql 运行的结果。
流程:
4.MS SQL Server 示例:
4.1 导入模块、创建连接:
4.2 创建游标: 游标创建之后就可以对数据库进行查询更改了!
4.3对数据进行操作(创建表、插入行、更新数据、增加列、删除行、列、表):
4.4 查询 获取行:
5.其他:
使用游标的时候要注意, 每次连接只能有一个游标查询处于活跃状态。 code演示:
execute()循环和 executemany() 插入100000 条数据测速:
B. 如何用python读取oracle数据库
下载cx_Oracle,下载之后就可以使用了。
简单的使用流程如下:
1.引用模块cx_Oracle2.连接数据库3.获取cursor4.使用cursor进行各种操作5.关闭cursor6.关闭连接
参考代码:
import cx_Oracle #引用模块cx_Oracleconn=cx_Oracle.connect('load/123456@localhost/ora11g') #连接数据库c=conn.cursor() #获取cursorx=c.execute('select sysdate from al') #使用cursor进行各种操作x.fetchone()c.close() #关闭cursorconn.close() #关闭连接
C. 如何用python连接 tableau 数据库,然后读取数据
选择“数据”>“连接到数据”或按键盘上的 Ctrl + D。也可以在开始页面上选择“连接到数据”选项。
2. 在“连接到数据”页面上,选择要连接的数据类型。也可以选择保存的数据连接(TDS 文件)打开一个 Tableau Server 数据源。
3. 连接到数据的另一种方式是从工作簿导入。工作簿可以包含与不同数据源的多个连接。若要从工作簿导入连接,请在“连接到数据”对话框中单击“选择保存的连接”选项卡底部的“从工作簿导入”按钮。
显示连接信息
可以显示有关连接的信息,方法是在“数据”菜单中选择数据源,然后选择“属性”。下面显示了示例数据源的属性。
连接到自定义 SQL 查询
对于大多数关系数据源,可以连接到特定查询,而非整个数据源。
在连接对话框中选择“自定义 SQL”。
在文本框中键入或粘贴查询。单击文本框右上角的“浏览”按钮 会打开更大的编辑窗口,可进行更复杂的查询或添加参数。
注意:完成连接后,Tableau 的数据窗口只显示相关字段。
如果 SQL 查询引用重复列,则在尝试使用 Tableau 中的列之一时,可能会出现错误。即使查询有效,也会发生这种情况。例如,考虑以下查询:
SELECT * from authors, titleauthor where authors.au_id = titleauthor.au_id 该查询有效,但因为 au_id 字段在“authors”表和“titleauthor”表中都存在,因此该字段不明确。Tableau 将连接到查询,但只要尝试使用 au_id 字段,就会出现错误。原因是 Tableau 不知道要引用哪个表。
编辑连接
在“数据”菜单中选择数据源,然后选择“编辑连接”。
D. 如何用python连接 tableau 数据库,然后读取数据
链接:http://pan..com/s/1BWBtFMYeQazJWUYSmHi5fw
Python&Tableau:商业数据分析与可视化。Tableau的程序很容易上手,各公司可以用它将大量数据拖放到数字“画布”上,转眼间就能创建好各种图表。这一软件的理念是,界面上的数据越容易操控,公司对自己在所在业务领域里的所作所为到底是正确还是错误,就能了解得越透彻。
快速分析:在数分钟内完成数据连接和可视化。Tableau 比现有的其他解决方案快 10 到 100 倍。大数据,任何数据:无论是电子表格、数据库还是 Hadoop 和云服务,任何数据都可以轻松探索。
课程目录:
前置课程-Python在咨询、金融、四大等领域的应用以及效率提升
Python基础知识
Python入门:基于Anaconda与基于Excel的Python安装和界面
简单的数学计算
Python数据分析-时间序列2-数据操作与绘图
Python数据分析-时间序列3-时间序列分解
......
E. python怎么调用数据库
安装MySQL驱动
由于MySQL服务器以独立的进程运行,并通过网络对外服务,所以,需要支持Python的MySQL驱动来连接到MySQL服务器。
MySQL官方提供了mysql-connector-python驱动,但是安装的时候需要给pip命令加上参数--allow-external:
pip install mysql-connector-python --allow-external mysql-connector-python
如果上面的命令安装失败,可以试试另一个驱动:
pip install mysql-connector
除了使用mysql.connector还可以使用pymysql
F. python可以读取数据库里文档吗
python读取文件内容的方法:
一.最方便的方法是一次性读取文件中的所有内容并放置到一个大字符串中:
all_the_text = open('thefile.txt').read( )
# 文本文件中的所有文本
all_the_data = open('abinfile','rb').read( )
# 二进制文件中的所有数据
为了安全起见,最好还是给打开的文件对象指定一个名字,这样在完成操作之后可以迅速关闭文件,防止一些无用的文件对象占用内存。举个例子,对文本文件读取:
file_object = open('thefile.txt')
try:
all_the_text = file_object.read( )
finally:
file_object.close( )
不一定要在这里用Try/finally语句,但是用了效果更好,因为它可以保证文件对象被关闭,即使在读取中发生了严重错误。
二.最简单、最快,也最具Python风格的方法是逐行读取文本文件内容,并将读取的数据放置到一个字符串行表中:
list_of_all_the_lines = file_object.readlines( )
这样读出的每行文本末尾都带有"\n"符号;如果你不想这样,还有另一个替代的办法,比如:
list_of_all_the_lines = file_object.read( ).splitlines( )
list_of_all_the_lines = file_object.read( ).split('\n')
list_of_all_the_lines = [L.rstrip('\n') for L in file_object]
最简单最快的逐行处理文本文件的方法是,用一个简单的for循环语句:
for line in file_object:
process line
这种方法同样会在每行末尾留下"\n"符号;可以在for循环的主体部分加一句:
lineline = line.rstrip('\n')
或者,你想去除每行的末尾的空白符(不只是'\n'\),常见的办法是:
lineline = line.rstrip( )
G. python如何使用数据库
你可以访问Python数据库接口及API查看详细的支持数据库列表。不同的数据库你需要下载不同的DB API模块,例如你需要访问Oracle数据库和Mysql数据,你需要下载Oracle和MySQL数据库模块。
DB-API 是一个规范. 它定义了一系列必须的对象和数据库存取方式, 以便为各种各样的底层数据库系统和多种多样的数据库接口程序提供一致的访问接口 。
Python的DB-API,为大多数的数据库实现了接口,使用它连接各数据库后,就可以用相同的方式操作各数据库。
H. python怎么打开数据库文件
以打开mysql数据库为例来说明:
#!/usr/bin/python
import MySQLdb
# 打开数据库连接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )
#打开游标
cursor = db.cursor()
# 执行数据库查询
cursor.execute("SELECT VERSION()")
# 获取结果集的第一行
data = cursor.fetchone()
print "Database version : %s " % data
# 关闭连接
db.close()