当前位置:首页 » 编程语言 » sql工具python
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

sql工具python

发布时间: 2022-12-10 11:52:56

A. python与sql应该怎么选择

Python和SQL并不冲突,很多时候需要先用SQL选取想要的数据然后再用Python做处理和分析。

SQL学起来更快而且也更符合题主想做金融数据分析的要求,不过SQL入门其实很简单,之后在工作中精通就好,SQL了解了之后就可以接着学Python或者其他符合题主要求的工具了。

Python(计算机编程语言):

Python由荷兰数学和计算机科学研究学会的Guido van Rossum于1990 年代初设计,作为一门叫做ABC语言的替代品。

Python提供了高效的高级数据结构,还能简单有效地面向对象编程。Python语法和动态类型,以及解释型语言的本质,使它成为多数平台上写脚本和快速开发应用的编程语言,随着版本的不断更新和语言新功能的添加,逐渐被用于独立的、大型项目的开发。

ython解释器易于扩展,可以使用C或C++(或者其他可以通过C调用的语言)扩展新的功能和数据类型。 Python 也可用于可定制化软件中的扩展程序语言。Python丰富的标准库,提供了适用于各个主要系统平台的源码或机器码。

2021年10月,语言流行指数的编译器Tiobe将Python加冕为最受欢迎的编程语言,20年来首次将其置于Java、C和JavaScript之上。

B. sql和python哪个难学

综述:python。

实际上两者的难度是相似的。 相对而言SQL可能相对容易一些。 毕竟,SQL不需要很多命令,并且更容易编写。要学习结构化查询语言,您必须首先学习数据库的基础知识,然后再学习SQL动词的用法。

简介:

Python由荷兰数学和计算机科学研究学会的Guido van Rossum于1990 年代初设计,作为一门叫做ABC语言的替代品。

Python提供了高效的高级数据结构,还能简单有效地面向对象编程。Python语法和动态类型,以及解释型语言的本质,使它成为多数平台上写脚本和快速开发应用的编程语言,随着版本的不断更新和语言新功能的添加,逐渐被用于独立的、大型项目的开发。

C. sql与python区别是什么有什么联系

一、性质不同

1、sql:是一种特殊目的的编程语言,是一种数据库查询和程序设计语言。

2、python:Python由荷兰数学和计算机科学研究学会的Guido van Rossum于1990 年代初设计,作为一门叫做ABC语言的替代品。

二、作用不同

1、sql:用于存取数据以及查询、更新和管理关系数据库系统。

2、python:Python提供了高效的高级数据结构,还能简单有效地面向对象编程。

三、特点不同

1、sql:不要求用户指定对数据的存放方法,也不需要用户了解具体的数据存放方式,所以具有完全不同底层结构的不同数据库系统, 可以使用相同的结构化查询语言作为数据输入与管理的接口。

2、python:Python语法和动态类型,以及解释型语言的本质,使它成为多数平台上写脚本和快速开发应用的编程语言,随着版本的不断更新和语言新功能的添加,逐渐被用于独立的、大型项目的开发。

D. python如何操作SQL语句

这里有个比较清楚的解答:
http://..com/question/262503775.html

但是你的是一个文本的话,就要稍微改一下咯

如果改成cx_Oracle的话,就是这样的:

import sys
import cx_Oracle
import os

class handleDataBase:
def __init__(self,user,passwd,server,sql):
self.user=user
self.passwd=passwd
self.server=server
self.sql=sql
self.conn = cx_Oracle.connect("%s/%s@%s"%(self.user,self.passwd,self.server))

def selectDB(self):
cursor = self.conn.cursor()
cursor.execute("select count(1) from search_item_08")
ret = cursor.fetchall()
cursor.close()
print ret
return ret

def closeDB(self):
self.conn.close()

if __name__ == "__main__":
if len(sys.argv) < 4:
print "Need Arguments: user passwd server"
sys.exit(1)

user=sys.argv[1]
passwd=sys.argv[2]
server=sys.argv[3]
#sql='select count(1) from search_item_08;' #注意这里要改
sql = open('a.sql','r').read() #改成从文件读取

#接下来就访问数据库了
handleDB = handleDataBase(user,passwd,server,sql)
handleDB.selectDB()
handleDB.closeDB()

E. SQL和Python 哪个更容易自学

SQL更容易自学。

结构化查询语言简称SQL。结构化查询语言是高级的非过程化编程语言,允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法,也不需要用户了解具体的数据存放方式。

所以具有完全不同底层结构的不同数据库系统, 可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套,这使它具有极大的灵活性和强大的功能。

功能:

1、SQL数据定义功能:能够定义数据库的三级模式结构,即外模式、全局模式和内模式结构。在SQL中,外模式又叫做视图,全局模式简称模式,内模式由系统根据数据库模式自动实现,一般无需用户过问。

2、SQL数据操纵功能:包括对基本表和视图的数据插入、删除和修改,特别是具有很强的数据查询功能。

3、SQL的数据控制功能:主要是对用户的访问权限加以控制,以保证系统的安全性。

以上内容参考网络—sql

F. 会python学sql难吗

会python学sql不难。python和sql其实两个都差不多,文科的话,sql可能相对要容易一些。毕竟sql需要用的命令不多,写起来也更容易点。

G. 如何用python写sql

python可以利用pymysql模块操作数据库。

什么是 PyMySQL?

PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库,Python2中则使用mysqldb。

PyMySQL 遵循 Python 数据库 API v2.0 规范,并包含了 pure-Python MySQL 客户端库。

PyMySQL 安装

在使用 PyMySQL 之前,我们需要确保 PyMySQL 已安装。

PyMySQL 下载地址:https://github.com/PyMySQL/PyMySQL。

如果还未安装,我们可以使用以下命令安装最新版的 PyMySQL:

$ pip3 install PyMySQL

如果你的系统不支持 pip 命令,可以使用以下方式安装:

1、使用 git 命令下载安装包安装(你也可以手动下载):

$ git clone https://github.com/PyMySQL/PyMySQL$ cd PyMySQL/$ python3 setup.py install

2、如果需要制定版本号,可以使用 curl 命令来安装:

$ # X.X 为 PyMySQL 的版本号$ curl -L https://github.com/PyMySQL/PyMySQL/tarball/pymysql-X.X | tar xz$ cd PyMySQL*$ python3 setup.py install
$ # 现在你可以删除 PyMySQL* 目录

注意:请确保您有root权限来安装上述模块。

安装的过程中可能会出现"ImportError: No mole named setuptools"的错误提示,意思是你没有安装setuptools,你可以访问https://pypi.python.org/pypi/setuptools找到各个系统的安装方法。

Linux 系统安装实例:

$ wget https://bootstrap.pypa.io/ez_setup.py$ python3 ez_setup.py

数据库连接

连接数据库前,请先确认以下事项:

  • 您已经创建了数据库 TESTDB.

  • 在TESTDB数据库中您已经创建了表 EMPLOYEE

  • EMPLOYEE表字段为 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。

  • 连接数据库TESTDB使用的用户名为 "testuser" ,密码为 "test123",你可以可以自己设定或者直接使用root用户名及其密码,Mysql数据库用户授权请使用Grant命令。

  • 在你的机子上已经安装了 Python MySQLdb 模块。

  • 如果您对sql语句不熟悉,可以访问我们的SQL基础教程

  • 实例:

    以下实例链接 Mysql 的 TESTDB 数据库:

    实例(Python 3.0+)

    #!/usr/bin/python3
    import pymysql
    # 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
    # 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()
    # 使用 execute() 方法执行 SQL 查询 cursor.execute("SELECT VERSION()")
    # 使用 fetchone() 方法获取单条数据.data = cursor.fetchone()
    print ("Database version : %s " % data)
    # 关闭数据库连接db.close()

    执行以上脚本输出结果如下:

  • Database version : 5.5.20-log

  • 创建数据库表

    如果数据库连接存在我们可以使用execute()方法来为数据库创建表,如下所示创建表EMPLOYEE:

    实例(Python 3.0+)

    #!/usr/bin/python3
    import pymysql
    # 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
    # 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()
    # 使用 execute() 方法执行 SQL,如果表存在则删除cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")
    # 使用预处理语句创建表sql = """CREATE TABLE EMPLOYEE (
    FIRST_NAME CHAR(20) NOT NULL,
    LAST_NAME CHAR(20),
    AGE INT,
    SEX CHAR(1),
    INCOME FLOAT )"""
    cursor.execute(sql)
    # 关闭数据库连接db.close()

    数据库插入操作

    以下实例使用执行 SQL INSERT 语句向表 EMPLOYEE 插入记录:

    实例(Python 3.0+)

    #!/usr/bin/python3
    import pymysql
    # 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
    # 使用cursor()方法获取操作游标 cursor = db.cursor()
    # SQL 插入语句sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
    LAST_NAME, AGE, SEX, INCOME)
    VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""try: # 执行sql语句
    cursor.execute(sql)
    # 提交到数据库执行
    db.commit()except: # 如果发生错误则回滚
    db.rollback()
    # 关闭数据库连接db.close()

    以上例子也可以写成如下形式:

    实例(Python 3.0+)

    #!/usr/bin/python3
    import pymysql
    # 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
    # 使用cursor()方法获取操作游标 cursor = db.cursor()
    # SQL 插入语句sql = "INSERT INTO EMPLOYEE(FIRST_NAME,
    LAST_NAME, AGE, SEX, INCOME)
    VALUES ('%s', '%s', %s, '%s', %s)" % ('Mac', 'Mohan', 20, 'M', 2000)try: # 执行sql语句
    cursor.execute(sql)
    # 执行sql语句
    db.commit()except: # 发生错误时回滚
    db.rollback()
    # 关闭数据库连接db.close()

    以下代码使用变量向SQL语句中传递参数:

  • ..................................user_id = "test123"password = "password"con.execute('insert into Login values( %s, %s)' % (user_id, password))..................................

  • 数据库查询操作

    Python查询Mysql使用 fetchone() 方法获取单条数据, 使用fetchall() 方法获取多条数据。

  • fetchone():该方法获取下一个查询结果集。结果集是一个对象

  • fetchall():接收全部的返回结果行.

  • rowcount:这是一个只读属性,并返回执行execute()方法后影响的行数。

  • 实例:

    查询EMPLOYEE表中salary(工资)字段大于1000的所有数据:

    实例(Python 3.0+)

    #!/usr/bin/python3
    import pymysql
    # 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
    # 使用cursor()方法获取操作游标 cursor = db.cursor()
    # SQL 查询语句sql = "SELECT * FROM EMPLOYEE
    WHERE INCOME > %s" % (1000)try: # 执行SQL语句
    cursor.execute(sql)
    # 获取所有记录列表
    results = cursor.fetchall()
    for row in results: fname = row[0]
    lname = row[1]
    age = row[2]
    sex = row[3]
    income = row[4]
    # 打印结果
    print ("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % (fname, lname, age, sex, income ))except: print ("Error: unable to fetch data")
    # 关闭数据库连接db.close()

    以上脚本执行结果如下:

  • fname=Mac, lname=Mohan, age=20, sex=M, income=2000

  • 数据库更新操作

    更新操作用于更新数据表的的数据,以下实例将 TESTDB 表中 SEX 为 'M' 的 AGE 字段递增 1:

    实例(Python 3.0+)

    #!/usr/bin/python3
    import pymysql
    # 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
    # 使用cursor()方法获取操作游标 cursor = db.cursor()
    # SQL 更新语句sql = "UPDATE EMPLOYEE SET AGE = AGE + 1 WHERE SEX = '%c'" % ('M')try: # 执行SQL语句
    cursor.execute(sql)
    # 提交到数据库执行
    db.commit()except: # 发生错误时回滚
    db.rollback()
    # 关闭数据库连接db.close()

    删除操作

    删除操作用于删除数据表中的数据,以下实例演示了删除数据表 EMPLOYEE 中 AGE 大于 20 的所有数据:

    实例(Python 3.0+)

    #!/usr/bin/python3
    import pymysql
    # 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
    # 使用cursor()方法获取操作游标 cursor = db.cursor()
    # SQL 删除语句sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)try: # 执行SQL语句
    cursor.execute(sql)
    # 提交修改
    db.commit()except: # 发生错误时回滚
    db.rollback()
    # 关闭连接db.close()

    执行事务

    事务机制可以确保数据一致性。

    事务应该具有4个属性:原子性、一致性、隔离性、持久性。这四个属性通常称为ACID特性。

  • 原子性(atomicity)。一个事务是一个不可分割的工作单位,事务中包括的诸操作要么都做,要么都不做。

  • 一致性(consistency)。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。

  • 隔离性(isolation)。一个事务的执行不能被其他事务干扰。即一个事务内部的操作及使用的数据对并发的其他事务是隔离的,并发执行的各个事务之间不能互相干扰。

  • 持久性(rability)。持续性也称永久性(permanence),指一个事务一旦提交,它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其有任何影响。

  • Python DB API 2.0 的事务提供了两个方法 commit 或 rollback。

    实例

    实例(Python 3.0+)

    # SQL删除记录语句sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)try: # 执行SQL语句
    cursor.execute(sql)
    # 向数据库提交
    db.commit()except: # 发生错误时回滚
    db.rollback()

    对于支持事务的数据库, 在Python数据库编程中,当游标建立之时,就自动开始了一个隐形的数据库事务。

    commit()方法游标的所有更新操作,rollback()方法回滚当前游标的所有操作。每一个方法都开始了一个新的事务。

    错误处理

    DB API中定义了一些数据库操作的错误及异常,下表列出了这些错误和异常:

    异常

    描述

    Warning 当有严重警告时触发,例如插入数据是被截断等等。必须是 StandardError 的子类。

    Error 警告以外所有其他错误类。必须是 StandardError 的子类。

    InterfaceError 当有数据库接口模块本身的错误(而不是数据库的错误)发生时触发。 必须是Error的子类。

    DatabaseError 和数据库有关的错误发生时触发。 必须是Error的子类。

    DataError 当有数据处理时的错误发生时触发,例如:除零错误,数据超范围等等。 必须是DatabaseError的子类。

    OperationalError 指非用户控制的,而是操作数据库时发生的错误。例如:连接意外断开、 数据库名未找到、事务处理失败、内存分配错误等等操作数据库是发生的错误。 必须是DatabaseError的子类。

    IntegrityError 完整性相关的错误,例如外键检查失败等。必须是DatabaseError子类。

    InternalError 数据库的内部错误,例如游标(cursor)失效了、事务同步失败等等。 必须是DatabaseError子类。

    ProgrammingError 程序错误,例如数据表(table)没找到或已存在、SQL语句语法错误、 参数数量错误等等。必须是DatabaseError的子类。

    NotSupportedError 不支持错误,指使用了数据库不支持的函数或API等。例如在连接对象上 使用.rollback()函数,然而数据库并不支持事务或者事务已关闭。 必须是DatabaseError的子类。

H. 数据处理简单对比:Excel,SQL,Python

无论是什么工具,做数据分析的时候一定会涉及到两类工作:

这篇文章简单对比一下Excel、SQL和Python在这两类任务上的实现过程,从而对比其异同。

如图所示,所涉及的共有三个表:

可以看到,score表通过sno和student表连接、通过cno和course表连接。

另外,这张截图截自Excel,主要是为了方便后面Excel部分的讨论。

现在,我想要合并三张表,得到新表merge_table,表包含的列一次为:sno,cno,degree,sname,cname。

即,新表中包含score表的所有列,student表的sname列,以及course表的cname列。

为了讨论方便,先上结果:

首先,在 A17:E17 单元格创建所需列名,然后通过简单复制粘贴得到 A18:C28 这三列的数据。

D、E列的数据可以通过以下两种方法实现:

两种方法实现逻辑和结果都一样,但前者调用的时候比后者稍复杂。为了说明,D列数据的提取我使用了方法1,E列数据的提取我使用了方法2。

D列:

首先在 D18 单元格输入以下函数(函数中的单元格所对应的数据请看图01)

接着下拉函数至 D28 。

E列:

在 E18 单元格输入以下函数(函数中的单元格所对应的数据请看图01)

接着下拉函数至 E28 。

注意,如果要提取某个表中的多个列的数据,比如除了sname,我还想得到ssex、sbirthday和class的数据,由于这些列是一同储存在student表中的,用 VLOOPKUP() 显然更高效。

如果想要加快效率,还可以在原student表上新增一行,用数字x来表示第x列,然后在调用 VLOOPKUP() 时,直接把第三个参数指向这一行。

在合并关联表上,SQL非常便捷。实现的语句有两个(先创建或者导入原数据表):

两种方法返回的结果相同,结果如下:

我用的MySQL,不知道为什么合并后行的顺序变了=。=

在Python中,首先导入 numpy 和 pandas 模块:

接着导入数据表。

之后通过以下语句实现merge_table表的建立:

结果如下:

现在假设score表多了一行数据:

如图所示,蓝色部分为多出的数据,且课程6-106在course表中不存在。请无视逻辑问题,主要是为了方便讨论:)

遇到这种情况,上述的实现方法会出现一个问题:

因为课程号6-106在course表里并不存在,所以函数在返回值的时候出错了。

解决的办法有一个,就是在原函数上嵌套 IF() 函数。比如我把 E29 的函数更改为:

如果函数计算结果错误,则返回0。

在SQL中,如果出现此类情况, LEFT JOIN 会返回NULL值:

如果想把NULL值替换为0,查询合并表的时候可以加上 isnull() 函数(MySQL中此函数写作 ifnull() ):

如果函数计算结果错误,则返回0

返回结果和Excel的差不多,就不上图了。

Python中情况类似:

如果想把NaN值替换为0,只需要在创建merge_table表之后,添加一行语句:

返回结果也不上图了,和Excel的一样。

面对合并表中数据不匹配,SQL和Python中都可以在合并表的时候把多出项忽略不计,只要把 LEFT JOIN 换成 INNER JOIN 就行了。但Excel不能自动删除多出项所在行。

为了方便,现在做一个透视表,该表返回 选了课的同学的学号和其平均课程成绩

三个软件对于透视表的实现都很友好,并且效率相近。

Excel在数据透视表工具下把列各种拖拽就行了。

另外,Excel的数据透视表可以选择返回合计(Grand Total)或者不返回。

语句:

结果:

语句:

结果:

一般做透视表的最终目的是作图,毕竟一图胜千语。

从这个目的出发,Python比SQL、Excel更实用,一来Python比Excel作图高效很多,二来SQL不能作图。

通过上述对比可以发现,Excel合并关联表比SQL、Python要低效得多,而且在“数据不匹配”问题上解决得不好;而在另一方面,三者在创建透视表上表现相似,就看你习惯用哪个了:)

I. sql 转python

干嘛转化呢?

python也支持mysql, sqlite3数据库
如果你的数据小, 你可以使用sqlite3.
先把数据放入sqlite3, 然后再查询.

J. sql和python先学习哪个

一个是数据库,一个是编程语言。软件离不开数据,也离不开处理数据的工具。两者是相辅相成的,先学习哪个不重要,因为你肯定两个都要会,也就是说你都要学,先学哪个就不重要了。