① python执行sql，并保存到excel，很慢
你在服务器上直接查询，只是读取一次数据到内存中。
你现在的代码，首先要从数据库读出，然后要写入df，df可以看做一个内存数据库，写入需要做一些相关的处理，例如索引之类的。
然后又要从df读出，再写入excel,这个步骤是写入磁盘，也是花费时间最多的。
② 用python数据分析是不是用的pandas
pandas包最基本的功能
1、读取数据：
data = pd.read_csv('my_file.csv')
data=pd.read_csv('my_file.csv',sep=';',encoding='latin-1',nrows=1000, kiprows=[2,5])
sep变量代表分隔符。因为Excel中的csv分隔符是“;”，因此需要显示它。编码设置为“latin-1”以读取法语字符。nrows=1000表示读取前1000行。skiprows=[2,5]表示在读取文件时将删除第2行和第5行
最常用的函数：read_csv, read_excel
还有一些很不错的函数：read_clipboard、read_sql
2、写入数据
data.to_csv('my_new_file.csv', index=None)
index=None将简单地按原样写入数据。如果你不写index=None，会得到额外的行。
我通常不使用其他函数，比如to_excel，to_json，to_pickle，to_csv，虽然它们也做得很好，但是csv是保存表最常用的方法。
3、检查数据：
data.shape
data.describe()
data.head(3)
.head(3)打印数据的前3行，.tail()函数将查看数据的最后一行。
data.loc[8]
打印第8行。
data.loc[8, 'column_1']
将第8行值打印在“column_1”上。
data.loc[range(4,6)]
打印第4行到第6行。
③ pandas 可以载入sql语句吗
各种数据库有相应的软件包，SQL Server有pyodbc，Oracle有cx_Oracle，MySQL有MySQLdb，各种包有相应的调用方法。 需要根据需求选择合适的数据库类型，然后选择访问数据库的包进一步细化后续的工作。
④ 怎么使用Python中Pandas库Resample，实现重采样，完成线性插值
#python中的pandas库主要有DataFrame和Series类(面向对象的的语言更愿意叫类) DataFrame也就是
#数据框(主要是借鉴R里面的data.frame)，Series也就是序列 ，pandas底层是c写的 性能很棒，有大神
#做过测试 处理亿级别的数据没问题，起性能可以跟同等配置的sas媲美
#DataFrame索引 df.loc是标签选取操作，df.iloc是位置切片操作
print(df[['row_names','Rape']])
df['行标签']
df.loc[行标签,列标签]
print(df.loc[0:2,['Rape','Murder']])
df.iloc[行位置,列位置]
df.iloc[1,1]#选取第二行，第二列的值，返回的为单个值
df.iloc[0,2],:]#选取第一行及第三行的数据
df.iloc[0:2,:]#选取第一行到第三行（不包含）的数据
df.iloc[:,1]#选取所有记录的第一列的值，返回的为一个Series
df.iloc[1,:]#选取第一行数据，返回的为一个Series
print(df.ix[1,1]) # 更广义的切片方式是使用.ix，它自动根据你给到的索引类型判断是使用位置还是标签进行切片
print(df.ix[0:2])
#DataFrame根据条件选取子集 类似于sas里面if、where ,R里面的subset之类的函数
df[df.Murder>13]
df[(df.Murder>10)&(df.Rape>30)]
df[df.sex==u'男']
#重命名 相当于sas里面的rename R软件中reshape包的中的rename
df.rename(columns={'A':'A_rename'})
df.rename(index={1:'other'})
#删除列 相当于sas中的drop R软件中的test['col']<-null
df.drop(['a','b'],axis=1) or del df[['a','b']]
#排序 相当于sas里面的sort R软件里面的df[order(x),]
df.sort(columns='C') #行排序 y轴上
df.sort(axis=1) #各个列之间位置排序 x轴上
#数据描述 相当于sas中proc menas R软件里面的summary
df.describe()
#生成新的一列 跟R里面有点类似
df['new_columns']=df['columns']
df.insert(1,'new_columns',df['B']) #效率最高
df.join(Series(df['columns'],name='new_columns'))
#列上面的追加 相当于sas中的append R里面cbind()
df.append(df1,ignore_index=True)
pd.concat([df,df1],ignore_index=True)
#最经典的join 跟sas和R里面的merge类似 跟sql里面的各种join对照
merge()
#删除重行 跟sas里面nokey R里面的which(!plicated(df[])类似
df.drop_plicated()
#获取最大值 最小值的位置 有点类似矩阵里面的方法
df.idxmin(axis=0 ) df.idxmax(axis=1) 0和1有什么不同 自己摸索去
#读取外部数据跟sas的proc import R里面的read.csv等类似
read_excel() read_csv() read_hdf5() 等
与之相反的是df.to_excel() df.to_ecv()
#缺失值处理 个人觉得pandas中缺失值处理比sas和R方便多了
df.fillna(9999) #用9999填充
#链接数据库 不多说 pandas里面主要用 MySQLdb
import MySQLdb
conn=MySQLdb.connect(host="localhost",user="root",passwd="",db="mysql",use_unicode=True,charset="utf8")
read_sql() #很经典
#写数据进数据库
df.to_sql('hbase_visit',con, flavor="mysql", if_exists='replace', index=False)
#groupby 跟sas里面的中的by R软件中dplyr包中的group_by sql里面的group by功能是一样的 这里不多说
#求哑变量
miper=pd.get_mmies(df['key'])
df['key'].join(mpier)
#透视表 和交叉表 跟sas里面的proc freq步类似 R里面的aggrate和cast函数类似
pd.pivot_table()
pd.crosstab()
#聚合函数经常跟group by一起组合用
df.groupby('sex').agg({'height':['mean','sum'],'weight':['count','min']})
#数据查询过滤
test.query("0.2
将STK_ID中的值过滤出来
stk_list = ['600809','600141','600329']中的全部记录过滤出来，命令是：rpt[rpt['STK_ID'].isin(stk_list)].
将dataframe中，某列进行清洗的命令
删除换行符：misc['proct_desc'] = misc['proct_desc'].str.replace('\n', '')
删除字符串前后空格：df["Make"] = df["Make"].map(str.strip)
如果用模糊匹配的话，命令是：
rpt[rpt['STK_ID'].str.contains(r'^600[0-9]{3}$')]
对dataframe中元素，进行类型转换
df['2nd'] = df['2nd'].str.replace(',','').astype(int) df['CTR'] = df['CTR'].str.replace('%','').astype(np.float64)
#时间变换 主要依赖于datemie 和time两个包
http://www.2cto.com/kf/201401/276088.html
#其他的一些技巧
df2[df2['A'].map(lambda x:x.startswith('61'))] #筛选出以61开头的数据
df2["Author"].str.replace("<.+>", "").head() #replace("<.+>", "")表示将字符串中以”<”开头;以”>”结束的任意子串替换为空字符串
commits = df2["Name"].head(15)
print commits.unique(), len(commits.unique()) #获的NAME的不同个数，类似于sql里面count(distinct name)
#pandas中最核心 最经典的函数apply map applymap
⑤ 如何解决pandas.read
pandas.read_csv()遇到读进来乱码问题
1.设置encoding='gbk'或者encoding='utf-8'。pandas.read_csv('data.csv',encoding='gbk')
2.如果设置encoding直接报错的话
解决方法是：用记事本打开csv文件，另存为设置编码为utf-8，然后重新读取文件设置encoding='utf-8'就好了
⑥ python怎么读mysql的数据
代码：
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
#
-*-
coding:
utf-8
-*-
import
pandas
as
pd
import
pymysql
##
加上字符集参数，防止中文乱码
dbconn=pymysql.connect(
host="**********",
database="kimbo",
user="kimbo_test",
password="******",
port=3306,
charset='utf8'
)
#sql语句
sqlcmd="select
col_name,col_type,col_desc
from
itf_datadic_dtl_d
limit
10"
#利用pandas
模块导入mysql数据
a=pd.read_sql(sqlcmd,dbconn)
⑦ pandas中read函数的使用
利用Python的pandas数据结构来读取excel表格的数据，部分代码如下：
#-*- coding:utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt
catering_data="catering_sale.xls"
data=pd.read_excel(catering_data,index_col=u'日期')
#读取数据，指定"日期"列为索引列
大多数书上都是这样写的，但是在Python2.7上运行时出现错误。（没有在Python3.x版本试过）
出现了如下问题：
这里写图片描述
使用help（pd.read_excel）发现参数中有必选参数sheetname,加入到函数中，代码如下：
#-*- coding:utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt
catering_data="catering_sale.xls"
data=pd.read_excel(catering_data,sheetname=0,index_col=u'日期')
运行成功。
sheetname=0 的意思是：读取xls文件中的第一个表格。（假设文件中有很多个表格）
另外，也可以将文件转换成csv格式，就不需要这个参数了。代码如下：
catering_data="catering_sale.csv"
data=pd.read_csv(catering_data)
⑧ 在Pandas用read_excel函数读取数据时怎么保留文本
利用Python的pandas数据结构来读取excel表格的数据，部分代码如下：
#-*- coding:utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt
catering_data="catering_sale.xls"
data=pd.read_excel(catering_data,index_col=u'日期')
#读取数据，指定"日期"列为索引列；
大多数书上都是这样写的，但是在Python2.7上运行时出现错误。（没有在Python3.x版本试过）
出现了如下问题：
这里写图片描述
使用help（pd.read_excel）发现参数中有必选参数sheetname,加入到函数中，代码如下：
#-*- coding:utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt
catering_data="catering_sale.xls"
data=pd.read_excel(catering_data,sheetname=0,index_col=u'日期')
运行成功。
sheetname=0 的意思是：读取xls文件中的第一个表格。（假设文件中有很多个表格）
另外，也可以将文件转换成csv格式，就不需要这个参数了。代码如下：
catering_data="catering_sale.csv"
data=pd.read_csv(catering_data)
1、读取txt数据
In [1]: import pandas as pd
In [2]: mydata_txt = pd.read_csv('C:\test_code.txt',sep = ' ',encoding = 'utf-8')
对于中文的文本文件常容易因为编码的问题而读取失败，正如上图所示。遇到这样的编码问题该如何处置呢？解决办法有两种情况：
1）当原始文件txt或csv的数据不是uft8格式时，需要另存为utf8格式编码；
2）如果原始的数据文件就是uft8格式，为了正常读入，需要将read_csv函数的参数encoding设置为utf-8
将原始数据另存为utf8格式的数据，重新读入txt数据
In [3]: mydata_txt = pd.read_csv('C:\test.txt',sep = ' ',encoding = 'utf-8')
In [4]: mydata_txt
很顺利，txt文本文件数据就这样进入了Python的口袋里了。
2、读取csv数据
csv文本文件是非常常用的一种数据存储格式，而且其存储量要比Excel电子表格大很多，下面我们就来看看如何利用Python读取csv格式的数据文件：
In [5]: mydata_csv = pd.read_csv('C:\test.csv',sep = ',',encoding = 'utf-8')
In [6]: mydata_csv
如果你善于总结的话，你会发现，txt文件和csv文件均可以通过pandas模块中的read_csv函数进行读取。该函数有20多个参数，类似于R中的read.table函数，如果需要查看具体的参数详情，可以查看帮助文档：help(pandas.read_csv)
⑨ 如何用 Python 执行常见的 Excel 和 SQL 任务
你可以导入.sql 数据库并用 SQL 查询中处理它们。在Excel中，你可以双击一个文件，然后在电子表格模式下开始处理它。在 Python 中，有更多复杂的特性，得益于能够处理许多不同类型的文件格式和数据源的。
使用一个数据处理库 Pandas，你可以使用 read 方法导入各种文件格式。，使用这个方法所能导入完整的文件格式清单是在 Pandas 文档中。你可以导入从 CSV 和 Excel 文件到 HTML 文件中的所有内容！