❶ 如何用Python爬取数据
方法/步骤
在做爬取数据之前，你需要下载安装两个东西，一个是urllib,另外一个是python-docx。
7
这个爬下来的是源代码，如果还需要筛选的话需要自己去添加各种正则表达式。
❷ excel如何用宏自动抓取数据
自动生成数据步骤:
首先，需要在excel中添加加载项--数据分析库，然后就可以进行数据自动生成了，以专业的术语叫做“随机数发生器”。依次点击：excel选项-加载项-用VBA也可以根据数据源批量填充模板生成新表一个简单情况的示例：示例里的代码：Sub根据数据源批量填充。
这个宏的作用是：把当前文件夹下每一个excel文件的每一行（共8行）复制到总表的每一个sheet工作表中去，即把一个文件里的那1张表的8行复制转换成另一个文件的8张表里的8行，主要用于汇总工作。
如何将excel表里的数据提取到word文档里的解决方法如下：
1、复制法。
即将原来的数据直接复制后，在word中进行粘贴，这样数据就直接导入到word文档中了。
2、邮件合并法。
在word中启用邮件合并，按向导的过程分别制作好需要插入的需要，数据源，对应关系，最后执行合并就可以了。
3、程序法。
在word中插入合并域（如果是有规律的表格，可以不用这一步），然后编写vba程序，从excel文件中读取数据，然后写入到word中指定的位置。
上面三个方法中，方法1简单快捷，但是每次都需要操作，如果数据不是连续的块，需要复制粘贴多次，相对来说麻烦一点。
方法2，一次设置可以多次使用，但不够灵活。
方法3方便可以多次重复使用，但需要有一定的编程基础，可以根据工作的实际选择一个最适合的完成这个工作。
❸ python爬取大量数据(百万级)
当用python爬取大量网页获取想要的数据时，最重要的问题是爬虫中断问题，python这种脚本语言，一中断
进程就会退出，怎么在中断后继续上次爬取的任务就至关重要了。这里就重点剖析这个中断问题。
第一个问题: 简单点的用动态代理池就能解决，在爬取大量数据的时候，为了速度不受影响，建议使用一些缓
存的中间件将有效的代理 ip 缓存起来，并定时更新。这里推荐 github 这个仓库
https://github.com/jhao104/proxy_pool ， 它会做ip有效性验证并将 ip 放入 redis ，不过实现过于复杂
了，还用到了 db ，个人觉得最好自己修改一下。困难点的就是它会使用别的请求来进行判断当前的ip是否
是爬虫，当我们过于聚焦我们的爬虫请求而忽略了其他的请求时，可能就会被服务器判定为爬虫，进而这个ip
会被列入黑名单，而且你换了ip一样也会卡死在这里。这种方式呢，简单点就用 selenium + chrome 一个一个
去爬，不过速度太慢了。还是自己去分析吧，也不会过复杂的。
第二个问题： 网络连接超时是大概率会遇到的问题，有可能是在爬取的时候本地网络波动，也有可能是爬
取的服务端对ip做了限制，在爬取到了一定量级的时候做一些延迟的操作，使得一些通用的 http 库超时
（ urllib ）。不过如果是服务端动的手脚一般延迟不会太高，我们只需要人为的设置一个高一点的
timeout 即可（30 秒），最好在爬取开始的时候就对我们要用的爬取库进行一层封装，通用起来才好改
动。
第三个问题: 在解析大量静态页面的时候，有些静态页面的解析规则不一样，所以我们就必须得做好断点
续爬的准备了（ PS : 如果简单的忽略错误可能会导致大量数据的丢失，这就不明智了）。那么在调试的过
程中断点续爬有个解决方案，就是生产者和消费者分离，生产者就是产生待爬 url 的爬虫，消费者就是爬取
最终数据的爬虫。最终解析数据就是消费者爬虫了。他们通过消息中间件连接，生产者往消息中间件发送待
爬取的目标信息，消费者从里面取就行了，还间接的实现了个分布式爬取功能。由于现在的消费中间件都有
ack 机制，一个消费者爬取链接失败会导致消息消费失败，进而分配给其他消费者消费。所以消息丢失的
概率极低。不过这里还有个 tips ， 消费者的消费超时时间不能太长，会导致消息释放不及时。还有要开启
消息中间价的数据持久化功能，不然消息产生过多而消费不及时会撑爆机器内存。那样就得不偿失了。
第四个问题： 这种情况只能 try except catch 住了，不好解决，如果单独分析的话会耗费点时间。但在
大部分数据 （99%） 都正常的情况下就这条不正常抛弃就行了。主要有了第三个问题的解决方案再出现这
种偶尔中断的问就方便多了。
希望能帮到各位。
❹ 方便好用的抓取数据的工具有哪些
方便好用的抓取数据的工具有：八爪鱼、火车头、近探中国。
1、八爪鱼采集器八爪鱼是基于运营商在网实名制真实数据是整合了网页数据采集、移动互联网数据及API接口服务等服务为一体的数据服务平台。它最大的特色就是无需懂得网络爬虫技术，就能轻松完成采集。
2、火车头采集器火车采集器是目前使用人数较多的互联网数据采集软件。它凭借灵活的配置与强大的性能领先国内同类产品，并赢得众多用户的一致认可。使用火车头采集器几乎可以采集所有网页。
3、近探中国近探中国的数据服务平台里面有很多开发者上传的采集工具还有很多是免费的。不管是采集境内外网站、行业网站、政府网站、app、微博、搜索引擎、公众号、小程序等的数据还是其他数据，近探都可以完成采集还可以定制这是他们的一最大的亮点。
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
❺ 哪位Cacti高手可以指点下 Cacti如何用脚本来抓数据和如果把数据画成图。本人新手。
我现在日常就用着cacti，cacti用脚本抓取数据其实很简单的，简单步骤：
1，把脚本放在cacti安装目录下的scripts下
2，脚本获取的数据输出格式为 xxx:123 ，前面的xxx为变量名称，后面的数字为脚本抓到的值
3，到cacti里建立一个数据输入模板，数据类型选择脚本,填上脚本的路径比如<path_cacti>/scripts/host_avg_num_cpu.sh <hostname> (后面<>中为自己定义需要传递给脚本的变量，可以多个）
3.1，新建Input Fields，就是上面自己定义的变量（有部分内置变量，详看Special Type Code的说明）
3.2，新建Output Fields，名称一定要和上面脚本输出的xxx一样，记得选上Update RRA
4，新建数据模板，主要是选择对输入模板名称和输入模板中的Output Fields，数据类型默认的好
5，新建图形模板，选择上一步建立好的数据模板中的数据；画线的话可以选择LINE1，细项自己看一下就清楚了，很简单的。需要注意的是画图一定需要选择average，选择其它会造成不出图；下面的数据限制默认会是100，需要改成0，要不超100的数据也不会画。
❻ 网页如何用脚本自动登录并获取数据
这个不是几句脚本可以实现的：
1.登录成功时检查 用户是否 选中了 自动登录 checkbox
2.是则: 记录下当前用户信息进入 cookie,
3.下次访问本站时检查是否有相应的cookie,有则自动登录
上面是仅完成作业的答案
实际应用 还要在服务器中保存一个可以和该cookie相验证的数据及加密等
防止cookie伪造！
❼ 如何爬取网站上的某一信息
你可以使用爬虫spider，也可以自己用python或者golang写一个抓取脚本，之后加入定时任务，设置每30分钟执行一次即可。对一个页面的数据抓取，并进行解析，还是非常简单的。
❽ 如何抓取HTML页面数据
用前嗅的ForeSpider数据采集系统。
ForeSpider数据采集系统具备全面的采集范围、精准的数据精度、绝佳的抓取性能、简易的可视化操作、智能的自动化采集，使企业能够以很少的人工成本，快速获取互联网中结构化或非结构化的数据。
软件几乎可以采集互联网上所有公开的数据，通过可视化的操作流程，从建表、过滤、采集到入库一步到位。软件首创了面向对象的爬虫脚本语言系统，如果有通过可视化采集不到的内容，都可以通过简单几行代码，实现强大的脚本采集。软件同时支持正则表达式操作，可以通过可视化、正则、脚本任意方式，实现对数据的清洗、规范。
台式机单机采集能力可达4000-8000万，日采集能力超过500万。服务器单机集群环境的采集能力可达8亿-16亿，日采集能力超过4000万。并行情况下可支撑百亿以上规模数据链接，堪与网络等搜索引擎系统媲美。
一．强大：可以抓取互联网上100 %的公开数据
1.内置强大数据挖掘功能。
2.支持用户登录。
3.支持Cookie技术。
4.支持验证码识别。
5.支持HTTPS安全协议。
6.支持OAuth认证。
7.支持POST请求。
8.支持搜索栏的关键词搜索采集。
9.支持JS动态生成页面采集。
10.支持IP代理采集。
11.支持图片采集。
12.支持本地目录采集。
13.内置面向对象的脚本语言系统，配置脚本可以采集几乎100%的互联网公开数据。
二．可视化+爬虫脚本语言+正则表达式
ForeSpider是可视化的通用性采集软件，同时内置了强大的爬虫脚本语言。如果有通过可视化采集不到的内容，都可以通过简单几行代码，实现强大的脚本采集。软件同时支持正则表达式操作，可以通过可视化、正则、脚本任意方式，实现对数据的清洗、规范。
三．集成数据挖掘功能
软件内部集成了数据挖掘功能，可以通过一个采集模板，精准挖掘全网的内容。在数据采集入库的同时，可以完成分类、统计、自然语言处理等诸多功能。
软件与公司的ForeAna数据分析系统对接，可以实现强大的数据分析功能，对数据进行深度的大数据分析。
四．精准：精准采集所需数据
1.独立知识产权JS引擎，精准采集。
2.内部集成数据库，数据直接采集入库。
3.内部创建数据表结构，抓取数据后直接存入数据库相应字段。
4.根据dom结构自动过滤无关信息。
5.通过模板配置链接抽取和数据抽取，目标网站的所有可见内容均可采集，智能过滤无关信息。
6.采集前数据可预览采集，随时调整模板配置，提升数据精度和质量。
7.字段的数据支持多种处理方式。
8.支持正则表达式，精准处理数据。
9.支持脚本配置，精确处理字段的数据。
五．高性能：千万级的采集速度
1.C++编写的爬虫，具备绝佳采集性能。
2.支持多线程采集。
3.台式机单机采集能力可达4000-8000万，日采集能力超过500万。
4.服务器单机采集能力可达8亿-16亿，日采集能力超过4000万。
5.并行情况下可支撑百亿以上规模数据链接，堪与网络等搜索引擎系统媲美。
6.软件性能稳健，稳定性好。
六．简易高效：节约70%的配置时间
1.完全可视化的配置界面，操作流程顺畅简易。
2.基本不需要计算机基础，代码薄弱人员也可快速上手，降低操作门槛，节省企业爬虫工程师成本。
3.过滤采集入库一步到位，集成表结构配置、链接过滤、字段取值、采集预览、数据入库。
4.数据智能排重。
5.内置浏览器，字段取值直接在浏览器上可视化定位。
五．数据管理：数据智能入库
1．数据存储在用户本地计算机，不会上传至前嗅服务器，保证数据独有，更加安全。
2．内置数据库，数据采集完毕直接存储入库。
3．在软件内部创建数据表和数据字段，直接关联数据库。
4．采集数据时配置数据模板，网页数据直接存入对应数据表的相应字段。
5．正式采集之前预览采集结果，有问题及时修正配置。
6．数据表可导出为csv格式，在Excel工作表中浏览。
7．数据可智能排除，二次清洗过滤。
六．智能：智能模拟用户和浏览器行为
1.智能模拟浏览器和用户行为，突破反爬虫限制。
2.自动抓取网页的各类参数和下载过程的各类参数。
3.支持动态IP代理加速，智能过滤无效IP代理，提升代理的利用效率和采集质量。
4.支持动态调整数据抓取策略，多种策略让您的数据无需重采，不再担心漏采，数据采集更智能。
5.自动定时采集。
6.设置采集任务条数，自动停止采集。
7.设置文件大小阈值，自动过滤超大文件。
8.自由设置浏览器是否加速，自动过滤页面的flash等无关内容。
9.智能定位字段取值区域。
10.可以根据字符串特征自动定位取值区域。
11.智能识别表格的多值，表格数据可以完美存入相应字段。
七．增值服务
1.VIP客服持续在线服务，解决各类技术难题，可以远程帮助完成配置。
2.提供大量免费的采集模板，用户可以下载导入。
3.软件被防爬后，免费提供解决方案和软件的针对性升级。
4.免费升级后续不断开发的更多功能。
5.软件绑定账号不固定计算机，可以任意更换使用的计算机。
6.为用户提供各类高端定制化服务，全方位来满足用户的数据需求。
❾ ftp脚本抓取数据 shell脚本怎么写
假设需要每天11：00自动使用ftp从服务器server下的一个目录下载文件到本地。
重点：ftp命令如何获取用户名，密码。
vi ftps //编写脚本ftps
#!/usr/bin/sh
ftp -i -in <<!
open 192.168.1.171 //连接到服务器（假设为192.168.1.171）
user $ftpuser $password //用户名和密码
bin //以二进制传送
cd / //到ftpuser的根目录（
passive //如果出现no route to host提示，使用passive模式
mget $1 //获取命令后加的参数（文件或者文件夹）
bye //退出
！
保存退出
chmod +x ftps
crontab -e
00 11 * * * /$path/ftps
保存退出
这样在每天11点的时候就可以自动ftp下载数据了。
❿ 用python脚本爬取和解析指定页面的数据
给你贴一下我前一段时间回答的类似问题，用的soup，还有一个用的正则就不贴了，手机不太方便，如下。
import beautifulsoup
import urllib2
def main():
userMainUrl = "你要抓取的地址"
req = urllib2.Request(userMainUrl)
resp = urllib2.urlopen(req)
respHtml = resp.read()
foundLabel = respHtml.findAll("label")
finalL =foundLabel.string
print "biaoti=",finalL
if __name__=="__main__":
main();
PS：如果不会改的话追问一下，回头我用电脑给你写一份