Ⅰ scrapy请求成功的网页会一直保持吗
每次请求完成，返回response 就会断开的
Ⅱ 如何将scrapy爬虫的数据存到mysql中
爬虫跟踪下一页的方法是自己模拟点击下一页连接，然后发出新的请求。请看： item1 = Item()yield item1item2 = Item()yield item2req = Request(url='下一页的链接', callback=self.parse)yield req 注意使用yield时不要用return语句。
Ⅲ Scrapy爬取下来的数据不全，为什么总会有遗漏
打印每个存储的item信息，看看是不是有漏掉的连接，如果没有。在yield调用的函数里打印接收的response.url信息，看看接收的url是否正确。如果这些没有问题，加个延时看看，是不是因为爬取太快了。
Ⅳ 我是一个新手，想用scrapy写爬虫，可遇到了一个大问题，求大佬解答！！！
看返回什么报错再进行分析啊
Ⅳ scrapy怎么连接mysql
1. 首先获取相关配置信息，这个在初始化时，从配置文件中解析而来
2. 新建了一个handler
3. 做了执行statement之前的准备工作。看看准备了些什么，跟踪代码，最后进入了DataSource类的doGetConnection方法，该方法做如下操作：
private Connection doGetConnection(Properties properties) throws SQLException {
initializeDriver();
Connection connection = DriverManager.getConnection(url, properties);
configureConnection(connection);
return connection;
}
Ⅵ 本地 用scrapy 爬虫 能不能实现 将数据存到 服务器上的mysql里面
问题：
因为用的scrapy-redis 分布式爬 那 爬的数据 不应该都存到同一个mysql下吗
要怎么远程连接mysql呢？
如果不需要存到同一个mysql下，那应该是个什么原因呢？
解答：
可以存在同一个mysql也可以存在不同的mysql，主要看你的需求是怎样的，一般情况下，存在一个mysql就足够了
不管你的程序是在本地还是线上，只要你知道连接mysql的参数就可以连接上。连接的参数包括服务器IP,端口号,用户,密码,此外，服务器可能还配置了另外的限制条件，比如说限制远程连接的IP，如果你的本地IP不在连接白名单里面，那么你就算知道上述信息也是无法连接的。具体连接mysql方式根据不同语言而定。
不存在同一个mysql的原因，可能会考虑到数据备份，也可能考虑到连接速度（如果在这方面有很高要求的话，会选择最近的服务器上的数据库进行存储）
Ⅶ Python Scrapy 框架 抓取问题
就如第一位答主说的，试试代理。其他网站都说是：网络不通，确保服务器上也能访问对方。可以直接在cmd中输入ping 域名 -t 看看是否有timeout。如果有timeout说明连接不通，如果时间过长，说明和网站之间要么需要代理，要么网速差。
Ⅷ scrapy 重复抓取没抓取成功的链接
你所谓的没抓取成功是指什么？由于网络状况因素造成的超时、连接失败还是指单纯的没抓到数据？
后者没什么可说的，多半会是你自身代码的问题。
那么前者的话，也不必你操心，scrapy对于连接失败的Request不会加入到filter，并且会重复这个请求。而settings中有一项RETRY_TIMES可以指定失败后重复尝试的次数。超过这个设置的值，Request就会被丢弃。
还有，DOWNLOAD_TIME可以指定超时时间，网络不够通畅时可以把它设置大点。