Ⅰ scrapy請求成功的網頁會一直保持嗎
每次請求完成，返回response 就會斷開的
Ⅱ 如何將scrapy爬蟲的數據存到mysql中
爬蟲跟蹤下一頁的方法是自己模擬點擊下一頁連接，然後發出新的請求。請看： item1 = Item()yield item1item2 = Item()yield item2req = Request(url='下一頁的鏈接', callback=self.parse)yield req 注意使用yield時不要用return語句。
Ⅲ Scrapy爬取下來的數據不全，為什麼總會有遺漏
列印每個存儲的item信息，看看是不是有漏掉的連接，如果沒有。在yield調用的函數里列印接收的response.url信息，看看接收的url是否正確。如果這些沒有問題，加個延時看看，是不是因為爬取太快了。
Ⅳ 我是一個新手，想用scrapy寫爬蟲，可遇到了一個大問題，求大佬解答！！！
看返回什麼報錯再進行分析啊
Ⅳ scrapy怎麼連接mysql
1. 首先獲取相關配置信息，這個在初始化時，從配置文件中解析而來
2. 新建了一個handler
3. 做了執行statement之前的准備工作。看看準備了些什麼，跟蹤代碼，最後進入了DataSource類的doGetConnection方法，該方法做如下操作：
private Connection doGetConnection(Properties properties) throws SQLException {
initializeDriver();
Connection connection = DriverManager.getConnection(url, properties);
configureConnection(connection);
return connection;
}
Ⅵ 本地 用scrapy 爬蟲 能不能實現 將數據存到 伺服器上的mysql裡面
問題：
因為用的scrapy-redis 分布式爬 那 爬的數據 不應該都存到同一個mysql下嗎
要怎麼遠程連接mysql呢？
如果不需要存到同一個mysql下，那應該是個什麼原因呢？
解答：
可以存在同一個mysql也可以存在不同的mysql，主要看你的需求是怎樣的，一般情況下，存在一個mysql就足夠了
不管你的程序是在本地還是線上，只要你知道連接mysql的參數就可以連接上。連接的參數包括伺服器IP,埠號,用戶,密碼,此外，伺服器可能還配置了另外的限制條件，比如說限制遠程連接的IP，如果你的本地IP不在連接白名單裡面，那麼你就算知道上述信息也是無法連接的。具體連接mysql方式根據不同語言而定。
不存在同一個mysql的原因，可能會考慮到數據備份，也可能考慮到連接速度（如果在這方面有很高要求的話，會選擇最近的伺服器上的資料庫進行存儲）
Ⅶ Python Scrapy 框架 抓取問題
就如第一位答主說的，試試代理。其他網站都說是：網路不通，確保伺服器上也能訪問對方。可以直接在cmd中輸入ping 域名 -t 看看是否有timeout。如果有timeout說明連接不通，如果時間過長，說明和網站之間要麼需要代理，要麼網速差。
Ⅷ scrapy 重復抓取沒抓取成功的鏈接
你所謂的沒抓取成功是指什麼？由於網路狀況因素造成的超時、連接失敗還是指單純的沒抓到數據？
後者沒什麼可說的，多半會是你自身代碼的問題。
那麼前者的話，也不必你操心，scrapy對於連接失敗的Request不會加入到filter，並且會重復這個請求。而settings中有一項RETRY_TIMES可以指定失敗後重復嘗試的次數。超過這個設置的值，Request就會被丟棄。
還有，DOWNLOAD_TIME可以指定超時時間，網路不夠通暢時可以把它設置大點。