『壹』 請教高手，網頁數據抓取問題
方法一：直接抓取網頁源碼
優點：速度快。
缺點：1，正由於速度快，易被伺服器端檢測，可能會限制當前ip的抓取。對於這點，可以嘗試使用ip代碼解決。
2，如果你要抓取的數據，是在網頁載入完後，js修改了網頁元素，無法抓取。
3，遇到抓取一些大型網站，如果需要抓取如登錄後的頁面，可能需要破解伺服器端帳號加密演算法以及各種加密演算法，及其考驗技術性。
適用場景：網頁完全靜態化，並且你要抓取的數據在網頁首次載入完成就載入出來了。涉及登錄或者許可權操作的類似頁面未做任何帳號加密或只做簡單加密的。
當然，如果該網頁你抓取的數據，是通過介面獲得的json,那麼，你就更幸福的，直接抓取json頁面即可。
對於有登錄的頁面，我們如何拿到他的登錄頁之後的源碼呢？
首先我要介紹一下，對於session保存帳號信息的情況下，伺服器是如何確定該用戶身份的。
首先，用戶登錄成功後，伺服器端會將用戶的當前會話信息保存到session中，每一個session有一個唯一標志sessionId。則用戶訪問這個頁面，session被創建後，就會接收到伺服器端傳回的sessionId,並將其保存到cookie中，因此，我們可以用chrome瀏覽器打開檢查項，查看當前頁面的jsessionId。下次用戶訪問需要登錄的頁面時，用戶發送的請求頭會附上這個sessionId,伺服器端通過這個sessionId就可以確定用戶的身份。
這里，我搭建了一個簡單的jsp登錄頁面，登錄後的帳號信息保存在伺服器端session中。
思路：1，登錄。2，登錄成功後獲得cookie。3,將cookie放到請求頭中，向登錄頁發送請求。
附上java版本的代碼及python
java版：
『貳』 ASP.NET如何抓取網頁指定數據
抓取了整個頁面的內容代碼
HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(TextBox1.Text);
HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
Stream stream = webResponse.GetResponseStream();
StreamReader reader = new StreamReader(stream, System.Text.Encoding.GetEncoding("utf-8"));
//整個頁面內容
Label1.Text = reader.ReadToEnd();
『叄』 抓取網頁數據工具用什麼工具可以批量抓取網頁的數據呢
可以用數據採集器軟體，比如八爪魚採集器，操作簡單、功能強大，支持雲採集、定時採集、api介面。網頁上公開的數據幾乎都可以採集下來。
『肆』 如何繞開網站防護抓取數據
控制下載頻率大規模集中訪問對伺服器的影響較大，爬蟲可以短時間增大伺服器負載。這里需要注意的是：設定下載等待時間的范圍控制，等待時間過長，不能滿足短時間大規模抓取的要求，等待時間過短則很有可能被拒絕訪問。在之前「從url獲取HTML」的方法里，對於httpGet的配置設置了socket超時和連接connect超時，其實這里的時長不是絕對的，主要取決於目標網站對爬蟲的控制。
另外，在scrapy爬蟲框架里，專有參數可以設置下載等待時間download_delay，這個參數可以設置在setting.py里，也可以設置在spider里。
IP的訪問頻率被限制，一些平台為了防止多次訪問網站，會在某個同一個IP在單元時間內超過一定的次數的時候，將禁止這個IP繼續訪問。對於這個限制IP訪問效率，可以使用代理IP的方法來解決問題比如使用IPIDEA。
採用分布式爬取分布式爬取的也有很多Githubrepo。原理主要是維護一個所有集群機器能夠有效分享的分布式隊列。使用分布式爬取還有另外一個目的：大規模抓取，單台機器的負荷很大，況且速度很慢，多台機器可以設置一個master管理多台slave去同時爬取。
修改User-Agent最常見的就是偽裝瀏覽器，修改User-Agent(用戶代理)。User-Agent是指包含瀏覽器信息、操作系統信息等的一個字元串，也稱之為一種特殊的網路協議。伺服器通過它判斷當前訪問對象是瀏覽器、郵件客戶端還是網路爬蟲。在request.headers里可以查看user-agent，關於怎麼分析數據包、查看其User-Agent等信息，這個在前面的文章里提到過。
具體方法可以把User-Agent的值改為瀏覽器的方式，甚至可以設置一個User-Agent池(list，數組，字典都可以)，存放多個「瀏覽器」，每次爬取的時候隨機取一個來設置request的User-Agent，這樣User-Agent會一直在變化，防止被牆。
綜上所述，爬蟲怎麼突破反爬蟲的方法比較多，上文從更換IP、控制下載頻率、分布式爬取、修改User-Agent這四個方面介紹了突破反爬蟲機制的方法，從而實現數據的爬取。
『伍』 如何用爬蟲爬取網頁上的數據
用爬蟲框架Scrapy， 三步
定義item類
開發spider類
開發pipeline
如果你想要更透的信息，你可以參考《瘋狂python講義》
『陸』 請問如何把網站的數據抓取下來
可以藉助採集器軟體，即使不懂代碼也能採集網頁上的數據，然後導出excel
『柒』 什麼是網站數據抓取什麼是
在互聯網路的時代，信息如同大海般沒有邊際。甚至我們獲取信息的方法已經發生改變：從傳統的翻書查字典，繼而變成通過搜索引擎進行檢索。我們從信息匱乏的時代一下子走到了信息極大豐富今天。
在今天，困擾我們的問題不是信息太少，而是太多，多得讓你無從分辨，無從選擇。因此，提供一個能夠自動在互聯網上抓取數據，並自動分揀、分析的工具有非常重要的意義。
我們通過傳統的搜索引擎所獲得的信息，通常是通過網頁的形式所展現的，這樣的信息人工閱讀起來自然親切，但計算機卻很難進行加工和再利用。而且檢索到的信息量太大，我們很難在大量的檢索結果中抽取出我們最需要的信息。採用自動識別關鍵詞技術，將你需要的信息從海量的信息中篩選出來。就是數據抓取
『捌』 怎麼用VBA或網路爬蟲程序抓取網站數據
VBA網抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模擬向伺服器發送請求，接收伺服器返回的數據。
優點：效率高，基本無兼容性問題。
缺點：需要藉助如fiddler的工具來模擬http請求。
2、IE/webbrowser法：
創建IE控制項或webbrowser控制項，結合htmlfile對象的方法和屬性，模擬瀏覽器操作，獲取瀏覽器頁面的數據。
優點：這個方法可以模擬大部分的瀏覽器操作。所見即所得，瀏覽器能看到的數據就能用代碼獲取。
缺點：各種彈窗相當煩人，兼容性也確實是個很傷腦筋的問題。上傳文件在IE里根本無法實現。
3、QueryTables法：
因為它是excel自帶，所以勉強也算是一種方法。其實此法和xmlhttp類似，也是GET或POST方式發送請求，然後得到伺服器的response返回到單元格內。
優點：excel自帶，可以通過錄制宏得到代碼，處理table很方便
。代碼簡短，適合快速獲取一些存在於源代碼的table里的數據。
缺點：無法模擬referer等發包頭
也可以利用採集工具進行採集網頁端的數據，無需寫代碼。
『玖』 如何抓取網頁上的數據
具體說明是什麼樣的數據，如果只是需要頁面資源（音樂、視頻、圖片等），可以用瀏覽器的嗅探功能獲取。如果想要查看源碼，可以用瀏覽器的「查看網頁源代碼/查看頁面信息」功能獲取。還可以用開發者工具調試網頁。
『拾』 如何抓取指定網站後台伺服器數據
先打開wireshark監聽指定的網卡就是上網的那一張網卡，開始抓包，然後使用瀏覽器訪問你想要的網站，當瀏覽器顯示網站數據傳輸完畢，停止抓包，將所抓的數據保存下來即可