A. 網路爬蟲屬於什麼問題
網路爬蟲（web crawler）也叫網頁蜘蛛，網路機器人，是一種用來自動瀏覽萬維網的程序或者腳本。爬蟲可以驗證超鏈接和HTML代碼，用於網路抓取（Web scraping）。網路搜索引擎等站點通過爬蟲軟體更新自身的網站內容（Web content）或其對其他網站的索引。
爬蟲訪問網站的過程會消耗目標系統資源，因此在訪問大量頁面時，爬蟲需要考慮到規劃、負載等問題。
通用網路爬蟲
通用網路爬蟲又稱全網爬蟲（Scalable Web Crawler），爬行對象從一些種子 URL 擴充到整個 Web，主要為門戶站點搜索引擎和大型 Web 服務提供商採集數據。 由於商業原因，它們的技術細節很少公布出來。 這類網路爬蟲的爬行范圍和數量巨大，對於爬行速度和存儲空間要求較高，對於爬行頁面的順序要求相對較低，同時由於待刷新的頁面太多，通常採用並行工作方式，但需要較長時間才能刷新一次頁面。 雖然存在一定缺陷，通用網路爬蟲適用於為搜索引擎搜索廣泛的主題，有較強的應用價值。
通用網路爬蟲的結構大致可以分為頁面爬行模塊 、頁面分析模塊、鏈接過濾模塊、頁面資料庫、URL 隊列、初始 URL 集合幾個部分。為提高工作效率，通用網路爬蟲會採取一定的爬行策略。 常用的爬行策略有：深度優先策略、廣度優先策略。
1) 深度優先策略：其基本方法是按照深度由低到高的順序，依次訪問下一級網頁鏈接，直到不能再深入為止。 爬蟲在完成一個爬行分支後返回到上一鏈接節點進一步搜索其它鏈接。 當所有鏈接遍歷完後，爬行任務結束。 這種策略比較適合垂直搜索或站內搜索， 但爬行頁面內容層次較深的站點時會造成資源的巨大浪費。
2) 廣度優先策略：此策略按照網頁內容目錄層次深淺來爬行頁面，處於較淺目錄層次的頁面首先被爬行。 當同一層次中的頁面爬行完畢後，爬蟲再深入下一層繼續爬行。 這種策略能夠有效控制頁面的爬行深度，避免遇到一個無窮深層分支時無法結束爬行的問題，實現方便，無需存儲大量中間節點，不足之處在於需較長時間才能爬行到目錄層次較深的頁面。
B. 網路爬蟲主要能幹啥
網路爬蟲是一種互聯網機器人，它通過爬取互聯網上網站的內容來工作。它是用計算機語言編寫的程序或腳本，用於自動從Internet上獲取任何信息或數據。機器人掃描並抓取每個所需頁面上的某些信息，直到處理完所有能正常打開的頁面。
網路爬蟲大致有4種類型的結構：通用網路爬蟲、聚焦網路爬蟲、增量式網路爬蟲、深層網路爬蟲 。
1、通用Web爬蟲
通用網路爬蟲所爬取的目標數據是巨大的，並且爬行的范圍也是非常大的，正是由於其爬取的數據是海量數據，故而對於這類爬蟲來說，其爬取的性能要求是非常高的。這種網路爬蟲主要應用於大型搜索引擎中，有非常高的應用價值。 或者應用於大型數據提供商。
2、聚焦網路爬蟲
聚焦網路爬蟲是按照預先定義好的主題有選擇地進行網頁爬取的一種爬蟲，聚焦網路爬蟲不像通用網路爬蟲一樣將目標資源定位在全互聯網中，而是將爬取的目標網頁定位在與主題相關的頁面中，此時，可以大大節省爬蟲爬取時所需的帶寬資源和伺服器資源。聚焦網路爬蟲主要應用在對特定信息的爬取中，主要為某一類特定的人群提供服務。
3、增量Web爬蟲
增量式網路爬蟲，在爬取網頁的時候，只爬取內容發生變化的網頁或者新產生的網頁，對於未發生內容變化的網頁，則不會爬取。增量式網路爬蟲在一定程度上能夠保證所爬取的頁面，盡可能是新頁面。
4、深層網路爬蟲
在互聯網中，網頁按存在方式分類，可以分為表層頁面和深層頁面。所謂的表層頁面，指的是不需要提交表單，使用靜態的鏈接就能夠到達的靜態頁面；而深層頁面則隱藏在表單後面，不能通過靜態鏈接直接獲取，是需要提交一定的關鍵詞之後才能夠獲取得到的頁面。在互聯網中，深層頁面的數量往往比表層頁面的數量要多很多，故而，我們需要想辦法爬取深層頁面。
網路爬蟲可以做什麼？
由於互聯網和物聯網的蓬勃發展，人與網路之間的互動正在發生。每次我們在互聯網上搜索時，網路爬蟲都會幫助我們獲取所需的信息。此外，當需要從Web訪問大量非結構化數據時，我們可以使用Web爬網程序來抓取數據。
1、Web爬蟲作為搜索引擎的重要組成部分
使用聚焦網路爬蟲實現任何門戶網站上的搜索引擎或搜索功能。它有助於搜索引擎找到與搜索主題具有最高相關性的網頁。
對於搜索引擎，網路爬蟲有幫助，為用戶提供相關且有效的內容， 創建所有訪問頁面的快照以供後續處理。
2、建立數據集
網路爬蟲的另一個好用途是建立數據集以用於研究，業務和其他目的。
· 了解和分析網民對公司或組織的行為
· 收集營銷信息，並在短期內更好地做出營銷決策。
· 從互聯網收集信息並分析它們進行學術研究。
· 收集數據，分析一個行業的長期發展趨勢。
· 監控競爭對手的實時變化
C. 什麼是網路爬蟲
1、網路爬蟲就是為其提供信息來源的程序，網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常被稱為網頁追逐者），是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本，已被廣泛應用於互聯網領域。
2、搜索引擎使用網路爬蟲抓取Web網頁、文檔甚至圖片、音頻、視頻等資源，通過相應的索引技術組織這些信息，提供給搜索用戶進行查詢。網路爬蟲也為中小站點的推廣提供了有效的途徑。
拓展資料：
網路爬蟲另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。隨著網路的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰。
搜索引擎（Search Engine），例如傳統的通用搜索引擎AltaVista，Yahoo！和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：
（1） 不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結果包含大量用戶不關心的網頁。
（2）通用搜索引擎的目標是盡可能大的網路覆蓋率，有限的搜索引擎伺服器資源與無限的網路數據資源之間的矛盾將進一步加深。
（3）萬維網數據形式的豐富和網路技術的不斷發展，圖片、資料庫、音頻、視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。
（4）通用搜索引擎大多提供基於關鍵字的檢索，難以支持根據語義信息提出的查詢。
D. 什麼叫爬蟲技術有什麼作用
網路爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索;對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。
網路爬蟲的具體作用是什麼
說白了就是網路黃牛利用爬蟲軟體24小時監控某個系統，比如說蘋果官網的維修預約就很難預約到，這時候就可以24小時監控他們的官網一有預約號出來立刻就用軟體搶了，然後再賣出去。
python網路爬蟲的作用
1、做為通用搜索引擎網頁收集器。
2、做垂直搜索引擎。
3、科學研究：在線人類行為，在線社群演化，人類動力學研究，計量社會學，復雜網路，數據挖掘，等領域的實證研究都需要大量數據，網路爬蟲是收集相關數據的利器。
E. 什麼叫做Web爬蟲
[離散數學是當代數學的一個重要分支，也是計算機科學的數學基礎。它包括數理邏輯、集合論、圖論和近世代數四個分支。數理邏輯基於布爾運算，我們已經介紹過了。這里我們介紹圖論和互聯網自動下載工具網路爬蟲 (Web Crawlers) 之間的關系。順便提一句，我們用 Google Trends 來搜索一下「離散數學」這個詞，可以發現不少有趣的現象。比如，武漢、哈爾濱、合肥和長沙市對這一數學題目最有興趣的城市。]
我們上回談到了如何建立搜索引擎的索引，那麼如何自動下載互聯網所有的網頁呢，它要用到圖論中的遍歷（Traverse) 演算法。
圖論的起源可追溯到大數學家歐拉（Leonhard Euler）。1736 年歐拉來到德國的哥尼斯堡（Konigsberg，大哲學家康德的故鄉，現在是俄羅斯的加里寧格勒），發現當地市民們有一項消遣活動，就是試圖將下圖中的每座橋恰好走過一遍並回到原出發點，從來沒有人成功過。歐拉證明了這件事是不可能的，並寫了一篇論文，一般認為這是圖論的開始。
圖論中所討論的的圖由一些節點和連接這些節點的弧組成。如果我們把中國的城市當成節點，連接城市的國道當成弧，那麼全國的公路干線網就是圖論中所說的圖。關於圖的演算法有很多，但最重要的是圖的遍歷演算法，也就是如何通過弧訪問圖的各個節點。以中國公路網為例，我們從北京出發，看一看北京和哪些城市直接相連，比如說和天津、濟南、石家莊、南京、沈陽、大同直接相連。我們可以依次訪問這些城市，然後我們看看都有哪些城市和這些已經訪問過的城市相連，比如說北戴河、秦皇島與天津相連，青島、煙台和濟南相連，太原、鄭州和石家莊相連等等，我們再一次訪問北戴河這些城市，直到中國所有的城市都訪問過一遍為止。這種圖的遍歷演算法稱為「廣度優先演算法」（BFS)，因為它先要盡可能廣地訪問每個節點所直接連接的其他節點。另外還有一種策略是從北京出發，隨便找到下一個要訪問的城市，比如是濟南，然後從濟南出發到下一個城市，比如說南京，再訪問從南京出發的城市，一直走到頭。然後再往回找，看看中間是否有尚未訪問的城市。這種方法叫「深度優先演算法」（DFS)，因為它是一條路走到黑。這兩種方法都可以保證訪問到全部的城市。當然，不論採用哪種方法，我們都應該用一個小本本，記錄已經訪問過的城市，以防同一個城市訪問多次或者漏掉哪個城市。
現在我們看看圖論的遍歷演算法和搜索引擎的關系。互聯網其實就是一張大圖，我們可以把每一個網頁當作一個節點，把那些超鏈接（Hyperlinks)當作連接網頁的弧。很多讀者可能已經注意到，網頁中那些藍色的、帶有下劃線的文字背後其實藏著對應的網址，當你點下去的的時候，瀏覽器是通過這些隱含的網址轉到相應的網頁中的。這些隱含在文字背後的網址稱為「超鏈接」。有了超鏈接，我們可以從任何一個網頁出發，用圖的遍歷演算法，自動地訪問到每一個網頁並把它們存起來。完成這個功能的程序叫做網路爬蟲，或者在一些文獻中稱為"機器人" （Robot)。世界上第一個網路爬蟲是由麻省理工學院 (MIT)的學生馬休.格雷（Matthew Gray)在 1993 年寫成的。他給他的程序起了個名字叫「互聯網漫遊者」("www wanderer")。以後的網路爬蟲越寫越復雜，但原理是一樣的。
我們來看看網路爬蟲如何下載整個互聯網。假定我們從一家門戶網站的首頁出發，先下載這個網頁，然後通過分析這個網頁，可以找到藏在它裡面的所有超鏈接，也就等於知道了這家門戶網站首頁所直接連接的全部網頁，諸如雅虎郵件、雅虎財經、雅虎新聞等等。我們接下來訪問、下載並分析這家門戶網站的郵件等網頁，又能找到其他相連的網頁。我們讓計算機不停地做下去，就能下載整個的互聯網。當然，我們也要記載哪個網頁下載過了，以免重復。在網路爬蟲中，我們使用一個稱為「哈希表」(Hash Table)的列表而不是一個記事本紀錄網頁是否下載過的信息。
現在的互聯網非常巨大，不可能通過一台或幾台計算機伺服器就能完成下載任務。比如雅虎公司（Google 沒有公開公布我們的數目，所以我這里舉了雅虎的索引大小為例）宣稱他們索引了 200 億個網頁，假如下載一個網頁需要一秒鍾，下載這 200 億個網頁則需要 634 年。因此，一個商業的網路爬蟲需要有成千上萬個伺服器，並且由快速網路連接起來。如何建立這樣復雜的網路系統，如何協調這些伺服器的任務，就是網路設計和程序設計的藝術了。