1. 如何用Python做爬蟲
1）首先你要明白爬蟲怎樣工作。
想像你是一隻蜘蛛，現在你被放到了互聯「網」上。那麼，你需要把所有的網頁都看一遍。怎麼辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。
在人民日報的首頁，你看到那個頁面引向的各種鏈接。於是你很開心地從爬到了「國內新聞」那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎麼處理的，你就想像你把這個頁面完完整整抄成了個html放到了你身上。
突然你發現， 在國內新聞這個頁面上，有一個鏈接鏈回「首頁」。作為一隻聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子里是不是已經去過這個頁面地址。如果去過，那就別去了。
好的，理論上如果所有的頁面可以從initial page達到的話，那麼可以證明你一定可以爬完所有的網頁。
那麼在python里怎麼實現呢？
很簡單
import Queue
initial_page = "初始化頁"
url_queue = Queue.Queue()
seen = set()
seen.insert(initial_page)
url_queue.put(initial_page)
while(True): #一直進行直到海枯石爛
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊例中第一個的url
store(current_url) #把這個url代表的網頁存儲好
for next_url in extract_urls(current_url): #提取把這個url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break
寫得已經很偽代碼了。
所有的爬蟲的backbone都在這里，下面分析一下為什麼爬蟲事實上是個非常復雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。
2）效率
如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。
問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那麼分析一下判重的復雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的復雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。
通常的判重做法是怎樣呢？Bloom Filter. 簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中。可惜天下沒有白吃的午餐，它的唯一問題在於，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這里的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example
注意到這個特點，url如果被看過，那麼可能以小概率重復看一看（沒關系，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]
好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一台機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那麼你只有加快這個速度。用一台機子不夠的話——用很多台吧！當然，我們假設每台機子都已經進了最大的效率——使用多線程（python的話，多進程吧）。
3）集群化抓取
爬取豆瓣的時候，我總共用了100多台機器晝夜不停地運行了一個月。想像如果只用一台機子你就得運行100個月了...
那麼，假設你現在有100台機器可以用，怎麼用python實現一個分布式的爬取演算法呢？
我們把這100台中的99台運算能力較小的機器叫作slave，另外一台較大的機器叫作master，那麼回顧上面代碼中的url_queue，如果我們能把這個queue放到這台master機器上，所有的slave都可以通過網路跟master聯通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)
考慮如何用python實現：
在各台slave上裝好scrapy，那麼各台機子就變成了一台有抓取能力的slave，在master上裝好Redis和rq用作分布式隊列。
代碼於是寫成
#slave.py
current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)
store(current_url);
send_to_master(to_send)
#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()
initial_pages = "www.renmingribao.com"
while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)
好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub
4）展望及後處理
雖然上面用很多「簡單」，但是真正要實現一個商業規模可用的爬蟲並不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。
但是如果附加上你需要這些後續處理，比如
有效地存儲（資料庫應該怎樣安排）
有效地判重（這里指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）
有效地信息抽取（比如怎麼樣抽取出網頁上所有的地址抽取出來，「朝陽區奮進路中華道」），搜索引擎通常不需要存儲所有的信息，比如圖片我存來幹嘛...
及時更新（預測這個網頁多久會更新一次）
如你所想，這里每一個點都可以供很多研究者十數年的研究。雖然如此，
「路漫漫其修遠兮,吾將上下而求索」。
所以，不要問怎麼入門，直接上路就好了：）
2. 如何通過nodejs爬蟲獲取數據簡單實現代碼
var http=require('http');
var cheerio=require('cheerio');//頁面獲取到的數據模塊
var url='http://www.jcpeixun.com/lesson/1512/';
function filterData(html){
/*所要獲取到的目標數組
var courseData=[{
chapterTitle:"",
videosData:{
videoTitle:title,
videoId:id,
videoPrice:price
}
}] */
var $=cheerio.load(html);
var courseData=[];
var chapters=$(".list-collapse");
chapters.each(function(item){
var chapterTitle=$(this).find(".collapse-head").find("label").text();
var videos=$(this).find(".listview5").children("li");
var chaptersData={
chaptersTitle:chapterTitle,
videosData:[]
}
videos.each(function(item){
var videoTitle=$(this).find(".ml10").attr('data-lesson-name');
var videoId=$(this).find(".ml10").attr('data-lesson-id');
var vadeoPrice=$(this).find(".colblue").text();
chaptersData.videosData.push({
title:videoTitle,
id:videoId,
price:vadeoPrice
})
})
courseData.push(chaptersData)
})
return courseData
}
function printCourseInfo(courseData){
courseData.forEach(function(item){
console.log(item.chaptersTitle+'\n');
item.videosData.forEach(function(item){
console.log(item.title+'【'+item.id+'】'+item.price+'\n')
})
})
}
http.get(url,function(res){
html="";
res.on("data",function(data){
html+=data
})
res.on('end',function(){
var courseData=filterData(html);
printCourseInfo(courseData)
})
})
3. 如何用python寫爬蟲來獲取網頁中所有的文章以及關鍵詞
所謂網頁抓取，就是把URL地址中指定的網路資源從網路流中讀取出來，保存到本地。
類似於使用程序模擬IE瀏覽器的功能，把URL作為HTTP請求的內容發送到伺服器端， 然後讀取伺服器端的響應資源。
在Python中，我們使用urllib2這個組件來抓取網頁。
urllib2是Python的一個獲取URLs(Uniform Resource Locators)的組件。
它以urlopen函數的形式提供了一個非常簡單的介面。
最簡單的urllib2的應用代碼只需要四行。
我們新建一個文件urllib2_test01.py來感受一下urllib2的作用：
import urllib2
response = urllib2.urlopen('http://www..com/')
html = response.read()
print html
按下F5可以看到運行的結果：
我們可以打開網路主頁，右擊，選擇查看源代碼（火狐OR谷歌瀏覽器均可），會發現也是完全一樣的內容。
也就是說，上面這四行代碼將我們訪問網路時瀏覽器收到的代碼們全部列印了出來。
這就是一個最簡單的urllib2的例子。
除了"http:"，URL同樣可以使用"ftp:"，"file:"等等來替代。
HTTP是基於請求和應答機制的：
客戶端提出請求，服務端提供應答。
urllib2用一個Request對象來映射你提出的HTTP請求。
在它最簡單的使用形式中你將用你要請求的地址創建一個Request對象，
通過調用urlopen並傳入Request對象，將返回一個相關請求response對象，
這個應答對象如同一個文件對象，所以你可以在Response中調用.read()。
我們新建一個文件urllib2_test02.py來感受一下：
import urllib2
req = urllib2.Request('http://www..com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page
可以看到輸出的內容和test01是一樣的。
urllib2使用相同的介面處理所有的URL頭。例如你可以像下面那樣創建一個ftp請求。
req = urllib2.Request('ftp://example.com/')
在HTTP請求時，允許你做額外的兩件事。
1.發送data表單數據
這個內容相信做過Web端的都不會陌生，
有時候你希望發送一些數據到URL(通常URL與CGI[通用網關介面]腳本，或其他WEB應用程序掛接)。
在HTTP中,這個經常使用熟知的POST請求發送。
這個通常在你提交一個HTML表單時由你的瀏覽器來做。
並不是所有的POSTs都來源於表單，你能夠使用POST提交任意的數據到你自己的程序。
一般的HTML表單，data需要編碼成標准形式。然後做為data參數傳到Request對象。
編碼工作使用urllib的函數而非urllib2。
我們新建一個文件urllib2_test03.py來感受一下：
import urllib
import urllib2
url = 'http://www.someserver.com/register.cgi'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
data = urllib.urlencode(values) # 編碼工作
req = urllib2.Request(url, data) # 發送請求同時傳data表單
response = urllib2.urlopen(req) #接受反饋的信息
the_page = response.read() #讀取反饋的內容
如果沒有傳送data參數，urllib2使用GET方式的請求。
GET和POST請求的不同之處是POST請求通常有"副作用"，
它們會由於某種途徑改變系統狀態(例如提交成堆垃圾到你的門口)。
Data同樣可以通過在Get請求的URL本身上面編碼來傳送。
import urllib2
import urllib
data = {}
data['name'] = 'WHY'
data['location'] = 'SDU'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
print url_values
name=Somebody+Here&language=Python&location=Northampton
url = 'http://www.example.com/example.cgi'
full_url = url + '?' + url_values
data = urllib2.open(full_url)
這樣就實現了Data數據的Get傳送。
2.設置Headers到http請求
有一些站點不喜歡被程序（非人為訪問）訪問，或者發送不同版本的內容到不同的瀏覽器。
默認的urllib2把自己作為「Python-urllib/x.y」(x和y是Python主版本和次版本號,例如Python-urllib/2.7)，
這個身份可能會讓站點迷惑，或者乾脆不工作。
瀏覽器確認自己身份是通過User-Agent頭，當你創建了一個請求對象，你可以給他一個包含頭數據的字典。
下面的例子發送跟上面一樣的內容，但把自身模擬成Internet Explorer。
（多謝大家的提醒，現在這個Demo已經不可用了，不過原理還是那樣的）。
import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()
以上就是python利用urllib2通過指定的URL抓取網頁內容的全部內容，非常簡單吧，希望對大家能有所幫助。
4. 如何在scrapy框架下，用python實現爬蟲自動跳轉頁面來抓去網頁內容
Scrapy是一個用Python寫的Crawler Framework，簡單輕巧，並且非常方便。Scrapy使用Twisted這個非同步網路庫來處理網路通信，架構清晰，並且包含了各種中間件介面，可以靈活地完成各種需求。Scrapy整體架構如下圖所示：
根據架構圖介紹一下Scrapy中的各大組件及其功能：
Scrapy引擎（Engine）：負責控制數據流在系統的所有組建中流動，並在相應動作發生觸發事件。
調度器（Scheler）：從引擎接收Request並將它們入隊，以便之後引擎請求request時提供給引擎。
下載器（Downloader）：負責獲取頁面數據並提供給引擎，而後提供給Spider。
Spider：Scrapy用戶編寫用於分析Response並提取Item（即獲取到的Item）或額外跟進的URL的類。每個Spider負責處理一個特定（或一些網站）。
Item Pipeline：負責處理被Spider提取出來的Item。典型的處理有清理驗證及持久化（例如存儲到資料庫中，這部分後面會介紹存儲到Mysql中，其他的資料庫類似）。
下載器中間件（Downloader middlewares）：是在引擎即下載器之間的特定鉤子（special hook），處理Downloader傳遞給引擎的Response。其提供了一個簡便的機制，通過插入自定義代碼來擴展Scrapy功能（後面會介紹配置一些中間並激活，用以應對反爬蟲）。
Spider中間件（Spider middlewares）：是在引擎及Spider之間的特定鉤子（special hook），處理Spider的輸入（response）和輸出（Items即Requests）。其提供了一個簡便的機制，通過插入自定義的代碼來擴展Scrapy功能。
5. 如果用python爬百度搜索的統計數據
importrequests
frombs4importBeautifulSoup
word='爬蟲'
url='https://www..com/s?ie=utf-8&cl=2&rtt=1&bsst=1&tn=news&word=%s'%word
headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/70.0.3538.77Safari/537.36'}
req=requests.get(url,headers=headers)
soup=BeautifulSoup(req.content,'lxml')
text=soup.select('div[id="header_top_bar"]span')
print(text[0].text)
6. 怎麼用VBA或網路爬蟲程序抓取網站數據
VBA網抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模擬向伺服器發送請求，接收伺服器返回的數據。
優點：效率高，基本無兼容性問題。
缺點：需要藉助如fiddler的工具來模擬http請求。
2、IE/webbrowser法：
創建IE控制項或webbrowser控制項，結合htmlfile對象的方法和屬性，模擬瀏覽器操作，獲取瀏覽器頁面的數據。
優點：這個方法可以模擬大部分的瀏覽器操作。所見即所得，瀏覽器能看到的數據就能用代碼獲取。
缺點：各種彈窗相當煩人，兼容性也確實是個很傷腦筋的問題。上傳文件在IE里根本無法實現。
3、QueryTables法：
因為它是excel自帶，所以勉強也算是一種方法。其實此法和xmlhttp類似，也是GET或POST方式發送請求，然後得到伺服器的response返回到單元格內。
優點：excel自帶，可以通過錄制宏得到代碼，處理table很方便
。代碼簡短，適合快速獲取一些存在於源代碼的table里的數據。
缺點：無法模擬referer等發包頭
也可以利用採集工具進行採集網頁端的數據，無需寫代碼。
7. 用python腳本爬取和解析指定頁面的數據
給你貼一下我前一段時間回答的類似問題，用的soup，還有一個用的正則就不貼了，手機不太方便，如下。
import beautifulsoup
import urllib2
def main():
userMainUrl = "你要抓取的地址"
req = urllib2.Request(userMainUrl)
resp = urllib2.urlopen(req)
respHtml = resp.read()
foundLabel = respHtml.findAll("label")
finalL =foundLabel.string
print "biaoti=",finalL
if __name__=="__main__":
main();
PS：如果不會改的話追問一下，回頭我用電腦給你寫一份
8. 如何用python寫出爬蟲
先檢查是否有API
API是網站官方提供的數據介面，如果通過調用API採集數據，則相當於在網站允許的范圍內採集，這樣既不會有道德法律風險，也沒有網站故意設置的障礙；不過調用API介面的訪問則處於網站的控制中，網站可以用來收費，可以用來限制訪問上限等。整體來看，如果數據採集的需求並不是很獨特，那麼有API則應優先採用調用API的方式。
數據結構分析和數據存儲
爬蟲需求要十分清晰，具體表現為需要哪些欄位，這些欄位可以是網頁上現有的，也可以是根據網頁上現有的欄位進一步計算的，這些欄位如何構建表，多張表如何連接等。值得一提的是，確定欄位環節，不要只看少量的網頁，因為單個網頁可以缺少別的同類網頁的欄位，這既有可能是由於網站的問題，也可能是用戶行為的差異，只有多觀察一些網頁才能綜合抽象出具有普適性的關鍵欄位——這並不是幾分鍾看幾個網頁就可以決定的簡單事情，如果遇上了那種臃腫、混亂的網站，可能坑非常多。
對於大規模爬蟲，除了本身要採集的數據外，其他重要的中間數據（比如頁面Id或者url）也建議存儲下來，這樣可以不必每次重新爬取id。
資料庫並沒有固定的選擇，本質仍是將Python里的數據寫到庫里，可以選擇關系型資料庫MySQL等，也可以選擇非關系型資料庫MongoDB等；對於普通的結構化數據一般存在關系型資料庫即可。sqlalchemy是一個成熟好用的資料庫連接框架，其引擎可與Pandas配套使用，把數據處理和數據存儲連接起來，一氣呵成。
數據流分析
對於要批量爬取的網頁，往上一層，看它的入口在哪裡；這個是根據採集范圍來確定入口，比如若只想爬一個地區的數據，那從該地區的主頁切入即可；但若想爬全國數據，則應更往上一層，從全國的入口切入。一般的網站網頁都以樹狀結構為主，找到切入點作為根節點一層層往裡進入即可。
值得注意的一點是，一般網站都不會直接把全量的數據做成列表給你一頁頁往下翻直到遍歷完數據，比如鏈家上面很清楚地寫著有24587套二手房，但是它只給100頁，每頁30個，如果直接這么切入只能訪問3000個，遠遠低於真實數據量；因此先切片，再整合的數據思維可以獲得更大的數據量。顯然100頁是系統設定，只要超過300個就只顯示100頁，因此可以通過其他的篩選條件不斷細分，只到篩選結果小於等於300頁就表示該條件下沒有缺漏；最後把各種條件下的篩選結果集合在一起，就能夠盡可能地還原真實數據量。
明確了大規模爬蟲的數據流動機制，下一步就是針對單個網頁進行解析，然後把這個模式復制到整體。對於單個網頁，採用抓包工具可以查看它的請求方式，是get還是post，有沒有提交表單，欲採集的數據是寫入源代碼里還是通過AJAX調用JSON數據。
同樣的道理，不能只看一個頁面，要觀察多個頁面，因為批量爬蟲要弄清這些大量頁面url以及參數的規律，以便可以自動構造；有的網站的url以及關鍵參數是加密的，這樣就悲劇了，不能靠著明顯的邏輯直接構造，這種情況下要批量爬蟲，要麼找到它加密的js代碼，在爬蟲代碼上加入從明文到密碼的加密過程；要麼採用下文所述的模擬瀏覽器的方式。
數據採集
之前用R做爬蟲，不要笑，R的確可以做爬蟲工作；但在爬蟲方面，Python顯然優勢更明顯，受眾更廣，這得益於其成熟的爬蟲框架，以及其他的在計算機系統上更好的性能。scrapy是一個成熟的爬蟲框架，直接往裡套用就好，比較適合新手學習；requests是一個比原生的urllib包更簡潔強大的包，適合作定製化的爬蟲功能。requests主要提供一個基本訪問功能，把網頁的源代碼給download下來。一般而言，只要加上跟瀏覽器同樣的Requests Headers參數，就可以正常訪問，status_code為200，並成功得到網頁源代碼；但是也有某些反爬蟲較為嚴格的網站，這么直接訪問會被禁止；或者說status為200也不會返回正常的網頁源碼，而是要求寫驗證碼的js腳本等。
下載到了源碼之後，如果數據就在源碼中，這種情況是最簡單的，這就表示已經成功獲取到了數據，剩下的無非就是數據提取、清洗、入庫。但若網頁上有，然而源代碼里沒有的，就表示數據寫在其他地方，一般而言是通過AJAX非同步載入JSON數據，從XHR中找即可找到；如果這樣還找不到，那就需要去解析js腳本了。
解析工具
源碼下載後，就是解析數據了，常用的有兩種方法，一種是用BeautifulSoup對樹狀HTML進行解析，另一種是通過正則表達式從文本中抽取數據。
BeautifulSoup比較簡單，支持Xpath和CSSSelector兩種途徑，而且像Chrome這類瀏覽器一般都已經把各個結點的Xpath或者CSSSelector標記好了，直接復制即可。以CSSSelector為例，可以選擇tag、id、class等多種方式進行定位選擇，如果有id建議選id，因為根據HTML語法，一個id只能綁定一個標簽。
正則表達式很強大，但構造起來有點復雜，需要專門去學習。因為下載下來的源碼格式就是字元串，所以正則表達式可以大顯身手，而且處理速度很快。
對於HTML結構固定，即同樣的欄位處tag、id和class名稱都相同，採用BeautifulSoup解析是一種簡單高效的方案，但有的網站混亂，同樣的數據在不同頁面間HTML結構不同，這種情況下BeautifulSoup就不太好使；如果數據本身格式固定，則用正則表達式更方便。比如以下的例子，這兩個都是深圳地區某個地方的經度，但一個頁面的class是long，一個頁面的class是longitude，根據class來選擇就沒辦法同時滿足2個，但只要注意到深圳地區的經度都是介於113到114之間的浮點數，就可以通過正則表達式"11[3-4].\d+"來使兩個都滿足。
數據整理
一般而言，爬下來的原始數據都不是清潔的，所以在入庫前要先整理；由於大部分都是字元串，所以主要也就是字元串的處理方式了。
字元串自帶的方法可以滿足大部分簡單的處理需求，比如strip可以去掉首尾不需要的字元或者換行符等，replace可以將指定部分替換成需要的部分，split可以在指定部分分割然後截取一部分。
如果字元串處理的需求太復雜以致常規的字元串處理方法不好解決，那就要請出正則表達式這個大殺器。
Pandas是Python中常用的數據處理模塊，雖然作為一個從R轉過來的人一直覺得這個模仿R的包實在是太難用了。Pandas不僅可以進行向量化處理、篩選、分組、計算，還能夠整合成DataFrame，將採集的數據整合成一張表，呈現最終的存儲效果。
寫入資料庫
如果只是中小規模的爬蟲，可以把最後的爬蟲結果匯合成一張表，最後導出成一張表格以便後續使用；但對於表數量多、單張表容量大的大規模爬蟲，再導出成一堆零散的表就不合適了，肯定還是要放在資料庫中，既方便存儲，也方便進一步整理。
寫入資料庫有兩種方法，一種是通過Pandas的DataFrame自帶的to_sql方法，好處是自動建表，對於對表結構沒有嚴格要求的情況下可以採用這種方式，不過值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否則報錯，雖然這個認為不太合理；另一種是利用資料庫引擎來執行SQL語句，這種情況下要先自己建表，雖然多了一步，但是表結構完全是自己控制之下。Pandas與SQL都可以用來建表、整理數據，結合起來使用效率更高。
9. 如何利用Python爬蟲從網頁上批量獲取想要的信息
稍微說一下背景，當時我想研究蛋白質與小分子的復合物在空間三維結構上的一些規律，首先得有數據啊，數據從哪裡來？就是從一個涵蓋所有已經解析三維結構的蛋白質-小分子復合物的資料庫裡面下載。這時候，手動一個個去下顯然是不可取的，我們需要寫個腳本，能從特定的網站選擇性得批量下載需要的信息。python是不錯的選擇。
import urllib #python中用於獲取網站的模塊
import urllib2, cookielib
有些網站訪問時需要cookie的，python處理cookie代碼如下：
cj = cookielib.CookieJar ( )
opener = urllib2.build_opener( urllib2.HttpCookieProcessor(cj) )
urllib2.install_opener （opener）
通常我們需要在網站中搜索得到我們需要的信息，這里分為二種情況：
1. 第一種，直接改變網址就可以得到你想要搜索的頁面：
def GetWebPage( x ): #我們定義一個獲取頁面的函數，x 是用於呈遞你在頁面中搜索的內容的參數
url = 'http://xxxxx/xxx.cgi?&' + 『你想要搜索的參數』 # 結合自己頁面情況適當修改
page = urllib2.urlopen(url)
pageContent = page.read( )
return pageContent #返回的是HTML格式的頁面信息
2.第二種，你需要用到post方法，將你搜索的內容放在postdata裡面，然後返回你需要的頁面
def GetWebPage( x ): #我們定義一個獲取頁面的函數，x 是用於呈遞你在頁面中搜索的內容的參數
url = 'http://xxxxx/xxx' #這個網址是你進入搜索界面的網址
postData = urllib.urlencode( { 各種『post』參數輸入 } ) #這裡面的post參數輸入需要自己去查
req= urllib2.Request (url, postData)
pageContent = urllib2.urlopen (req). read( )
return pageContent #返回的是HTML格式的頁面信息
在獲取了我們需要的網頁信息之後，我們需要從獲得的網頁中進一步獲取我們需要的信息，這里我推薦使用 BeautifulSoup 這個模塊， python自帶的沒有，可以自行網路谷歌下載安裝。 BeautifulSoup 翻譯就是『美味的湯』，你需要做的是從一鍋湯裡面找到你喜歡吃的東西。
import re # 正則表達式，用於匹配字元
from bs4 import BeautifulSoup # 導入BeautifulSoup 模塊
soup = BeautifulSoup（pageContent） #pageContent就是上面我們搜索得到的頁面
soup就是 HTML 中所有的標簽（tag）BeautifulSoup處理格式化後的字元串，一個標準的tag形式為：
hwkobe24
通過一些過濾方法，我們可以從soup中獲取我們需要的信息：
（1） find_all ( name , attrs , recursive , text , **kwargs)
這裡面，我們通過添加對標簽的約束來獲取需要的標簽列表， 比如 soup.find_all ('p') 就是尋找名字為『p』的 標簽，而soup.find_all (class = "tittle") 就是找到所有class屬性為"tittle" 的標簽，以及soup.find_all ( class = re.compile('lass')) 表示 class屬性中包含『lass』的所有標簽，這里用到了正則表達式（可以自己學習一下，非常有用滴）
當我們獲取了所有想要標簽的列表之後，遍歷這個列表，再獲取標簽中你需要的內容，通常我們需要標簽中的文字部分，也就是網頁中顯示出來的文字，代碼如下：
tagList = soup.find_all (class="tittle") #如果標簽比較復雜，可以用多個過濾條件使過濾更加嚴格
for tag in tagList:
print tag.text
f.write ( str(tag.text) ) #將這些信息寫入本地文件中以後使用
（2）find( name , attrs , recursive , text , **kwargs )
它與 find_all( ) 方法唯一的區別是 find_all() 方法的返回結果是值包含一個元素的列表,而 find() 方法直接返回結果
（3）find_parents( ) find_parent( )
find_all() 和 find() 只搜索當前節點的所有子節點,孫子節點等. find_parents() 和 find_parent() 用來搜索當前節點的父輩節點,搜索方法與普通tag的搜索方法相同,搜索文檔搜索文檔包含的內容
（4）find_next_siblings() find_next_sibling()
這2個方法通過 .next_siblings 屬性對當 tag 的所有後面解析的兄弟 tag 節點進代, find_next_siblings() 方法返回所有符合條件的後面的兄弟節點,find_next_sibling() 只返回符合條件的後面的第一個tag節點
（5）find_previous_siblings() find_previous_sibling()
這2個方法通過 .previous_siblings 屬性對當前 tag 的前面解析的兄弟 tag 節點進行迭代, find_previous_siblings()方法返回所有符合條件的前面的兄弟節點, find_previous_sibling() 方法返回第一個符合條件的前面的兄弟節點
（6）find_all_next() find_next()
這2個方法通過 .next_elements 屬性對當前 tag 的之後的 tag 和字元串進行迭代, find_all_next() 方法返回所有符合條件的節點, find_next() 方法返回第一個符合條件的節點
（7）find_all_previous() 和 find_previous()
這2個方法通過 .previous_elements 屬性對當前節點前面的 tag 和字元串進行迭代, find_all_previous() 方法返回所有符合條件的節點, find_previous()方法返回第一個符合條件的節點
具體的使用方法還有很多，用到這里你應該可以解決大部分問題了，如果要更深入了解可以參考官方的使用說明哈！
10. 如何用Python爬取搜索引擎的結果
我選取的是爬取網路知道的html 作為我的搜索源數據，目前先打算做網頁標題的搜索，選用了 Python 的 scrapy 庫來對網頁進行爬取，爬取網頁的標題，url，以及html，用sqlist3來對爬取的數據源進行管理。
爬取的過程是一個深度優先的過程，設定四個起始 url ，然後維護一個資料庫，資料庫中有兩個表，一個 infoLib，其中存儲了爬取的主要信息：標題，url ，html；另一個表為urlLib，存儲已經爬取的url，是一個輔助表，在我們爬取每個網頁前，需要先判斷該網頁是否已爬過（是否存在urlLib中）。在數據存儲的過程中，使用了SQL的少量語法，由於我之前學過 MySQL ，這塊處理起來比較駕輕就熟。
深度優先的網頁爬取方案是：給定初始 url，爬取這個網頁中所有 url，繼續對網頁中的 url 遞歸爬取。代碼逐段解析在下面，方便自己以後回顧。
1.建一個 scrapy 工程：
關於建工程，可以參看這個scrapy入門教程，通過運行:
[python] view plain
scrapy startproject ***
在當前目錄下建一個scrapy 的項目，然後在 spiders 的子目錄下建立一個 .py文件，該文件即是爬蟲的主要文件，注意：其中該文件的名字不能與該工程的名字相同，否則，之後調用跑這個爬蟲的時候將會出現錯誤，見ImportError。
2.具體寫.py文件：
[python] view plain
import scrapy
from scrapy import Request
import sqlite3
class rsSpider(scrapy.spiders.Spider): #該類繼承自 scrapy 中的 spider
name = "" #將該爬蟲命名為 「知道」，在執行爬蟲時對應指令將為： scrapy crawl
#download_delay = 1 #只是用於控制爬蟲速度的，1s/次，可以用來對付反爬蟲
allowed_domains = ["..com"] #允許爬取的作用域
url_first = 'http://..com/question/' #用於之後解析域名用的短字元串
start_urls = ["http://..com/question/647795152324593805.html", #python
"http://..com/question/23976256.html", #database
"http://..com/question/336615223.html", #C++
"http://..com/question/251232779.html", #operator system
"http://..com/question/137965104.html" #Unix programing
] #定義初始的 url ，有五類知道起始網頁
#add database
connDataBase = sqlite3.connect(".db") #連接到資料庫「.db」
cDataBase = connDataBase.cursor() #設置定位指針
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS infoLib
(id INTEGER PRIMARY KEY AUTOINCREMENT,name text,url text,html text)''')
#通過定位指針操作資料庫，若.db中 infoLib表不存在，則建立該表，其中主鍵是自增的 id（用於引擎的docId）,下一列是文章的標題，然後是url，最後是html
#url dataBase
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS urlLib
(url text PRIMARY KEY)''')
#通過定位指針操作資料庫，若.db中urlLib表不存在，則建立該表，其中只存了 url，保存已經爬過的url，之所以再建一個表，是猜測表的主鍵應該使用哈希表存儲的，查詢速度較快，此處其實也可以用一個外鍵將兩個表關聯起來
2. .py文件中的parse函數：
.py文件中的parse函數將具體處理url返回的 response，進行解析，具體代碼中說明：
[python] view plain
def parse(self,response):
pageName = response.xpath('//title/text()').extract()[0] #解析爬取網頁中的名稱
pageUrl = response.xpath("//head/link").re('href="(.*?)"')[0] #解析爬取網頁的 url，並不是直接使用函數獲取，那樣會夾雜亂碼
pageHtml = response.xpath("//html").extract()[0] #獲取網頁html
# judge whether pageUrl in cUrl
if pageUrl in self.start_urls:
#若當前url 是 start_url 中以一員。進行該判斷的原因是，我們對重復的 start_url 中的網址將仍然進行爬取，而對非 start_url 中的曾經爬過的網頁將不再爬取
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(pageUrl,))
lines = self.cDataBase.fetchall()
if len(lines): #若當前Url已經爬過
pass #則不再在資料庫中添加信息，只是由其為跟繼續往下爬
else: #否則，將信息爬入資料庫
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))
else: #此時進入的非 url 網頁一定是沒有爬取過的（因為深入start_url之後的網頁都會先進行判斷，在爬取，在下面的for循環中判斷）
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))
self.connDataBase.commit() #保存資料庫的更新
print "-----------------------------------------------" #輸出提示信息，沒啥用
for sel in response.xpath('//ul/li/a').re('href="(/question/.*?.html)'): #抓出所有該網頁的延伸網頁，進行判斷並對未爬過的網頁進行爬取
sel = "http://..com" + sel #解析出延伸網頁的url
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(sel,)) #判斷該網頁是否已在資料庫中
lines = self.cDataBase.fetchall()
if len(lines) == 0: #若不在，則對其繼續進行爬取
yield Request(url = sel, callback=self.parse)