Ⅰ webmagic 怎麼模擬登陸
webmagic模擬登錄方案：方案一：模擬瀏覽器登錄，用代碼模擬表單填寫，然後獲取登陸後的信息，用apache的「HttpClients」進行信息保存。不需要考慮cookie失效問題。
方案二：直接拿去cookie信息，進行設置。可能會用時間限制，超過一定時間就不能再使用了，需要重新設置。
方案一實現：
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
<code>import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;
import org.apache.http.HttpResponse;
import org.apache.http.NameValuePair;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.methods.HttpUriRequest;
import org.apache.http.message.BasicNameValuePair;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import com.wgyscsf.utils.HttpUtils;
public class SimulateLoginPolicy1 {
static boolean result = false;
public static void main(String[] args) {
loginCsdnPager();
try {
loginedPager();
} catch (ClientProtocolException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
private static void loginedPager() throws IOException,
ClientProtocolException {
HttpUriRequest httpUriRequest = new HttpPost(
"http://blog.csdn.net/wgyscsf");
httpUriRequest
.setHeader("Accept",
"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
httpUriRequest.setHeader("Accept-Encoding", "gzip,deflate,sdch");
httpUriRequest.setHeader("Accept-Language", "zh-CN,zh;q=0.8");
httpUriRequest.setHeader("Connection", "keep-alive");
// 模擬瀏覽器，否則CSDN伺服器限制訪問
httpUriRequest
.setHeader(
"User-Agent",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36");
HttpResponse response = HttpUtils.httpClient.execute(httpUriRequest);
InputStream content = response.getEntity().getContent();
BufferedReader br = new BufferedReader(new InputStreamReader(content));
String line = "";
String result = "";
while ((line = br.readLine()) != null) {
result += line;
}
br.close();
System.out.println(result);
}
/**
* 登錄頁面
*/
private static void loginCsdnPager() {
String html = HttpUtils
.sendGet("https://passport.csdn.net/account/login?ref=toolbar");// 這個是登錄的頁面
Document doc = Jsoup.parse(html);
// 獲取表單所在的節點
Element form = doc.select(".user-pass").get(0);
String lt = form.select("input[name=lt]").get(0).val();
String execution = form.select("input[name=execution]").get(0).val();
String _eventId = form.select("input[name=_eventId]").get(0).val();
List<namevaluepair> nvps = new ArrayList<namevaluepair>();
nvps.add(new BasicNameValuePair("username", "[email protected]"));
nvps.add(new BasicNameValuePair("password", "wanggaoyuan"));
nvps.add(new BasicNameValuePair("lt", lt));
nvps.add(new BasicNameValuePair("execution", execution));
nvps.add(new BasicNameValuePair("_eventId", _eventId));
String ret = HttpUtils.sendPost(
"https://passport.csdn.net/account/login?ref=toolbar", nvps);
if (ret.indexOf("redirect_back") > -1) {
System.out.println("登陸成功");
result = true;
} else if (ret.indexOf("登錄太頻繁") > -1) {
System.out.println("登錄太頻繁，請稍後再試。。。。。");
return;
} else {
System.out.println("登陸失敗。");
return;
}
}
}</namevaluepair></namevaluepair></code>
方案二：使用瀏覽器的開發者工具將cookie手動加進去
Ⅱ 怎麼實現webBrowser自動刷新網頁
webbrowser,自動刷新網頁，需要模擬瀏覽器的F5操作。具體研發軟體來實現的話要做成網頁自動刷新的軟體。well.你可以看下mutou soft的相關信息。
Ⅲ 關於VB WebBrowser 模擬瀏覽器
1.安裝個360 軟體管理 裡面有各種默認設置 到瀏覽器選項裡面設置你的默認瀏覽器就成了2.HKEY_CLASSES_ROOT\http\shell\open\command 這是處罰http協議時，修改默認項全路徑 1%
HKEY_CLASSES_ROOT\http\shell\open\ddeexec\Application 這個是程序名吧，我沒試過，應該是不帶「.exe」的程序文件名
Ⅳ 求大神指導：python模擬web瀏覽器讀取動態網頁的問題
這個只有自己一步步模擬請求過程，比較麻煩。還有就是綁定瀏覽器來爬取好資源慢，
或者自己修改瀏覽器引擎實現支持js的-------這個就太麻煩太難了
Ⅳ 關於移動web谷歌瀏覽器手機模擬像素與真實手機像素的差異
這個可能和網站有關，如果網站的字體設置成了按百分比顯示的話，顯示器越寬，字體就越大。你可以用瀏覽器的，放大縮小功能，把字體變小。
Ⅵ 如何模擬手機瀏覽器
一、Chrome*瀏覽器
chrome模擬手機總共有四種方法，原理都一樣，通過偽裝User-Agent，將瀏覽器模擬成Android設備。以下標星的為推薦方法。
1.新建Chrome快捷方式
右擊桌面上的Chrome瀏覽器圖標，在彈出的右鍵菜單中選擇「復制」，復制一個圖標副本到桌面。右擊該副本，選擇「屬性」，打開相應的對話框，在「目標」文本框的字元後面添加以下語句：「–user-agent=」Android」」，如下圖：
注意user前面是兩個「-」，並且「chrome.exe」與「–user」之間有一個空格。確定之後，打開這個新建的Chrome快捷方式，輸入3g.qq.com就可以瀏覽到像手機里打開一樣的頁面了。
這時可以新建一個用戶，就不影響原來用戶訪問的時候也是訪問的手機版。
2.一次性模擬iPhone和安卓手機
開始–運行中輸入以下命令，啟動瀏覽器：
模擬谷歌Android：
chrome.exe --user-agent="Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"
模擬蘋果iPhone：
chrome.exe --user-agent="Mozilla/5.0 (iPad; U; CPU OS 3_2_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B500 Safari/531.21.10"
這種方法僅供特殊情況下使用，因為重啟Chrome將不能恢復正常User-Agent，所以是一次性。
更多的user-agent請自行搜索。
3.安裝插件
插件可以很方便切換各種user-agent，很方便，但是可能會稍微影像性能。
User-Agent Selector地址：https://chrome.google.com/webstore/detail/user-agent-selector//related
從上圖可以看到，還有很多類似的插件，其實功能都大同小異。
4：自帶模擬器*
打開chrome開發者工具，按F12（r32版本），然後找到右上角的齒輪按鈕，打開設置面板，選擇Overrides，勾上Show 『Emulation』 view in console drawer（在控制台視圖中顯示「模擬」）。
然後關閉設置面板，選擇Elements面板（非Console就可以），找到右上角打開控制檯面板，選擇控制檯面板里的Emulation面板，右邊有很多選項，選擇一個點擊Emulate就可以了，Reset按鈕能恢復到默認狀態。
打開模擬後，打開http://xw.qq.com，即可看到如下的手機下的界面
這種方法簡單好用，而且不需要重啟，推薦這種方法。
注意：以上第一種和第二種方法都需要將全部打開的chrome窗口關閉，再打開才能起作用。
二、Firefox*瀏覽器
1.修改user-agent
和chrome一樣安裝插件修改user-agent的方法，搜索wmlbrowser、XHTML Mobile Profile以及User Agent Switcher三個插件
2.火狐響應式設計+修改user-agent*
最近的火狐自己添加響應式設計功能和3D試圖都很棒，打開火狐自己的控制台（非firebug），找到右上角的響應式設計按鈕。
打開後即切換到響應式設計界面
但我們看到打開QQ的站點並未被自動引到QQ的移動頁面，這樣只對響應式設計的界面起作用，對想QQ這樣雲端判斷，返回不同頁面的並不適應，這里就要配合上面的方法，再改下user-agent，即可實現類似chrome的調試功能。
3.Firefox OS 模擬器
安裝的方法 參考這里：https://developer.mozilla.org/zh-CN/docs/Tools-840092-p/Firefox_OS_%E6%A8%A1%E6%8B%9F%E5%99%A8#Installing
安裝完成後可打開如下界面，可用裡面的瀏覽器打開網站即可，但這種方法打開的是電腦網站，而不是手機網站，也就是他的user-agent不是手機的，故對響應式界面起作用，對判斷user-agent的網站不起作用，訪問qq，等返回的都是電腦界面。
三、Opera*瀏覽1.修改user-agent
和chrome和firefox類似，可自行安裝插件，自opera12之後，opera改用webkit內核，故可安裝chrome的插件，也可自行在opera的商店中搜索插件
User Agent Changer下載： https://addons.opera.com/zh-cn/extensions/details/user-agent-changer/?display=en
2.Opera Mobile Emulator + dragonfly*
下載適合自己的版本，安裝完畢會開如下界面：
左側選擇平台，右側選擇參數，選擇完畢點擊啟動，如下的幾面，用過手機opera的朋友會很熟悉，就是手機opera
關於opera mobile emulator的更詳細介紹參看文章末尾參考資料的相關內容。
但此時，還是只能看而已，不能調試模擬器里的網站，這里需要dragonfly配合以實現調試，由於opera12後換了內核，不能安裝dragonfly了，所有你需要一款opera12的瀏覽器，和dragonfly的離線包，配置好後具體如何連接請參看這里http://www.opera.com/dragonfly/documentation/remote/
全部設置好後即可實現在電腦上調試手機網頁，如下圖所示：
opera mobile emulator下載地址：http://www.opera.com/zh-cn/developer/mobile-emulator
四、模擬器*
1.官方模擬器*
做安卓開發的肯定都知道安卓模擬器，這是谷歌官方的提供的開發環境，能模擬安卓環境，還可切換各個版本，可下載配置好的環境，然後打開eclipes，直接打開AVDM，穿件一個AVD，然後start，如下圖：
要等一大會時間，會打開模擬器，和安卓環境一樣，打開裡面的瀏覽器測試即可。但我的瀏覽器打不開不知道為什麼，郁悶的很啊。
下載地址：http://developer.android.com/sdk/index.html
2.bluestacks
這也是一款模擬器，可自行搜索，本人安裝後電腦就卡死了，可能我的電腦配置不行吧，看介紹還是不錯的。
五、在線測試
在線只能測試界面的視覺效果，不能調試，但也是很不錯的。
1.Mobile Emulator*
非常不錯，速度也很快，界面很簡潔，支持多種平台。
http://emulator.mobilewebsitesubmit.com/
2.opera mini simulator
需要java環境支持，單一平台，opera出品，速度很快。
http://www.opera.com/zh-cn/developer/opera-mini-simulator
3.webpage mobile
說實話弄了半天也沒弄出來，大大的鄙視下吧，但是能測試的平台很全面。
http://www.webpagetest.org/mobile
六、總結
以上列出了多種方法，各有利弊，希望大家選擇適合自己的方法，本人推薦chrome自帶模擬器和opera mobile emulator + dragonfly的方法。因為這兩種方法，接近真是手機環境，又能調試css和js。
當然文中沒有提到的還有最好的方法就是你有一台手機，那就太好了，配合遠程調試，是最最理想的辦法。
Ⅶ WEB瀏覽器是什麼
網頁瀏覽器是一個軟體應用程序，使用戶能夠訪問萬維網 。
要做到這一點，網頁瀏覽器必須提供這些能力：
瀏覽器必須能夠了解數據協議所使用的網路伺服器，如html和xhtml 。
.瀏覽器必須能夠格式（或提供）輸出這些語言。
Ⅷ 關於VB WebBrowser 模擬瀏覽器
加上這個就行
Private Sub WebBrowser1_NewWindow2(ppDisp As Object, Cancel As Boolean)
Dim frmWB As Form1
Set frmWB = New Form1
frmWB.WebBrowser1.RegisterAsBrowser = True
Set ppDisp = frmWB.WebBrowser1.object
frmWB.Visible = True
End Sub