Ⅰ 如何用EXCEL power query 获取需要登录、选择“状态”的网页数据
1.Excel Power Query爬取网页数据的强大之处不仅操作简单，而且后期只需要一键刷新即可实时更新
2.中间获取数据的时候，我是根据自己的需求来勾选数据
3.由于贝贝网的特卖宝贝每天都更新，所以会造成您做案例的时候和我做案例中的宝贝会不一样，忽略就好，只要过程没错，案例中的宝贝不影响最终的数据效果
4.按照此方法，可以获取贝贝网其他类目的销售情况，以及其他同类网站的数据
Ⅱ 如何抓取带登录账户和密码的网页数据
用前嗅的ForeSpider数据采集软件可以采集登录后才能采集的数据。在ForeSpider里有一个内置浏览器，在里边打开这个网站，和在浏览器上一样输入用户名密码，登录上去后就可以了。可以设置自动登录，下次爬虫还会自动登录这个网站。
可以下载个免费版的试试，软件里有一些免费的模板，里边有一个登录的案例。帮助文档里也有登录的配置步骤。
Ⅲ python怎样爬取带验证码的网页
如果只是为了登录，你可以把验证码图片打出来，看出来验证码之后输入进交互界面，然后连同用户名密码一起post，登录，如果想大量识别验证码，就需要分析验证码的难易程度，简单一些的可以模式识别，或者神经网络，复杂的就不行了
Ⅳ 如何获取网页上所填写的用户名和密码
获取网页上所填写的用户名密码做了个范本.我刚学vc,还望大侠一点说的细):
IHTMLDocument2* pIHTMLDocument2 = (IHTMLDocument2 *)GetDocument();
HRESULT hr;
CString output = "";
CComBSTR bstrTitle;
pIHTMLDocument2->get_title( &bstrTitle ); //取得账号标题
USES_CONVERSION;
// cout << _T("开始枚举“") << OLE2CT( bstrTitle ) << _T("”的表单") << endl;
CComQIPtr< IHTMLElementCollection > spElementCollection;
hr = pIHTMLDocument2->get_forms( &spElementCollection ); //取得表单集合
if ( FAILED( hr ) )
{
MessageBox("error");
return;
}
long nFormCount=0; //取得表单数目
hr = spElementCollection->get_length( &nFormCount );
if ( FAILED( hr ) )
{
MessageBox("获取表单数目错误");
return;
}
for(long i=0; i<nFormCount; i++)
{
IDispatch *pDisp = NULL; //取得第 i 项表单
hr = spElementCollection->item( CComVariant( i ), CComVariant(), &pDisp );
if ( FAILED( hr ) ) continue;
CComQIPtr< IHTMLFormElement > spFormElement = pDisp;
pDisp->Release();
long nElemCount=0; //取得表单中 域 的数目
hr = spFormElement->get_length( &nElemCount );
if ( FAILED( hr ) ) continue;
for(long j=0; j<nElemCount; j++)
{
CComDispatchDriver spInputElement; //取得第 j 项表单域
hr = spFormElement->item( CComVariant( j ), CComVariant(), &spInputElement );
if ( FAILED( hr ) ) continue;
CComVariant vName,vVal,vType; //取得表单域的 名，值，类型
hr = spInputElement.GetPropertyByName( L"name", &vName );
if( FAILED( hr ) ) continue;
hr = spInputElement.GetPropertyByName( L"value", &vVal );
if( FAILED( hr ) ) continue;
hr = spInputElement.GetPropertyByName( L"type", &vType );
if( FAILED( hr ) ) continue;
LPCTSTR lpName = vName.bstrVal?
OLE2CT( vName.bstrVal ) : _T("NULL"); //未知域名
LPCTSTR lpVal = vVal.bstrVal?
OLE2CT( vVal.bstrVal ) : _T("NULL"); //空值，未输入
LPCTSTR lpType = vType.bstrVal?
OLE2CT( vType.bstrVal ) : _T("NULL"); //未知类型
MessageBox(lpName);
}
//想提交这个表单吗？删除下面语句的注释吧
//pForm->submit();
}
Ⅳ 如何把网页上的登录密码提取出来
以谷歌浏览器为例，保存网页密码设置如下：
1、打开谷歌浏览器，找到右上角的自定义及控制一项，点击。
2、点击自定义及控制后，在出来的菜单中找到“设置”一项，点击进入。
3、进入设置后，找到“密码”一项，点击进入。
4、进入密码后，将“提示保存密码”和“自动登录”这两项的开关开启，以后进入网站登录后就会提醒保存密码，然后再次登录时就会自动登录。
Ⅵ 如何提取IE浏览器网页用户名和密码
解决方法：1、任意打开一个网页，打开"工具"下"Internet选项":
图一
2、选择"Internet选项"下"内容",在选择"自动完成",将"自动完成功能应用于选项"都打上勾如下图进行设置，如需保存密码，将最后一项"提示我保存密码"前面也打上勾即可：
注：如果清理的COOKIES的话，原来已保存的用户名和密码，就会清空了。
Ⅶ 如何用 Python 爬取需要登录的网站
最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单，因此我决定为它写一个辅助教程。
在本教程中，我们将从我们的bitbucket账户中爬取一个项目列表。
教程中的代码可以从我的 Github 中找到。
我们将会按照以下步骤进行：
提取登录需要的详细信息
执行站点登录
爬取所需要的数据
在本教程中，我使用了以下包（可以在 requirements.txt 中找到）：
Python
requests
lxml
1
2
requests
lxml
步骤一：研究该网站
打开登录页面
进入以下页面 “bitbucket.org/account/signin”。你会看到如下图所示的页面（执行注销，以防你已经登录）
仔细研究那些我们需要提取的详细信息，以供登录之用
在这一部分，我们会创建一个字典来保存执行登录的详细信息：
1. 右击 “Username or email” 字段，选择“查看元素”。我们将使用 “name” 属性为 “username” 的输入框的值。“username”将会是 key 值，我们的用户名/电子邮箱就是对应的 value 值（在其他的网站上这些 key 值可能是 “email”，“ user_name”，“ login”，等等）。
2. 右击 “Password” 字段，选择“查看元素”。在脚本中我们需要使用 “name” 属性为 “password” 的输入框的值。“password” 将是字典的 key 值，我们输入的密码将是对应的 value 值（在其他网站key值可能是 “userpassword”，“loginpassword”，“pwd”，等等）。
3. 在源代码页面中，查找一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。“csrfmiddlewaretoken” 将是 key 值，而对应的 value 值将是这个隐藏的输入值（在其他网站上这个 value 值可能是一个名为 “csrftoken”，“ authenticationtoken” 的隐藏输入值）。列如：“”。
最后我们将会得到一个类似这样的字典：
Python
payload = {
"username": "<USER NAME>",
"password": "<PASSWORD>",
"csrfmiddlewaretoken": "<CSRF_TOKEN>"
}
1
2
3
4
5
payload = {
"username": "<USER NAME>",
"password": "<PASSWORD>",
"csrfmiddlewaretoken": "<CSRF_TOKEN>"
}
请记住，这是这个网站的一个具体案例。虽然这个登录表单很简单，但其他网站可能需要我们检查浏览器的请求日志，并找到登录步骤中应该使用的相关的 key 值和 value 值。
Ⅷ python 爬取带验证码需要登陆后的网站
这个有点繁琐，告诉你，你也可能搞不定
首先请求网页，然后用你的未登录cookies去二次请求验证码，用byte类型保存在内存中，用pillow模块展示出来，你在手动输入，主程序这边用input阻塞，等你输入完，主程序向登录接口提交账号密码和验证码，然后后面就正常爬取，这是非selenium的模拟登录，这边纠正一点，凡是登录，不管你用什么模块，都属于模拟登录，并非selenium登录方式才叫模拟登录，