① 爬虫用socks还是http
http。
HTTP是对传输数据进行加密，是协议的安全版。
它有两个主要功能，有加密数据，建立信息安全通道，确保传输过程中的数据安全和对网站服务器进行真实身份认证。
HTTP 代理被认为是更高级别的代理，是通过网络浏览器访问网页或网站的绝佳工具，可以为企业和个人采集网页数据提供很好的支持。
② 分布式爬虫需要用多台主机吗
一台主机大概可以保证30个左右的从机的URL供应，所以我们只需要一台计算机作为主机就够用了。在这里我推荐将主机和数据库分开部署，用一台单独的计算机作为Redis和MongoDB服务器（然后使用自己的计算机作为主机，其他的计算机作为从机。
有很多用户喜欢用两个屏幕，尤其是程序员、游戏玩家、视频制作者等，可以说双屏显示，游戏工作，两不误。那么电脑设置双屏显示或多屏显示有什么用？怎么设置双屏或多屏显示呢？下面小编简单介绍一下它的作用以及具体的操作方法吧！
双屏显示器有什么好处（电脑）
1、大屏幕拼接
（拼接计算机图形，拼接动态视频）投影墙;公安、军事、铁路、交通、航天、邮电、卫星发射等指挥调度系统;图形图像编辑，三维动画，多媒体设计;工业领域的过程控制;证券交易、期货、银行信息显示;CAD/CAM设计，排版编辑系统，视频图象编辑。
2、文件编辑：
制作企划案文件资料时，同时参考搜寻相关网络资料，不会因为切换视窗而造成资料混乱。
3、绘图编辑：
使用绘图软件设计案件时，同时开启参考文案窗口，也可以延伸桌面，方便处理大型设计稿制作，与校对的窗口完全不重叠。
4、影视娱乐：
（1）收看网络电视，同时浏览其它频道的节目介绍，精彩节目不错过。
（2）玩在线游戏时，可同步对照游戏攻略的密技。
5、 办公室 ：
（1）横跨两个以上的屏幕检视大型表格（如EXCEL图表）。
（2）在延伸出的桌面空间上同时开启多个程序，不需频繁地切换使用窗。
（3）读取电子邮件并同时在其它屏幕开启附件档案。
6、程序设计：
撰写复杂的程序时，另外一个窗口同时检视程序执行结果画面，方便进行更新修改。
以上就是双屏电脑的好处了，大家现在对于双屏电脑是不是也有所了解了呢？看到小编为大家列举的都是双屏电脑的好处是不是有些心动呢？下面一起来看看如何设置吧！
一、硬件要求（以Win10系统为案例）
1、电脑主机必须具备VGA/DVI/HDMI任意两路输出的独立显卡接口（一般入门级显卡就支持），如下图所示：
2、准备VGA/DVI/HDMI任意两根线，显示输出接口对应的连接线外观图如下所示：
3、两个显示器，支持VGA/DVI/HDMI任意两种接口（否则需要VGA转换器接头）
二、双屏操作步骤
1、首先把外接显示器与电脑显卡接口通过VGA/DVI/HDMI任意两种线相连接。
2、连接成功后，进入电脑系统桌面，鼠标右击桌面空白处选择【显示设置】
3、如果连接成功就可以看到显示器有2个
4、显示界面找到【多显示器设置】下方选择【扩展这些显示器】，然后两个显示器就可以正常显示了。
5、如果线路检测没问题仍然显示不出来，那么鼠标 右击桌面选择【 NVIDIA 控制面板 】
6、找到【设置多个显示器】，然后勾选我们希望使用的显示器，这样就可以 了。
三、多屏显示方法
硬件要求：
除了支持双屏的硬件条件之外，部分电脑需要进BIOS设置查找相关选项，若无法找到，说明主板不支持，请参考下面操作。
进BIOS操作步骤:
1、开机进入BIOS，找到【Devices】-【Video Setup】选项，敲击Enter回车按键；
2、选择【Select Active Video】选项设置成【IGD】模式，并将【Multi-Monitor Support】选项设置成【Enabled】模式；
3、设置完成后，点击F10键，选择【Yes】进行保存；
4、重启进入操作系统后，在桌面空白处右键，从菜单中找到集成显卡控制台程序，进行多屏显示设置即可。
③ 用于爬虫和数据挖掘组装服务器。预算1w，这个配置怎么样
如果不做分布式抓取，普通的电脑就足够用了，你这个配置属于台式机比较高端的配置了，有点浪费资源。普通的4核8G，2T机械硬盘，足够你小规模使用了。
④ 做分布式爬虫和搜索引擎对于服务器配置有什么要求
实验室用的爬虫和搜索引擎的服务器不能低于 4核心~8核心的，内存越大越好。
因为爬虫和搜索引擎对CPU计算能力要求高，对内存的存储能力要求大。
⑤ python爬虫怎么设置HTTP代理服务器
解决的方法很简单，就是使用代理服务器。
使用代理服务器去爬取某个网站的内容的时候，在对方的网站上，显示的不是我们真实的IP地址，而是代理服务器的IP地址。并且在Python爬虫中，使用代理服务器设置起来也很简单。
⑥ “2022 年”崔庆才 Python3 爬虫教程 - 代理的使用方法
前面我们介绍了多种请求库，如 urllib、requests、Selenium、Playwright 等用法，但是没有统一梳理代理的设置方法，本节我们来针对这些库来梳理下代理的设置方法。
在本节开始之前，请先根据上一节了解一下代理的基本原理，了解了基本原理之后我们可以更好地理解和学习本节的内容。
另外我们需要先获取一个可用代理，代理就是 IP 地址和端口的组合，就是 : 这样的格式。如果代理需要访问认证，那就还需要额外的用户名密码两个信息。
那怎么获取一个可用代理呢？
使用搜索引擎搜索 “代理” 关键字，可以看到许多代理服务网站，网站上会有很多免费或付费代理，比如快代理的免费 HTTP 代理：https://www.kuaidaili.com/free/ 上面就写了很多免费代理，但是这些免费代理大多数情况下并不一定稳定，所以比较靠谱的方法是购买付费代理。付费代理的各大代理商家都有套餐，数量不用多，稳定可用即可，我们可以自行选购。
另外除了购买付费 HTTP 代理，我们也可以在本机配置一些代理软件，具体的配置方法可以参考 https://setup.scrape.center/proxy-client，软件运行之后会在本机创建 HTTP 或 SOCKS 代理服务，所以代理地址一般都是 127.0.0.1: 这样的格式，不同的软件用的端口可能不同。
这里我的本机安装了一部代理软件，它会在本地 7890 端口上创建 HTTP 代理服务，即代理为 127.0.0.1:7890。另外，该软件还会在 7891 端口上创建 SOCKS 代理服务，即代理为 127.0.0.1:7891，所以只要设置了这个代理，就可以成功将本机 IP 切换到代理软件连接的服务器的 IP 了。
在本章下面的示例里，我使用上述代理来演示其设置方法，你也可以自行替换成自己的可用代理。
设置代理后，测试的网址是 http://httpbin.org/get，访问该链接我们可以得到请求的相关信息，其中返回结果的 origin 字段就是客户端的 IP，我们可以根据它来判断代理是否设置成功，即是否成功伪装了 IP。
好，接下来我们就来看下各个请求库的代理设置方法吧。
首先我们以最基础的 urllib 为例，来看一下代理的设置方法，代码如下：
运行结果如下：
这里我们需要借助 ProxyHandler 设置代理，参数是字典类型，键名为协议类型，键值是代理。注意，此处代理前面需要加上协议，即 http:// 或者 https://，当请求的链接是 HTTP 协议的时候，会使用 http 键名对应的代理，当请求的链接是 HTTPS 协议的时候，会使用 https 键名对应的代理。不过这里我们把代理本身设置为了 HTTP 协议，即前缀统一设置为了 http://，所以不论访问 HTTP 还是 HTTPS 协议的链接，都会使用我们配置的 HTTP 协议的代理进行请求。
创建完 ProxyHandler 对象之后，我们需要利用 build_opener 方法传入该对象来创建一个 Opener，这样就相当于此 Opener 已经设置好代理了。接下来直接调用 Opener 对象的 open 方法，即可访问我们所想要的链接。
运行输出结果是一个 JSON，它有一个字段 origin，标明了客户端的 IP。验证一下，此处的 IP 确实为代理的 IP，并不是真实的 IP。这样我们就成功设置好代理，并可以隐藏真实 IP 了。
如果遇到需要认证的代理，我们可以用如下的方法设置：
这里改变的只是 proxy 变量，只需要在代理前面加入代理认证的用户名密码即可，其中 username 就是用户名，password 为密码，例如 username 为 foo，密码为 bar，那么代理就是 foo:[email protected]:7890。
如果代理是 SOCKS5 类型，那么可以用如下方式设置代理：
此处需要一个 socks 模块，可以通过如下命令安装：
这里需要本地运行一个 SOCKS5 代理，运行在 7891 端口，运行成功之后和上文 HTTP 代理输出结果是一样的：
结果的 origin 字段同样为代理的 IP，代理设置成功。
对于 requests 来说，代理设置非常简单，我们只需要传入 proxies 参数即可。
这里以我本机的代理为例，来看下 requests 的 HTTP 代理设置，代码如下：
运行结果如下：
和 urllib 一样，当请求的链接是 HTTP 协议的时候，会使用 http 键名对应的代理，当请求的链接是 HTTPS 协议的时候，会使用 https 键名对应的代理，不过这里统一使用了 HTTP 协议的代理。
运行结果中的 origin 若是代理服务器的 IP，则证明代理已经设置成功。
如果代理需要认证，那么在代理的前面加上用户名和密码即可，代理的写法就变成如下所示：
这里只需要将 username 和 password 替换即可。
如果需要使用 SOCKS 代理，则可以使用如下方式来设置：
这里我们需要额外安装一个包 requests[socks]，相关命令如下所示：
运行结果是完全相同的：
另外，还有一种设置方式，即使用 socks 模块，也需要像上文一样安装 socks 库。这种设置方法如下所示：
使用这种方法也可以设置 SOCKS 代理，运行结果完全相同。相比第一种方法，此方法是全局设置的。我们可以在不同情况下选用不同的方法。
httpx 的用法本身就与 requests 的使用非常相似，所以其也是通过 proxies 参数来设置代理的，不过与 requests 不同的是，proxies 参数的键名不能再是 http 或 https，而需要更改为 http:// 或 https://，其他的设置是一样的。
对于 HTTP 代理来说，设置方法如下：
对于需要认证的代理，也是改下 proxy 的值即可：
这里只需要将 username 和 password 替换即可。
运行结果和使用 requests 是类似的，结果如下：
对于 SOCKS 代理，我们需要安装 httpx-socks 库，安装方法如下：
这样会同时安装同步和异步两种模式的支持。
对于同步模式，设置方法如下：
对于异步模式，设置方法如下：
和同步模式不同的是，transport 对象我们用的是 AsyncProxyTransport 而不是 SyncProxyTransport，同时需要将 Client 对象更改为 AsyncClient 对象，其他的不变，运行结果是一样的。
Selenium 同样可以设置代理，这里以 Chrome 为例来介绍其设置方法。
对于无认证的代理，设置方法如下：
运行结果如下：
代理设置成功，origin 同样为代理 IP 的地址。
如果代理是认证代理，则设置方法相对比较繁琐，具体如下所示：
这里需要在本地创建一个 manifest.json 配置文件和 background.js 脚本来设置认证代理。运行代码之后，本地会生成一个 proxy_auth_plugin.zip 文件来保存当前配置。
运行结果和上例一致，origin 同样为代理 IP。
SOCKS 代理的设置也比较简单，把对应的协议修改为 socks5 即可，如无密码认证的代理设置方法为：
运行结果是一样的。
对于 aiohttp 来说，我们可以通过 proxy 参数直接设置。HTTP 代理设置如下：
如果代理有用户名和密码，像 requests 一样，把 proxy 修改为如下内容：
这里只需要将 username 和 password 替换即可。
对于 SOCKS 代理，我们需要安装一个支持库 aiohttp-socks，其安装命令如下：
我们可以借助于这个库的 ProxyConnector 来设置 SOCKS 代理，其代码如下：
运行结果是一样的。
另外，这个库还支持设置 SOCKS4、HTTP 代理以及对应的代理认证，可以参考其官方介绍。
对于 Pyppeteer 来说，由于其默认使用的是类似 Chrome 的 Chromium 浏览器，因此其设置方法和 Selenium 的 Chrome 一样，如 HTTP 无认证代理设置方法都是通过 args 来设置的，实现如下：
运行结果如下：
同样可以看到设置成功。
SOCKS 代理也一样，只需要将协议修改为 socks5 即可，代码实现如下：
运行结果也是一样的。
相对 Selenium 和 Pyppeteer 来说，Playwright 的代理设置更加方便，其预留了一个 proxy 参数，可以在启动 Playwright 的时候设置。
对于 HTTP 代理来说，可以这样设置：
在调用 launch 方法的时候，我们可以传一个 proxy 参数，是一个字典。字典有一个必填的字段叫做 server，这里我们可以直接填写 HTTP 代理的地址即可。
运行结果如下：
对于 SOCKS 代理，设置方法也是完全一样的，我们只需要把 server 字段的值换成 SOCKS 代理的地址即可：
运行结果和刚才也是完全一样的。
对于有用户名和密码的代理，Playwright 的设置也非常简单，我们只需要在 proxy 参数额外设置 username 和 password 字段即可，假如用户名和密码分别是 foo 和 bar，则设置方法如下：
这样我们就能非常方便地为 Playwright 实现认证代理的设置。
以上我们就总结了各个请求库的代理使用方式，各种库的设置方法大同小异，学会了这些方法之后，以后如果遇到封 IP 的问题，我们可以轻松通过加代理的方式来解决。
本节代码：https://github.com/Python3WebSpider/ProxyTest
⑦ 爬虫对笔记本的要求
现如今在许多Linux和UNIX的版本中默认已经自带了Python的安装版本。比如如果你的笔记本上装了Ubuntu操作系统的话，打开终端直接输入python,那么恭喜你，你可以直接使用Python了。如今，某些Windows预装的台式机（比如某些HP服务器）也都预装了Python. 因此Python安装时所需资源非常低。如果笔记本上是Windows/Mac, 直接去Python的官网下载所需版本，直接安装也就好了。现在的笔记本配置运行Python程序都绰绰有余的。即使是早期的电脑配置如奔腾处理器时代，256 m 内存或者512内存即可，20g以上硬盘， 跑起Python都不费力。
希望以上得回答能够帮助你。
⑧ python中，进行爬虫抓取怎么样能够使用代理IP
在python中用爬虫再用到代理服务器，有两个办法，①直接在布署该python爬虫的电脑上设置代理服务器，这样从该电脑上出站的信息就只能由代理服务器处理了，爬虫的也不例外，可以搜"windows设置代理服务器"、"Linux设置代理服务器"。通常是”设置->网络->连接->代理“。
②若想让python单独使用这个代理服务器，可以搜一下"python proxy config"，"python配置代理服务器"，有一些库支持简单的BM代理服务器连接。
⑨ 做爬虫用的服务器或者VPS用什么好
用芝麻VPS吧，不用自己搭建ip代理池，自动切换ip，超大空间可以搭建存储模块。独立空间，不占用服务器，所以如果刚起步做爬虫的话，而且并没有较为空旷的空间和宽裕的资金，这个还是不错的。