Python

粗鲁和代理

发布于 2021-01-29 19:33:24

如何通过python Web抓取框架Scrapy利用代理支持？

关注者

被浏览

1 个回答

面试哥 2021-01-29

为面试而生，有面试问题，就找面试哥。
从Scrapy常见问题解答中，

Scrapy是否可以与HTTP代理一起使用？

是。（自Scrapy
0.8起）通过HTTP代理下载器中间件提供对HTTP代理的支持。请参阅HttpProxyMiddleware。

使用代理的最简单方法是设置环境变量http_proxy。如何完成此操作取决于您的外壳。
```
C：\>设置http_proxy = http：// proxy：port
csh％setenv http_proxy http：// proxy：port
sh $导出http_proxy = http：// proxy：port
```
如果您想使用https代理并访问https web，要设置环境变量，http_proxy请遵循以下步骤，
```
C：\>设置https_proxy = https：// proxy：port
csh％setenv https_proxy https：//代理：端口
sh $导出https_proxy = https：// proxy：port
```

知识点

面圈网VIP题库全新上线，海量真题题库资源。 90大类考试，超10万份考试真题开放下载啦