沙哑的允许所有领域

Question

我看到这篇文章使抓取抓取任何网站不受域限制。

有没有更好的方法，例如在允许的domains变量中使用正则表达式，例如-

allowed_domains = ["*"]

我希望除了破解Scrapy框架之外，还有其他方法可以做到这一点。

Answer 1

完全不要设置allowed_domains。

查看此scrapy文件中的get_host_regex（）函数：

https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py