proxyCore.py 文件源码

python
阅读 24 收藏 0 点赞 0 评论 0

项目:ZhihuSpider 作者: KEN-LJQ 项目源码 文件源码
def run(self):
        try:
            while True:
                # ????????????
                while is_scanning:
                    time.sleep(3)

                if proxy_pool.qsize() < PROXY_POOL_SIZE and unchecked_proxy_list.qsize() > 0:
                    unchecked_proxy = unchecked_proxy_list.get()
                    is_available = self.dataValidateModule.validate_proxy_ip(unchecked_proxy)
                    if is_available is True:
                        proxy_pool.put(unchecked_proxy)
                        # print(unchecked_proxy)
                    time.sleep(1)
                else:
                    time.sleep(5)
        except Exception as e:
            if log.isEnabledFor(logging.ERROR):
                log.exception(e)
            self.status = 'error'


# ????????????????????
评论列表
文章目录


问题


面经


文章

微信
公众号

扫码关注公众号