proxyCore.py 文件源码

python
阅读 30 收藏 0 点赞 0 评论 0

项目:ZhihuSpider 作者: KEN-LJQ 项目源码 文件源码
def run(self):
        try:
            while True:
                if proxy_pool.qsize() < PROXY_POOL_SIZE and unchecked_proxy_list.qsize() < PROXY_POOL_SIZE:
                    self.fetch_and_parse_proxy()
                elif proxy_pool.qsize() == PROXY_POOL_SIZE:
                    if log.isEnabledFor(logging.DEBUG):
                        log.debug('?????')
                    self.scan_proxy_pool()
                    time.sleep(PROXY_POOL_SCAN_INTERVAL)
                else:
                    time.sleep(60)
        except Exception as e:
            if log.isEnabledFor(logging.ERROR):
                log.exception(e)
            self.status = 'error'

    # ?????????
评论列表
文章目录


问题


面经


文章

微信
公众号

扫码关注公众号