pipelines.py 文件源码

python
阅读 22 收藏 0 点赞 0 评论 0

项目:web_crawler 作者: NearXdu 项目源码 文件源码
def process_item(self, item, spider):
        if item['link'] in self.seen:
            raise DropItem('Duplicate link %s' % item['link'])
        self.seen.add(item['link'])
        line = json.dumps(dict(item), ensure_ascii=False) + '\n'
        self.file.write(line)
        return item
评论列表
文章目录


问题


面经


文章

微信
公众号

扫码关注公众号