pipelines.py 文件源码

def process_item(self, item, spider):
        if Redis.exists('ip_port:%s:%s' % (datetime.now().strftime("%Y%m%d"),item['ip_port'])) :
            raise DropItem("Duplicate item found: %s" % item)
        else:
            Redis.set('ip_port:%s:%s' % (datetime.now().strftime("%Y%m%d"),item['ip_port']),1)
            return item