middlewares.py 文件源码

python
阅读 28 收藏 0 点赞 0 评论 0

项目:multimedia_crawler 作者: JFluo2011 项目源码 文件源码
def process_spider_output(self, response, result, spider):
        for i in result:
            if isinstance(i, scrapy.Item) and (i['info'].get('player', '') == 'iqiyi'):
                key = i['url']
                if key not in self.items.keys():
                    self.items[key] = copy.deepcopy(i)
                else:
                    self.items[key]['media_urls'].append(i['media_urls'][0])
                if i['info']['count'] == len(self.items[key]['media_urls']):
                    yield self.__sort_item(key)
            else:
                yield i
评论列表
文章目录


问题


面经


文章

微信
公众号

扫码关注公众号