简述scrapy运行流程?

发布于 2022-09-21 08:52:54
关注者
0
被浏览
11
1 个回答
  • 匿名网友
    匿名网友 2022-09-21
    将start–url交给spiders,再由爬虫中间件传给引擎,引擎交给调度器来分配,再返回给spiders,然后spider编写爬虫解析规则,然后再由下载中间中间价传给下载器,下载器下载完,此时有两种情况,一,有需要继续抓取的url就按原路返回继续传。二,下载完直接将item字段返回给itempipeline给到管道持久化存储。
面圈网VIP题库

面圈网VIP题库全新上线,海量真题题库资源。 90大类考试,超10万份考试真题开放下载啦

去下载看看