使用 response.follow
不同于使用 scrapy Request,需要通过相对路径构造出绝对路径,response.follow
可以直接使用相对路径,因此就不需要调用 urljoin()
方法了;注意,response.follow
直接返回一个 Request 实例,可以直接通过 yield 进行返回;
很多情况下,在一个爬虫里面需要存储不同的表,那么相应的在items.py里定义不同的类定义不同的字段,在scrapy里如何实现呢?
本篇主要讲解 Item 类封装数据以及 ItemLoader 加载数据机制。