使用asyncio处理并发

1、asyncio是一个异步IO非阻塞框架

2、async/await是Python提供的异步编程API,而asyncio只是一个利用 async/await API进行异步编程的框架

3、并发:一次处理多件事

4、并行:一次做多件事

Read More

Scrapy框架的使用之Downloader Middleware的用法

Downloader Middleware即下载中间件,它是处于Scrapy的Request和Response之间的处理模块。我们首先来看看它的架构,如下图所示。

Scheduler从队列中拿出一个Request发送给Downloader执行下载,这个过程会经过Downloader Middleware的处理。另外,当Downloader将Request下载完成得到Response返回给Spider时会再次经过Downloader Middleware处理。

Read More