話不多說，我們正式開始。在提升爬蟲的速度這方面，最基礎、最有效、最直接的操作是什么呢？沒錯，就是并發(fā)請求，如果你的爬蟲整個邏輯是順序執(zhí)行的，請求的時候永遠不會并發(fā)，那么你就會遇到像他這樣的情況：《小白寫了個壁紙的爬蟲，能跑起來，但是感覺很慢，不知道怎么回事，請大佬指點》。

上面這是我昨天刷V2的時候看到的一個帖子，樓主的代碼內容簡單概括一下就完全是順序執(zhí)行的，每下載一個圖片都需要等待當前這個圖片下載完了才能繼續(xù)下載下一個，這樣子做當然會非常慢了！這篇文章就拿他的代碼作為樣例，在原來的基礎上進行一些調整，從而讓他寫的這個爬蟲的運行速度能從龜爬變成像坐火箭一樣快！

---

首先，我們需要知道什么是并發(fā)，這里的并發(fā)指的是“并行發(fā)送請求”，意思就是一次性發(fā)出多個請求，從而達到節(jié)省時間的效果！那么并發(fā)和不并發(fā)的區(qū)別在哪呢？簡單來說就是這樣子的：

把爬蟲比喻成工人，在不并發(fā)的情況下，一個工人一次只能做一件事情，所以必須要下載完一個圖片才能繼續(xù)下載下一個。

而在并發(fā)的情況下，就有很多個工人一起在干活，每個工人都被分配了一件事情做，所以可以同時下載多個圖片，速度自然就快了很多。

當然，上面說的這個例子只是從一個宏觀的角度上來看并發(fā)，實際在做的時候要讓你的爬蟲能并發(fā)請求的方式是分為多線程、多進程、協(xié)程三種的，并不是每一種方式在運行時的效果都像上面說的這樣，這里先不做深入探討，因為這不是本文的重點。我們現(xiàn)在只需要知道，只要能讓爬蟲并發(fā)請求，就能同時下載多個圖片，讓速度快得飛起，這樣就夠了。

---

那么我們要用上面說的三種方式里的哪一種來實現(xiàn)并發(fā)請求呢？這還用問嗎？當然是選擇代碼最簡單、改動最小，并且最容易看懂的協(xié)程啊！在Python3.4之后Python就引入了一個叫做asyncio的庫，原生支持了異步IO，而在3.5之后Python又支持了async和await這兩個語法，使得寫異步代碼可以像寫同步代碼一樣簡單易讀。

剛剛又提到了兩個詞，同步和異步，這兩個詞的含義其實就跟上面的并發(fā)差不多，同步代碼就是順序執(zhí)行的，而異步則不是，這里同樣不做深入探討，先知道有這么個東西就行了。

看到這里肯定會有人開始有疑問了，雖然前面說我們要用協(xié)程來實現(xiàn)并發(fā)請求，但是后面說的卻是什么Python支持原生異步，那么這個異步跟協(xié)程的關系又是什么呢？

其實很簡單，協(xié)程可以讓你寫異步代碼的時候能像寫同步代碼一樣簡單，在Python3中寫協(xié)程代碼的核心語法就是async和await這兩個，舉個簡單的例子吧：

1def func():
2    print(1)
3    time.sleep(10)
4    print(2)

這是一段普通的函數(shù)，它屬于同步代碼，里面的time.sleep是普通函數(shù)，也屬于同步代碼。

1async def func():  # 調用協(xié)程函數(shù)的那個函數(shù)也需要是一個協(xié)程函數(shù)
2    print(1)
3    await asyncio.sleep(10)  # 調用協(xié)程函數(shù)的時候要在前面加await
4    print(2)

而這是一個協(xié)程函數(shù)，它屬于異步代碼，里面的asyncio.sleep是協(xié)程函數(shù)，也屬于異步代碼。

它們的區(qū)別顯而易見，用協(xié)程來寫異步代碼，除了需要換成異步的庫以外，就只是多了個async、await而已，是不是非常簡單？

---

那么我們在了解了怎么寫協(xié)程代碼之后，就能開始優(yōu)化那段慢成龜速的代碼了嗎？答案是否定的，那段代碼中使用了requests庫進行網(wǎng)絡請求，而requests是一個同步庫，不能在異步環(huán)境下使用；同樣，文件操作用的open和file.write也是同步的，也不能在異步環(huán)境下使用。

所以在開始之前我們還需要了解兩個庫，分別是aiohttp和aiofiles，aiohttp是一個異步網(wǎng)絡請求庫，而aiofiles是一個異步文件操作庫。（aiofiles是基于線程池實現(xiàn)的，并不是真正的原生異步，但問題不大，不影響使用）

切記，異步代碼不能與同步代碼混用，否則如果同步代碼耗時過長，異步代碼就會被阻塞，失去異步的效果。而網(wǎng)絡請求和文件操作是整個流程中最耗時的部分，所以我們必須使用異步的庫來進行操作！否則就白搞了！

好了，先來看看aiohttp的用法吧，官方文檔上的示例大致如下：

1async with aiohttp.ClientSession() as session:
2    async with session.get(url) as resp:
3        result = await resp.text()

是不是覺得很麻煩，不像requests庫那么方便？還覺得兩層async with很丑？有沒有辦法讓它像requests庫一樣方便呢？

答案是有的，有一個叫作aiohttp-requests的庫，它能讓上面的這段代碼變成這樣：

1resp = await requests.get(url)
2result = await resp.text()

清爽多了對吧？我們等下就用它了！記得裝這個庫的前提是要先裝aiohttp哦！

然后我們來看看aiofiles的用法，官方文檔上的示例如下：

1async with aiofiles.open('filename', mode='r') as f:
2    contents = await f.read()
3print(contents)

嗯，這個用起來就和用同步代碼操作文件差不多了，沒啥可挑剔的，直接用就完事了。

提示：aiohttp-requests默認是創(chuàng)建并使用了session的，對于一些需要不保留Cookie進行請求的場景需要自己實例化一個Requests類，并指定cookie_jar為aiohttp.DummyCookieJar。

---

了解完了要用的庫之后我們就可以開始對貼子中的代碼進行魔改了，如果你用的不是Python3.5以上版本的話需要先準備一下環(huán)境。除了版本號大于等于3.5的Python以外，你還需要安裝以下幾個庫：

• aiohttp（異步網(wǎng)絡請求庫）

• aiohttp-requests（讓aiohttp用起來更方便的庫）

• aiofiles（異步文件操作庫）

• pillow（其實就是PIL庫，代碼中的圖片操作有用到）

執(zhí)行一下pip install aiohttp aiohttp-requests aiofiles pillow一次性裝完，如果存在多個不同版本的Python環(huán)境記得區(qū)分好。

---

然后我們打開編輯器，開始改代碼，首先調整一下導包的部分，將里面的requests替換成aiohttp-requests，像這樣：

然后搜索一下requests，看看哪些地方用到了它。

接著把所有搜到的部分都給改成異步請求的。

同時不要忘了將所有調用過requests.get的函數(shù)都變成協(xié)程函數(shù)。

然后我們把文件操作的部分也換成異步的，使用aiofiles.open代替open。

最主要的部分都換好了，接著我們將原先在if __name__ == '__main__':下的代碼移到一個新寫的協(xié)程函數(shù)run中，并且將調用前面協(xié)程函數(shù)的部分都加上await。

再導入一下asyncio庫，然后在if __name__ == '__main__':下寫出這樣的代碼：

上面這個是Python3.7之后才能用的寫法，低于Python3.7要這樣寫：

現(xiàn)在我們就可以運行一下看看修改后的代碼能不能跑通了。

這里報了個錯，從錯誤堆棧中可以看出問題是出在response = await requests.get(url=url, headers=headers)這里的，原因是self.session._request方法沒有key為url的參數(shù)。這個問題很好解決，只需要將url=url變成url就好了（本來也就沒必要這么指定參數(shù)寫）。將代碼中所有用到requests.get并且存在url=url這種寫法的都做一下調整：

調整完之后再運行一次就正常了，效果和原先的代碼相同。

注意！僅僅是這樣并不會讓速度發(fā)生很大的變化！我們最后還需要將這一堆代碼中最耗時且是順序執(zhí)行、沒有并發(fā)請求的部分單獨放到一個協(xié)程函數(shù)中，并且用asyncio.gather來并發(fā)調用（由于原本的邏輯較為混亂，這里除了并發(fā)請求以外還進行了一些其他的微調，主要是計數(shù)和文件路徑的部分，無關緊要）。

運行一下看看效果，剛運行起來一瞬間就刷了一排的下載完成，跟修改之前比起來簡直是天差地別。

這就是并發(fā)請求的威力！我們僅僅是對他原本的代碼進行了一些微調，把最耗時的下載圖片部分簡單粗暴地使用asyncio.gather并發(fā)執(zhí)行了一下，速度就從龜爬變成了像坐火箭一樣快！（其實代碼中還有很多可以優(yōu)化的點，這里就不一一拿出來講了）

---

最后給大家提個醒：

雖然并發(fā)請求非常牛逼，可以讓你的爬蟲變得飛快，但它也不是不存在任何問題的！

如果你的并發(fā)請求數(shù)量過大（又稱并發(fā)數(shù)過高），你的爬蟲就相當于是在對他人的服務器進行Dos攻擊（拒絕服務攻擊）了！

舉個例子，你在爬一個小網(wǎng)站的時候為了自己爬的速度更快，對并發(fā)請求的數(shù)量毫無限制，使得你的爬蟲一次性發(fā)出了幾百、上千個請求，但一般的小網(wǎng)站根本扛不住這么高的并發(fā)！幾乎會在一瞬間就被你的爬蟲給打爆掉！試想一下，如果你是站長，看到這樣的情形你會怎么想？

如果你不能理解這個例子所產(chǎn)生的效果是什么樣的，可以自己搭建一個Web服務，只放一個簡單的頁面，然后開個幾百并發(fā)去請求這個頁面，這樣你就能切身地體會到別人是什么感受了。

所以記住，一定要合理控制并發(fā)請求的數(shù)量，不要對對方網(wǎng)站造成過大的壓力！你給別人留活路，別人才會給你留活路！

最后再留個小作業(yè)吧，如何對這個修改后的代碼增加一道并發(fā)數(shù)的限制？在留言區(qū)給出你的答案。（提示：可通過搜索引擎查找【aiohttp并發(fā)連接數(shù)限制】和【python 列表切割】相關的內容）

END

往期文章回顧

當你寫爬蟲遇到APP的請求有加密參數(shù)時該怎么辦？【初級篇-秒殺模式】

一只爬蟲的旅途

有多少個人在看？