微信采集系統(tǒng)項目文檔

• • 環(huán)境配置
  • • • 1. mitmproxy安裝:
      • 2. windows本地代理：
      • 3. 數(shù)據(jù)庫
      • 4. 本地模塊
  • 準備工作
  • 啟動測試
  • 目錄結構

---

采集目標： 微信公眾號文章的閱讀數(shù)、在看數(shù)、評論數(shù)、評論列表，還有微信公眾號的賬號基本信息。

采集難點： 采集以上數(shù)據(jù)需要客戶端的一些參數(shù)，比如 x-wechat-key 、 __biz 、appmsg_token 、pass_ticket等。

采集方式： 通過Windows客戶端+mitmproxy的方式獲取加密參數(shù)

采集流程：

備注： 一個微信號每天只能獲取5000-8000篇文章的閱讀/點贊/評論等數(shù)據(jù)

github: https://github.com/lixi5338619/weixin-spider

---

環(huán)境配置

1. mitmproxy安裝:

在python3下直接使用pip進行安裝，如果下載緩慢需要換源下載。

pip install mitmproxy==4.0.4 --use-feature=2020-resolver

安裝完成之后，在cmd命令行中輸入 mitmdump ,默認是8080端口。

mitmdump

啟動成功后，下載mitm證書：訪問 http://mitm.it/
點擊windows，下載安裝。

如果網(wǎng)頁顯示 If you can see this, traffic is not passing through mitmproxy。
按照第二步設置windows本地代理后再次安裝。

2. windows本地代理：

windows10本地： 設置 ==> 網(wǎng)絡 ==> 代理 ==> 手動設置代理 中打開使用代理并將IP地址修改為127.0.0.1 端口修改為默認8080或修改后的端口。 (記得點擊保存)

3. 數(shù)據(jù)庫

mysql： 下載完成之后啟動服務，修改項目settings配置文件，創(chuàng)建數(shù)據(jù)庫weixin_spider，字符集utf8mb4。

create database weixin_spider  DEFAULT CHARACTER SET utf8mb4;

redis： 下載安裝后啟動服務，修改項目settings配置文件，以及addons.py文件。

4. 本地模塊

參照 requirements文件安裝 python庫，如有遺漏，根據(jù)提示自行安裝

---

準備工作

首先確定使用環(huán)境安裝完畢，然后請確保端口（5000、8080）不沖突。

1、確定mysql 、redis服務開啟狀態(tài)，并可正常連接

2、運行 webapp\models.py 文件創(chuàng)建數(shù)據(jù)庫表，查看表結構是否生成正確

3、登錄微信PC版，找到 文件傳輸助手 對話框， 雙擊 文件傳輸助手 ，文件傳輸助手會自動彈出單獨的對話窗口，把對話框鎖死在屏幕左上角，具體位置可能需要根據(jù)顯示器調整。

4、依次運行py腳本(亦可運行.sh文件代替)

• 運行 wx_monitor.py ，確定程序是否成功啟動
• 運行 manage.py ，打開網(wǎng)頁 http://127.0.0.1:5000/ ，確認成功開啟web服務。

5、開啟mitmproxy，確保可以攔截到數(shù)據(jù)（需要cd到tools目錄下）

cd tools/ && mitmdump -s ./addons.py  --ssl-insecure

---

啟動測試

準備工作完成之后，訪問 http://127.0.0.1:5000/ 。

添加公眾號，該公眾號需要微信已經(jīng)關注過。

點擊啟動，即可進行采集。

---

目錄結構

weixin-spider
│ manage.py （web服務啟動文件）
│ README.md （項目說明文檔）
│ requirements.txt （項目安裝包）
│ wx_monitor.py （任務調度中心）
│
├─api
│ │ crawlerapi.py （爬蟲文件）
│ │ init.py
│ │
├─exceptions (異常捕獲目錄)
│
├─tools
│ │ addons.py （mitm配置）
│ │ handle.py （自動化操作）
│ │ keys.py （redis-keys管理）
│ │ proxy.py （本地代理）
│
├─webapp
│ │ models.py （數(shù)據(jù)庫表模型）
│ │ _init_.py
│ ├─static （靜態(tài)資源目錄）
│ ├─templates（html文件目錄）
│ │
│ ├─wxapp
│ │ │ selffilter.py (過濾器)
│ │ │ views.py (視圖文件、接口)

---