欧美三级国产三级日韩三级_亚洲熟妇丰满大屁股熟妇_欧美亚洲成人一区二区三区_国产精品久久久久久模特

利用fiddler抓包爬取微信小程序數(shù)據(jù) - 新聞資訊 - 云南小程序開(kāi)發(fā)|云南軟件開(kāi)發(fā)|云南網(wǎng)站建設(shè)-昆明葵宇信息科技有限公司

159-8711-8523

云南網(wǎng)建設(shè)/小程序開(kāi)發(fā)/軟件開(kāi)發(fā)

知識(shí)

不管是網(wǎng)站，軟件還是小程序，都要直接或間接能為您產(chǎn)生價(jià)值，我們?cè)谧非笃湟曈X(jué)表現(xiàn)的同時(shí)，更側(cè)重于功能的便捷，營(yíng)銷的便利，運(yùn)營(yíng)的高效，讓網(wǎng)站成為營(yíng)銷工具，讓軟件能切實(shí)提升企業(yè)內(nèi)部管理水平和效率。優(yōu)秀的程序?yàn)楹笃谏?jí)提供便捷的支持！

您當(dāng)前位置>首頁(yè) » 新聞資訊 » 小程序相關(guān) >

利用fiddler抓包爬取微信小程序數(shù)據(jù)

發(fā)表時(shí)間：2020-10-14

發(fā)布人：葵宇科技

瀏覽次數(shù)：254

利用fiddler抓包爬取微信小程序數(shù)據(jù)

1.背景原理

有些微信小程序無(wú)法在PC端進(jìn)行訪問(wèn)
在這里插入圖片描述
原因
判斷非微信‘內(nèi)嵌瀏覽器’，則禁止訪問(wèn)

解決方法
模擬微信‘內(nèi)嵌瀏覽器’進(jìn)行訪問(wèn)，需要獲取的數(shù)據(jù)有：User-Agent，以及登錄信息cookie

2.Fiddler獲取cookie和User-Agent

原理：Fiddler作為代理，手機(jī)端向服務(wù)器發(fā)送請(qǐng)求的時(shí)候，先發(fā)送到代理端Fiddler，然后代理端再將請(qǐng)求發(fā)送給服務(wù)器，返回的數(shù)據(jù)也是先返回到代理。

步驟1：手機(jī)端和電腦端通信，連接同一個(gè)局域網(wǎng)
步驟2：手機(jī)端連接代理，在手機(jī)wifi連接處填寫(xiě)電腦的ip以及Fiddler的端口號(hào)
步驟3：手機(jī)端連接http://電腦ip:端口號(hào) 獲取證書(shū)并安裝
步驟4：手機(jī)打開(kāi)小程序就可抓取U-A和Cookie

-使用：使用Filddler獲取cookie和User-Agent

3.愉快的下載數(shù)據(jù)

import re
import requests
import time
import json
import pandas as pd

headers={
    'User-Agent': '你的User-Agent', #都可通過(guò)finddler轉(zhuǎn)包獲取
    'Cookie': '你的cookie'
}#請(qǐng)求頭信息，這里cookie信息必須添加，否則得不到網(wǎng)頁(yè)信息

list = []
for i in range(1,10):
    locationDataUrl = 'https://dzgj.yuyuebus.com/out/confirmListNew?page=' + str(i)
    response = requests.get(locationDataUrl,headers=headers)#得到響應(yīng)內(nèi)容
    html = response.text#得到網(wǎng)頁(yè)的文本形式
    data = json.loads(html).get('data').get('list') # json解析

    for j in range(len(data)):

        id = data[j]['id'] #獲取數(shù)據(jù)的id
        timeUrl = 'https://dzgj.yuyuebus.com/Customization/customizationDetailNew?id='+str(id) #得到用于獲取時(shí)間的url
        responseTime = requests.get(timeUrl,headers=headers)
        htmlTime = responseTime.text
        dataTime = json.loads(htmlTime).get('data').get('detail')
        # 存列表輸出csv
        list.append(dataTime)

pd.DataFrame(list).to_csv('定制公交.csv',encoding='utf_8_sig')