如何在python代碼中使用HTTP代理IP。
以下代碼主要圍繞第一次接觸HTTP代理IP的python新手來(lái)寫(xiě)。(步驟注釋清晰)
直接把下面示例代碼中的HTTP代理API,替換成你后臺(tái)生成的代理API鏈接,就可以跑起來(lái)了。
以下是一個(gè)示例代碼,只是一個(gè)基礎(chǔ)的演示,具體的代碼還是要根據(jù)你業(yè)務(wù)的實(shí)際情況去寫(xiě)的。
示例代碼中的HTTP代理IP,我使用的是華益云的HTTP代理,注冊(cè)就送1萬(wàn)個(gè)高匿爬蟲(chóng)IP,有效期是一年,對(duì)于調(diào)試代碼來(lái)說(shuō)這個(gè)時(shí)間是非常的友好。(步驟注釋清晰)
華益云-企業(yè)級(jí)HTTP爬蟲(chóng)代理IP供應(yīng)商-點(diǎn)我免費(fèi)領(lǐng)取示例代碼demo中同款10000個(gè)高匿IP
打開(kāi)代理API,獲取里面的IP,使用IP訪問(wèn)目標(biāo)網(wǎng)站,其實(shí)代碼中就是執(zhí)行這個(gè)過(guò)程而已,然后加了幾個(gè)錯(cuò)誤判斷有助于代碼的穩(wěn)定運(yùn)行。(步驟注釋清晰)
# 需要安裝此依賴 # pip install requests import requests def main(): # 發(fā)送給服務(wù)器的標(biāo)識(shí) userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36" # 代理api(這里我推薦使用www.9vps.com華益云HTTP代理的API,注冊(cè)就送1萬(wàn)IP) proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&" # 請(qǐng)求代理url,獲取代理ip outPutProxy = getProxy(proxyUrl, userAgent) if len(outPutProxy)==0: # 沒(méi)有獲取到代理 return # 目標(biāo)請(qǐng)求網(wǎng)站 url = "https://www.qq.com/" content = None for _ in range(0, 3): # 最多嘗試三次 try: # 從列表中取出一個(gè)代理出來(lái) px = outPutProxy.pop(0) proxy = { "http": "http://"+px, "https": "http://"+px } content = requestGet(url, userAgent, proxy) break except Exception as e: print(e) if (len(outPutProxy) == 0): # 如果發(fā)現(xiàn)沒(méi)有代理了,就去獲取下。 outPutProxy = getProxy(proxyUrl, userAgent) print(content) def getProxy(proxyUrl, userAgent): proxyIps="" outPutProxy = [] try: proxyIps = requestGet(proxyUrl, userAgent, None) print(proxyIps) # {"code":3002,"data":[],"msg":"error!用戶名或密碼錯(cuò)誤","success":false} if "{" in proxyIps: raise Exception("[錯(cuò)誤]"+proxyIps) outPutProxy = proxyIps.split("\n") except Exception as e: print(e) print("總共獲取了"+str(len(outPutProxy))+"個(gè)代理") return outPutProxy def requestGet(url, userAgent, proxy): headers = { "User-Agent": userAgent } response = None if (proxy): # 有代理的時(shí)候走這個(gè) response = requests.get(url, headers=headers, timeout=5, proxies=proxy) else: # 沒(méi)有代理走這個(gè) response = requests.get(url, headers=headers, timeout=5) # 設(shè)置編碼,防止亂碼 # requests 庫(kù)會(huì)幫我們自動(dòng)分析這個(gè)網(wǎng)頁(yè)的字符編碼 response.encoding = response.apparent_encoding return response.text main()
或者直接百度搜索:華益云HTTP代理
審核編輯:湯梓紅
-
HTTP
+關(guān)注
關(guān)注
0文章
511瀏覽量
31518 -
代碼
+關(guān)注
關(guān)注
30文章
4825瀏覽量
69044 -
python
+關(guān)注
關(guān)注
56文章
4807瀏覽量
85037
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
python代碼中如何使用HTTP代理
python代碼中如何使用HTTP代理
如何在Python中使用MQTT
![如<b class='flag-5'>何在</b><b class='flag-5'>Python</b><b class='flag-5'>中使</b>用MQTT](https://file.elecfans.com/web2/M00/86/02/pYYBAGOjw72AYw0nAABWos5afvk869.png)
評(píng)論