使用爬蟲采集網(wǎng)站時(shí)，ip被封問題的解決方法
使用爬蟲采集網(wǎng)站時(shí)，怎么樣解決被封ip的問題 ？葵芳小編總結(jié)以下幾種方法幫助大家日常使用爬蟲過程中解決ip被封鎖、IP被限制。 方法1.之前由于公司項(xiàng)目需要，采集過google地圖數(shù)據(jù)，還有一些大型網(wǎng)站數(shù)據(jù)。經(jīng)驗(yàn)如下：1.IP必須需要，比如ADSL。如果有條件，其實(shí)可以跟機(jī)房多申請(qǐng)外網(wǎng)IP。2.在有外網(wǎng)IP的機(jī)器上，部署代理服務(wù)器。3.你的程序，使用輪訓(xùn)替換代理服務(wù)器來訪問想要采集的網(wǎng)站。 好處：1.程序邏輯變化小，只需要代理功能。2.根據(jù)對(duì)方網(wǎng)站屏蔽規(guī)則不同，你只需要添加更多的代理就行了。3.就算具體IP被屏蔽了，你可以直接把代理服務(wù)器下線就OK，程序邏輯不需要變化。 方法2.有小部分網(wǎng)站的防范措施比較弱，可以偽裝下IP，修改X-Forwarded-for（貌似這么拼。。。）即可繞過。 大部分網(wǎng)站么，如果要頻繁抓取，一般還是要多IP。我比較喜歡的解決方案是國(guó)外VPS再配多IP，通過默認(rèn)網(wǎng)關(guān)切換來實(shí)現(xiàn)IP切換，比HTTP代理得多，估計(jì)也比多數(shù)情況下的ADSL切換更。 方法3. ADSL +腳本，監(jiān)測(cè)是否被封，然后不斷切換ip 1.設(shè)置查詢頻率限制2。正統(tǒng)的做法是調(diào)用該網(wǎng)站提供的服務(wù)接口。 方法4. 8年多爬蟲經(jīng)驗(yàn)的人告訴你，國(guó)內(nèi)ADSL是王道，多申請(qǐng)些線路，分布在多個(gè)不同的電信區(qū)局，能跨省跨市更好，自己寫好斷線重?fù)芙M件，自己寫動(dòng)態(tài)IP追蹤服務(wù)，遠(yuǎn)程硬件重置（主要針對(duì)ADSL貓，防止其宕機(jī)），其余的任務(wù)分配，數(shù)據(jù)回收，都不是大問題。我的已經(jīng)穩(wěn)定運(yùn)行了好幾年了，妥妥的！ 方法5. 1 user agent偽裝和輪換2使用代理ip和輪換3 cookies的處理，有的網(wǎng)站對(duì)登陸用戶政策寬松些 友情提示：考慮爬蟲給人家網(wǎng)站帶來的負(fù)擔(dān)，be a responsible crawler :)方法6.盡可能的模擬用戶行為：1、UserAgent經(jīng)常換一換2、訪問時(shí)間間隔設(shè)長(zhǎng)一點(diǎn)，訪問時(shí)間設(shè)置為隨機(jī)數(shù)；3、訪問頁面的順序也可以隨機(jī)著來 方法7.網(wǎng)站封的依據(jù)一般是單位時(shí)間內(nèi)特定IP的訪問次數(shù).我是將采集的任務(wù)按 目標(biāo)站點(diǎn)的IP進(jìn)行分組 通過控制每個(gè)IP在單位時(shí)間內(nèi)發(fā)出任務(wù)的個(gè)數(shù),來避免被封.當(dāng)然,這個(gè)前題是你采集很多網(wǎng)站.如果只是采集一個(gè)網(wǎng)站,那么只能通過多外部IP的方式來實(shí)現(xiàn)了.方法8.對(duì)爬蟲抓取進(jìn)行壓力控制； 可以考慮使用代理的方式訪問目標(biāo)站點(diǎn)。-降低抓取頻率，時(shí)間設(shè)置長(zhǎng)一些，訪問時(shí)間采用隨機(jī)數(shù)-頻繁切換UserAgent（模擬瀏覽器訪問）-多頁面數(shù)據(jù)，隨機(jī)訪問然后抓取數(shù)據(jù)-更換用戶IP葵芳提供動(dòng)態(tài)撥號(hào)vps服務(wù)器等，葵芳不但有全國(guó)20多個(gè)省160多個(gè)城市的動(dòng)態(tài)ip撥號(hào)VPS，還有海外香港、日本、美國(guó)、臺(tái)灣、韓國(guó)、菲律賓等國(guó)家地區(qū)的動(dòng)態(tài)撥號(hào)VPS。非常適合用于刷排名、網(wǎng)站優(yōu)化、網(wǎng)絡(luò)營(yíng)銷、爬蟲、數(shù)據(jù)抓取、數(shù)據(jù)分析、刷單、投票等領(lǐng)域；
葵芳數(shù)據(jù)中心優(yōu)良的光纖網(wǎng)絡(luò)連通中國(guó)內(nèi)地、海外骨干機(jī)房，在國(guó)內(nèi)外都擁有資源豐富的電信級(jí)樞紐機(jī)房?？梢愿鶕?jù)客戶各種不同的業(yè)務(wù)需求，以＂一站式服務(wù)＂的方式提供服務(wù)器租用/服務(wù)器托管及機(jī)柜租用、國(guó)際帯寬租用、云計(jì)算服務(wù)等多種網(wǎng)絡(luò)服務(wù)及業(yè)務(wù)解決方案葵芳IDC數(shù)據(jù)中心為用戶提供貼心服務(wù)，來用BGP網(wǎng)絡(luò)帶寬，智能切換網(wǎng)絡(luò)線路，保證服務(wù)應(yīng)用的穩(wěn)定性。葵芳機(jī)房是直營(yíng)機(jī)房，用戶可預(yù)約幻參觀機(jī)房環(huán)境?？糏DC還提供兔費(fèi)測(cè)試、免環(huán)境配置和7+24小時(shí)技術(shù)在線服務(wù).
營(yíng)銷中心：深圳市龍華新區(qū)龍華街道清龍路港之龍科技園B座305室
機(jī)房地址：香港新界葵涌葵豐街2-16號(hào)鐘意恒勝中心8樓801s
官方網(wǎng)址：htt p://w ww.