在互聯網上進行自動數據抓取這件事和互聯網存在的時間差不多一樣長。今天大眾好像更傾向于稱之為“網絡數據采集/網頁數據抓取”，有時也會把網絡數據采集程序稱為網絡爬蟲（蜘蛛）。采集常用到的方法是寫一個自動化程序向網絡服務器請求數據，但大多數不擅長寫程序的朋友則是使用現成的通用網頁抓取工具，然后對數據進行解析，提取需要的信息。
然而許多網頁也會對自己的數據進行保護，那么就會遇到數據抓取困難的悲劇，還有更令人沮喪的事情，那就是根本不能抓取，也許是向服務器提交自認為已經處理得很好的表單卻被拒絕，也許是自己的 IP 地址被定義為網絡機器人或不知道什么原因被網站封殺，無法繼續訪問。
但是是不是就真的無法抓取了呢？火車采集器告訴你：NO！克服網站對部分防采集的阻止或是采集困難，網頁抓取工具火車采集器還是很有方法的，前方高能來襲，請大家自行get。
國外網站采集
有用戶提到國外網站采集很慢，數據也無法直接利用等，這類采集時其實可以使用國外的代理服務器，采集速度上可以得到有效提升，對于需要將數據轉換為中文的，可以使用翻譯插件來翻譯采集。
網站請求不通過
目標網站通常會在收到請求時校驗Headers中的User-Agent字段，如果不是攜帶正常的User-Agent信息的便無法通過請求。所以我們要把User-Agent屬性設置成不容易引起懷疑的內容。還有一部分網站為了防盜鏈，還會校驗請求Headers中的Referer字段，那么需要通過對請求的抓包分析，將Referer值修改為目標網站域名，這些在火車采集器的“其他設置”里直接修改就可以了。另外在火車采集器中是可以自定義列表頁、多頁、分頁Headers的。
頻繁訪問封鎖
總是遇到403錯誤？對于同一IP或同一cookie的頻繁訪問行為，網站會將其識別為爬蟲進行封鎖，這類反爬蟲在火車采集器中，可以通過切換cookie、控制采集速度（盲目求快可不是明智做法，合理控制速度是不該破壞的規則，火車采集器支持進程中調速，實時生效）、二級代理更換ip，使用撥號服務器等方式有效解決。
cookie登錄
有些網站需要輸入合法的登錄信息或是持續保持登錄狀態才能訪問全部內容，網頁抓取工具火車采集器的應對是多樣的，一是通過采集器內置的微型瀏覽器獲取登錄信息，二是通過抓包分析設置登錄信息。
需要輸入驗證碼
對于需要頻繁輸入驗證碼才能繼續訪問的網站，該怎么應對呢？簡單的數字驗證碼可以使用火車采集器中的OCR識別，不過現在有的驗證碼已經沒那么簡單了，所以如果確實復雜可以用可視化的火車瀏覽器實現接入平臺自動打碼。
加密網頁采集
對于內容進行了網頁腳本加密的情況，可以通過模擬加密算法還原運行腳本，或是編寫插件進行擴展等。這類對于技術小白白來說可能有難度，但可以聯系我們火車采集器的技術支持獲得幫助。
大概就列出以上這些了，如果大神有碰到其他防采集的類型，可以反饋給我們，以便我們程序猿為您開發出更加強大的功能~
