亚洲精品美女久久久-亚洲精品毛片-亚洲精品伦理-亚洲精品乱码久久久久久写真-激情啪啪网站-激情欧美在线

網站抓取精靈火車采集器V9最全術語解釋

2016-04-25 13:26:50 瀏覽:8764

網站抓取精靈火車采集器是目前功能最全面的采集軟件,使用者只需稍加學習即可快速上手,這里是火車采集器V9 的操作術語解釋。

1.采集任務

    采集任務是火車采集器中對于數據采集和數據發布任務的完整配置,包含采集規則和發布模塊。


2.采集規則

    即我們對如何采集和采集什么的問題給出一些設置讓采集器按照設置的規則來執行,這個設置可以從火車采集器里面導出保存為.ljobx文件,
    也可以再次導入火車采集器。


3.發布模塊

    在火車采集器中,發布模塊是對“將已經采集到的數據發布到哪里”進行的設置。包括WEB在線發布模塊和數據庫發布模塊,其設置分別可以導出保存為.wpm文件       和.dbm文件,并可以再次導入火車采集器,多次使用。

4.發布接口

    發布接口是一個小型的頁面程序,通常和WEB在線發布模塊配合使用來滿足用戶的特定需求。即采集器將采集的數據發送到發布接口文件中,接口文件得到數據,

    并按照用戶特定需求靈活地處理數據。

5.標簽

    是指用來提取某項內容信息的一個字段名字,由用戶在編輯規則的時候指定,比如標題、手機號、郵件、作者,內容標簽采集到的信息在發布模塊中就可以通過

    該標簽名對應獲取到,格式為[標簽:標簽名]如[標簽:標題]。標簽在火車采集器里面有分為兩種:分別為列表頁標簽和內容頁標簽,顧名思義列表頁標簽就是在獲取列表頁時(即采網址時)就獲取到內容信息,內容頁標簽是在獲取內容頁或多頁內容時(采內容)才獲取內容信息。

注:通常還有一種說法為 html標簽,這里的標簽是指一些html代碼里面的屬性標識符,如:<a href里面的a標簽,里面的font標簽為html標簽,該術語在內容處理的html標簽排除項出現。

6.(*)

    在使用火車采集器時經常會遇到這個符號,它是變量的通用符號,如果我們只需要知道這個變量的變化規律,而不需要關心這個變量到底是什么,這時就可使用這個
    符號代替。


7.[參數]

    用來匹配某項準備提取信息的標記標簽,如想要在代碼中提取組合出某種格式。以從代碼"mClk(this,'108484','134217', '168475','1');"中提取組合出新
    的地址格式為例。"mClk(this,'[參數]','[參數]', '[參數]','1'); ",按照次序,108484參數就是參數1,依次類推。實際需要的地址為以下的地址格式:
    bbs/read.php?id=[參數1]& sort=[參數3]&action=[參數2],上面代碼中的3個參數和下面地址中的id,sort和action參數要對應相應的值,次序不要顛倒。
    這樣就組合成了新的地址格式。


8.起始網址

    用來獲取下級鏈接地址的入口網址,可以為一條或多條,可以通過添加起始網址向導添加同格式多條網址或導入文本網址。如果沒有定義多級網址的獲取方法,
    這些地址即作為內容頁網址進行內容采集。


9.多級網址

    依次根據列表里面的多級網址順序采集分析地址,通過依次采集分析到最后一級得到內容頁地址。多級網址的獲取可以使用頁面自動分析和手動獲取的方法采集
    下級網址,在采集的過程中,可以同時采集列表分頁及提取列表頁附加參數。


10.Cookie

    是在Http請求訪問中記錄您的用戶信息即登錄信息的一段用于與服務器進行交互的字符串。在瀏覽器中使用時通常還會以文本形式記錄到您的IE緩存目錄中,
    以便下次在有效期內不用輸入用戶信息即可繼續訪問驗證權限的網頁。


11.User-Agent

    瀏覽器標識,是用來向服務器通知您使用的客戶端類型,在某些需要登錄的網頁可能需要同時驗證Cookie和User-Agent,所以需要您將其設置為與本機瀏覽器
    同樣的格式。


12.分頁

    列表或內容頁面較長,分成多個頁面顯示,采集時需要將所有子頁的內容組合起來,這樣的子頁面就是分頁(列表分頁或內容分頁)。


13.多頁

    有些情況下,需要采集一個頁面對應的網址,圖片等內容時,需要另外打開一個新的頁面才能采集到這些信息,這些另外打開的頁面則稱為多頁。

14.網頁編碼

    是在網頁中指定其特定字符編碼格式的庫,例如一般在網頁中都要有如下一句:<meta http-equiv="Content-Type"content="text/html;charset=gb2312">,

    這樣的字句指示此網頁的字符集編碼是GB2312。火車采集器對一般的網頁可以做到自動識別,也羅列出了大部分的網頁編碼格式,可以直接在采集器中手動選擇指定

    相應的編碼格式。

15.代理

    是指網絡中的代理服務器,可以代理網絡用戶去取得所需要的網絡信息。代理的功能有可以突破自身ip的訪問限制訪問國外站點,訪問一些單位或團體內部資源,
    突破電信的ip封鎖和隱藏真實的ip等。


16.插件

    在火車采集器,插件是指可以對采集到的數據進行特定處理的一個外部程序,編寫好插件后,采集器可以把數據傳遞給插件,然后對數據進行處理,
    再把數據傳給采集器。(可自行開發,也可聯系客服定制。)


17.Cron表達式

    在火車采集器計劃任務管理器的設置中,可以設置完整的cron表達式來表示對任務的計劃執行。它是一個由6或7個子表達式組成的字符串。每一個表達
    式代表一個域,每個域描述了一個單獨的日程細節且每個域之間使用空格分隔,它由兩種格式組成。


Seconds Minutes Hours DayofMonth Month DayofWeek Year
Seconds Minutes Hours DayofMonth Month DayofWeek
一個Cron表達式至少有6或7個有空格分隔的時間元素,每個時間元素都使用數字,但還可以出現如下特殊字符,他們的含義分別表示:
1.Seconds 秒 (允許值為0-59,允許的特殊符號,- * /)
2.Minutes 分鐘 (允許值為0-59,允許的特殊符號,- * /)
3.Hours 小時 (允許值為0-23,允許的特殊符號,- * /)
4.Day-of-Month 月中的天 (允許值為1-31,允許的特殊符號,- * / ? L W C)
5.Month 月 (允許值為1-12或者JAN-DEC,允許的特殊符號,- * /)
6.Day-of-Week 周中的天 (允許值為1-7或者SUN-SAT,允許的特殊符號,- * / ? L C #)
7.Year (optional field) 年(可選的域,允許值為留空或者1970-2099,允許的特殊符號,- * /)
特殊字符含義:
(1) * 表示該域的任意值。如在Minutes域使用,即表示每分鐘都會觸發事件。
(2) ? 只能用在DayofMonth和DayofWeek兩個域。實際上不會匹配域的任意值,因為DayofMonth和DayofWeek會相互影響。如想在 每月的20日觸發調度,

不管20日是周幾,則只能使用如下寫法:13 13 15 20 * ?,其中最后一位只能用?,而不能用,如果使用*表示每月的20號15時13分13秒不管是周幾都會觸發,實際上不是的。
(3) – 表示范圍,如在Minutes域中使用5-20,表示5到20分鐘每分鐘觸發一次
(4) / 表示起始時間開始觸發,然后每隔固定時間觸發一次。如在Minutes域中使用5/20,表示從分鐘數5開始每隔20分鐘觸發一次,結果25,45,05等分別觸發一次。
(5) , 表示列出枚舉值。如在Minutes域中使用5,20,則表示5分鐘和20分鐘每分鐘觸發一次。
(6) L 表示最后,只能出現在DayofMonth和DayofWeek域。
(7) W 表示有效工作日(周一到周五),只能出現在DayofMonth域中,系統將在離指定日期最近的有效工作日觸發事件。另外,W的最近尋找不會跨過月份。
(8) # 用于確定每個月第幾個星期幾,只能出現在DayofMonth域中。如4#2表示某月的第二個星期四。
    完整的corn表達式如0 15 08 ? * MON-FRI 表示每周一到周五的早上8點15分開始定時更新數據。

18.任務網址庫

    采集器在文件夾DataLocoySpiderPageUrl下,該站點下的每一個任務都會生成一個獨立或公用的網址庫用來對比網址重復之用。


19.HTTP請求

瀏覽器打開網頁時實際就是發送一個又一個Http請求,火車采集器也一樣,從指定的地址獲取內容的過程就是發送Http請求,然后對根據請求得到的內容進行處理。
當瀏覽器向web服務器發送請求時,它向服務器傳遞了一個數據塊,也就是請求信息。Http請求信息由3部分組成:請求方法URI協議/版本,請求頭(Request Header)
和請求正文。
如下圖:


1.png

而客戶就可以從請求的信息中得到有用的數據。

 初學者掌握以上術語后,搭配教程進行學習,很快就可以靈活使用火車采集器V9來實現網站的高效抓取。


掃碼關注微信
主站蜘蛛池模板: 吴承恩缉妖录| 父子刑警| 心花路放 豆瓣| 挨打的视频| 帕米尔我的家乡多么美简谱| 韩国电影《真实》| 人流后吃什么| 变形金刚2演员表| 第一财经在线直播今日股市| 诗经中使用叠词的诗句| 嗯啊主人| 飞龙猛将演员表| 一元二次不等式的例题100道 | 182tv福利视频| 李洋演员| 张天爱三级露全乳hd电影| 天才gogogo综艺节目规则| 乔治福尔曼| 幼儿园老师锦旗赠言| 韩国三级播放| 比基尼诱惑| 浙江卫视节目表今天表| 韩国电影金珠| 红海行动2虎鲸行动在线播放国语| 妻子的电视剧| 土耳其电影水与火| 少爷和我短剧| 美人鱼公主| 广西电视台新闻频道| 李正夏| 迟志强简历| 内裤之穴| 科学试卷可打印(免费)| 金敏喜个人简历| 三年片观看免费完整版中文版| 隐藏的秘密电影免费观看全集| 林丹出轨视频| 女村长| 机动战士高达seed destiny| 让我听懂你的语言歌词| 买下我俄罗斯完整版免费观看|