For the complete documentation index, see llms.txt. This page is also available as Markdown.

爬蟲

爬蟲是什麼:給一個網址自動抓取網頁內容並匯入知識庫,什麼時候需要用、與知識庫的關係,以及設定前要準備什麼。

爬蟲概念
爬蟲:自動抓取網頁內容,匯入知識庫

這是什麼?

爬蟲能自動從網頁抓取內容,並匯入到知識庫中。你只要給它一個網址,它就能爬取該頁面(或整個網站)的文字內容,轉換成 Agent 能查閱的知識。

什麼時候需要用?

  • 官網內容:把公司官網的產品介紹、服務說明自動匯入

  • 公開資訊:抓取法規、公告、技術文件等公開網頁

  • 持續更新:網站內容會變動,定期重新爬取保持知識庫最新

爬蟲和知識庫的關係

爬蟲是知識庫的資料來源之一。它的定位是:

爬蟲抓到的內容最終會進入知識庫,Agent 不會直接跟爬蟲互動。

組織已開通檔案庫時,也可以把爬取結果存成檔案工作區裡的檔案,在 MaiGPT 掛上工作區直接使用,設定方式見存到檔案工作區。

我需要做什麼?

  1. 輸入網址 — 告訴爬蟲要抓哪個網頁或網站

  2. 設定範圍 — 用最大爬取深度、最大爬取頁數與網址規則決定只抓起始頁,還是連同站內的子頁面一起抓(規則見爬取範圍怎麼決定);多語網站另可指定爬取語系/地區

  3. 執行爬取 — 啟動爬蟲,等待完成

  4. 匯入知識庫 — 將爬取結果匯入指定的知識庫

  5. 驗證內容 — 檢查匯入的內容是否正確完整

多語網站:指定爬取語系/地區

有些網站同時提供中文、英文等多個語言版本,會依瀏覽器的語言決定回傳哪一版。爬蟲沒有指定語言時,網站可能把它當成英文訪客,轉到英文版頁面,結果知識庫收到的是英文內容;只爬單一頁面時,起始頁還可能被轉到起始網址以外的路徑,最後一頁都沒爬到。

這時可以在建立爬取請求的「爬取設定」步驟,展開 進階設定,在 內容擷取設定 下方的 爬取語系/地區 選擇要用哪個語言與地區讀取網站:

選項
說明

預設(不指定)

新建請求的預設值。不向網站宣告語言,由爬取服務決定(目前等同英文)

繁體中文(台灣)

以繁體中文、台灣地區讀取網站

简体中文(中国)

以簡體中文、中國地區讀取網站

English (US)

固定以英文讀取,不受爬取服務日後預設改變影響

日本語(日本)

以日文、日本地區讀取網站

內容擷取設定下方的爬取語系/地區下拉選單展開,選項有預設(不指定)、繁體中文(台灣)、简体中文(中国)、English (US)、日本語(日本)
爬取語系/地區:在內容擷取設定下方選擇讀取網站的語言與地區

選定的語系會套用到這個爬取任務的每一步:

  • 預覽:在「執行方式」步驟按 預覽 時,也用同一個語系探索網址,預覽列出的網址與實際爬取時一致

  • 排程:選 排程執行 時,語系存在排程設定裡,之後每次排程執行都用同一個語系爬取。到「排程」分頁 編輯 排程可以改語系,從下一次執行起改用新語系

  • 詳情:在爬取請求詳情展開 爬取任務設定,可以看到這次使用的 爬取語系/地區

例如,某家電品牌的知識庫管理員要把中英雙語官網 https://www.example-appliance.com/ 的產品說明爬進知識庫,但先前爬回來的都是英文頁面。她重新建立爬取請求,在進階設定把 爬取語系/地區 改成 繁體中文(台灣),到「執行方式」步驟按 預覽 確認將爬取的都是中文頁面後再建立。爬取完成後,她在爬取請求詳情的 爬取任務設定 看到語系是「繁體中文(台灣)」,已爬取頁面也都是中文標題;之後改用每週排程同步時,她在建立排程時選同一個語系,每次排程執行都會沿用。

爬蟲不會翻譯內容。網站本身沒有所選語言的版本時,收錄的是網站實際回應的內容。語系設定只屬於該爬取任務或排程,不影響組織內其他爬取任務;沒有設定語系的既有任務與排程行為不變。

完整欄位與操作步驟見如何使用爬蟲(爬取資料)功能。

延伸閱讀

最後更新於

這有幫助嗎?