爬蟲
爬蟲是什麼:給一個網址自動抓取網頁內容並匯入知識庫,什麼時候需要用、與知識庫的關係,以及設定前要準備什麼。

這是什麼?
爬蟲能自動從網頁抓取內容,並匯入到知識庫中。你只要給它一個網址,它就能爬取該頁面(或整個網站)的文字內容,轉換成 Agent 能查閱的知識。
什麼時候需要用?
官網內容:把公司官網的產品介紹、服務說明自動匯入
公開資訊:抓取法規、公告、技術文件等公開網頁
持續更新:網站內容會變動,定期重新爬取保持知識庫最新
爬蟲和知識庫的關係
爬蟲是知識庫的資料來源之一。它的定位是:
爬蟲抓到的內容最終會進入知識庫,Agent 不會直接跟爬蟲互動。
組織已開通檔案庫時,也可以把爬取結果存成檔案工作區裡的檔案,在 MaiGPT 掛上工作區直接使用,設定方式見存到檔案工作區。
我需要做什麼?
輸入網址 — 告訴爬蟲要抓哪個網頁或網站
執行爬取 — 啟動爬蟲,等待完成
匯入知識庫 — 將爬取結果匯入指定的知識庫
驗證內容 — 檢查匯入的內容是否正確完整
多語網站:指定爬取語系/地區
有些網站同時提供中文、英文等多個語言版本,會依瀏覽器的語言決定回傳哪一版。爬蟲沒有指定語言時,網站可能把它當成英文訪客,轉到英文版頁面,結果知識庫收到的是英文內容;只爬單一頁面時,起始頁還可能被轉到起始網址以外的路徑,最後一頁都沒爬到。
這時可以在建立爬取請求的「爬取設定」步驟,展開 進階設定,在 內容擷取設定 下方的 爬取語系/地區 選擇要用哪個語言與地區讀取網站:
預設(不指定)
新建請求的預設值。不向網站宣告語言,由爬取服務決定(目前等同英文)
繁體中文(台灣)
以繁體中文、台灣地區讀取網站
简体中文(中国)
以簡體中文、中國地區讀取網站
English (US)
固定以英文讀取,不受爬取服務日後預設改變影響
日本語(日本)
以日文、日本地區讀取網站

選定的語系會套用到這個爬取任務的每一步:
預覽:在「執行方式」步驟按 預覽 時,也用同一個語系探索網址,預覽列出的網址與實際爬取時一致
排程:選 排程執行 時,語系存在排程設定裡,之後每次排程執行都用同一個語系爬取。到「排程」分頁 編輯 排程可以改語系,從下一次執行起改用新語系
詳情:在爬取請求詳情展開 爬取任務設定,可以看到這次使用的 爬取語系/地區
例如,某家電品牌的知識庫管理員要把中英雙語官網 https://www.example-appliance.com/ 的產品說明爬進知識庫,但先前爬回來的都是英文頁面。她重新建立爬取請求,在進階設定把 爬取語系/地區 改成 繁體中文(台灣),到「執行方式」步驟按 預覽 確認將爬取的都是中文頁面後再建立。爬取完成後,她在爬取請求詳情的 爬取任務設定 看到語系是「繁體中文(台灣)」,已爬取頁面也都是中文標題;之後改用每週排程同步時,她在建立排程時選同一個語系,每次排程執行都會沿用。
完整欄位與操作步驟見如何使用爬蟲(爬取資料)功能。
延伸閱讀
最後更新於
這有幫助嗎?