如何使用爬蟲（爬取資料）功能

輸入網址、設定爬取範圍，選擇單次執行或定期排程，MaiAgent 就會自動爬取網頁並匯入知識庫，還能在匯入紀錄中追蹤每一次匯入結果。

功能用途與價值

身為企業人員，可能經常會接到長官指示，需要參考或彙整某些公開網站上的法規資料，或讓 Agent 掌握官網上最新的產品與 FAQ 內容。

若具備技術背景，或有工程人員協助，或許可以透過撰寫爬蟲程式自動擷取資料；但對於非技術人員而言，通常只能手動一頁頁整理，不僅耗時費力，還容易遺漏關鍵資訊。

此時，您可以善用 MaiAgent 的爬蟲功能，透過 No-Code（免寫程式）方式：

• 一次爬取整個網站範圍：設定爬取深度、頁數上限與網址規則，決定要爬哪些頁面

• 單次執行或定期排程：可以立即爬一次，也可以每日、每週、每月自動重新爬取

• 自動匯入知識庫：爬完直接匯入指定知識庫，並可選擇網址重複時要略過、覆蓋或允許重複

• 追蹤匯入結果：每次匯入成功幾頁、失敗幾頁，都可以在匯入紀錄中查看

使用情境

某公司的客服主管希望 AI 客服回答問題時，內容能和官網 FAQ 保持一致。她先在知識庫中建立一個專門收納官網 FAQ 的知識庫，接著進入「爬蟲」建立爬取請求：填入官網 FAQ 的網址，把最大爬取深度與頁數設小，先確認只會爬到 FAQ 相關頁面；執行方式選「排程執行」、頻率設為每週一早上 9 點，自動匯入目標選剛建立的知識庫，網址已存在時的處理方式選「略過」。建立後，排程分頁就會出現這筆每週同步的任務。之後每次爬取完成，她在爬取請求詳情的「匯入紀錄」就能看到這次自動匯入到哪個知識庫、成功與失敗各幾頁；官網 FAQ 改版時，也不需要再請工程師幫忙整理資料。

如何進行爬蟲？

若左側選單看不到「爬蟲」，代表您的帳號沒有爬蟲的存取權限，請聯絡組織管理員確認權限設定。

1. 進入爬蟲頁面

從左側選單點選 AI 功能 → 爬蟲。頁面分為兩個分頁：

• 頁面爬取請求：列出每一次爬取（包含單次執行，以及排程每次自動執行產生的爬取），可依名稱或網址搜尋，並以類型（單次／排程）與爬取狀態（完成／進行中／失敗）篩選

• 排程：列出所有定期爬取的排程設定

頁面爬取請求分頁：每筆請求顯示類型、爬取狀態與建立時間

2. 輸入任務名稱與網址

點選右上方的 建立頁面爬取請求，建立流程分為「網址」、「爬取設定」、「執行方式」三個步驟。

第一步請填寫：

• 任務名稱：方便辨識這個爬取任務，例如「每日商品頁面爬取」

• URL：要開始爬取的網址

填好後點 下一步。

第一步：填寫任務名稱與起始網址

3. 設定爬取深度與範圍

第二步「爬取設定」決定要爬多少頁面。基本設定有兩個欄位：

欄位	說明
最大爬取深度	從起始網址往下追連結的層數，可選 1–10，預設 2
最大爬取頁數	這次最多爬取的頁數，可選 10、50、100、500、1000、5000，預設 100

基本設定：以最大爬取深度與最大爬取頁數控制爬取範圍

需要更精確地控制範圍時，展開 進階設定：

設定	說明
使用提示語生成規則	用自然語言描述要收哪些網址（例如「只爬取商品頁面，並忽略已封存的文章」），按 生成規則 後 AI 會把它轉成下方的網址比對與排除規則，生成後仍可逐條修改。要先在第一步填入網址才能生成；提示語無法對應到網址規則時會提示「目前只支援依網址篩選」，請改寫提示語或手動新增規則。沒按生成規則就繼續時會先跳出確認，見下方「提示語還沒生成規則時的確認」
網址比對規則	只爬取符合規則的網址，例如 /products/*；未新增規則時會爬取範圍內的所有頁面
網址排除規則	符合規則的網址不爬取，例如 /admin/* 或 \.pdf$
邊界設定	是否 允許爬取至同層或上層路徑、包含子網域、允許外部連結，預設皆關閉
Sitemap 策略	優先使用 sitemap（預設）、忽略 sitemap 或 僅使用 sitemap
內容擷取設定	僅擷取主要內容、忽略網址參數（預設皆開啟），以及 JS 渲染等待時間（0、500、1000、2000 ms）
爬取語系／地區	以指定語言與地區讀取網站。多語網站會依此回傳對應語言版本，例如選 繁體中文（台灣） 可避免被轉到英文版；可選 繁體中文（台灣）、简体中文（中国）、English (US)、日本語（日本）。預設（不指定） 不向網站宣告語言，由爬取服務決定（目前等同英文）。位於 內容擷取設定 下方，預覽與排程的每次執行都沿用同一個語系，說明見多語網站：指定爬取語系／地區

進階設定：以網址規則、邊界與 Sitemap 策略進一步限定爬取範圍，並可指定爬取語系／地區

開啟 允許外部連結 後會爬取站外網址，可能大幅增加爬取頁數與費用。建議先用較小的深度與頁數測試，確認範圍正確後再放大。

提示語只會轉成網址的比對／排除規則，無法依頁面標題或內文篩選；以按鈕或表單翻頁（網址不變）的列表，爬蟲只收得到第一頁。

提示語還沒生成規則時的確認

填了 使用提示語生成規則，但還沒按 生成規則（或生成後又改過提示語）就按 下一步 或 預覽 時，系統會先跳出「提示語尚未轉換成規則」確認視窗，提醒直接繼續會爬取範圍內的所有頁面：

• 生成規則：依提示語生成網址規則。從 預覽 跳出時，會先回到「爬取設定」步驟生成，讓您看到產生的規則，確認後再預覽

• 仍要繼續：不生成規則，照目前的設定繼續

• 按右上角關閉或 Esc：留在目前步驟，不做任何動作

提示語還沒生成規則就按下一步時跳出的確認視窗

只有提示語本身的變動會觸發確認；生成後手動新增或刪除 網址比對規則、網址排除規則 不算改提示語，不會再跳出確認。在 下一步 選了 仍要繼續 後，到「執行方式」再按 預覽 仍會再問一次。

例如，某公司的知識管理專員要把官網 /docs/ 底下的說明文件爬進知識庫。她在提示語寫「只收 /docs/ 底下的頁面，排除 PDF」後直接按 下一步，系統跳出確認視窗；她選 生成規則，規則區隨即出現 /docs/.* 比對規則與 .*\.pdf$ 排除規則，再按 下一步 就不會重複詢問，避免一不小心把整個網站都爬進知識庫。

爬取範圍怎麼決定

爬蟲從起始網址出發，沿著頁面上的連結往外找，一個網址要同時通過下列條件才會被爬取：

條件	規則
站內範圍	預設只爬同一個主機名稱、且路徑在起始網址底下的頁面（起始網址是 https://example.com/docs/ 時，/docs/a 會爬、/blog/ 不會）。允許爬取至同層或上層路徑 放寬為整個網域；包含子網域 再加入 help.example.com 這類子網域；允許外部連結 才會爬到其他網站
網址規則	網址排除規則 優先於 網址比對規則；設了比對規則後，不符合任何一條的網址都不爬。規則是正規表示式，預設只比對網址的路徑部分（不含主機名稱與參數）
深度	最大爬取深度 是「發現順序」的層數：起始網址與 sitemap 裡列出的網址算第 0 層，從它們連出去的頁面是第 1 層，再連出去的是第 2 層，依此類推。只要超過設定的層數就不再往下找
頁數	最大爬取頁數 是這次爬取的總頁數上限，達到就停止，和深度無關
Sitemap	預設 優先使用 sitemap：網站有 sitemap 時，裡面列出的網址會直接納入（視為第 0 層），即使起始頁面沒有連到它們；忽略 sitemap 只沿連結找；僅使用 sitemap 只爬 sitemap 列出的網址
網址參數	忽略網址參數 開啟時，?page=2 這類只差參數的網址視為同一頁，只爬一次；頁面內容靠參數切換的網站請關閉
robots.txt	一律遵守目標網站的 robots.txt，被禁止的路徑不會爬取，也無法用設定繞過

同一個網址在一次爬取中只會處理一次，不會因為多個頁面都連到它而重複爬取。

只想抓起始頁這一頁時：Sitemap 策略選 忽略 sitemap、最大爬取深度設 1，並在 網址比對規則 加入只符合該頁路徑的規則（例如 ^/about/?$），再用 預覽 確認「將爬取」只有這一頁。

設定完成後點 下一步。

4. 選擇執行方式與匯入知識庫

第三步「執行方式」決定何時爬取，以及爬完之後要匯入哪裡。

執行方式

• 單次執行：建立後立即執行一次爬取

• 排程執行：依設定的排程週期執行爬取（設定方式見下一節「設定定期排程」）

知識庫設定

• 匯入至既有知識庫：在 自動匯入目標（選填） 選擇一個或多個知識庫，爬取完成後會自動匯入；留空則只爬取頁面、不自動匯入，之後可再手動匯入

• 自動建立新知識庫：每次執行都會以任務名稱自動建立一個新的知識庫，並將爬取內容匯入其中

選擇了匯入目標後，會出現 網址已存在時的處理方式，用來處理同一個網址已經匯入過該知識庫的情況：

選項	說明
略過（預設）	已匯入到此知識庫的網址將被略過
覆蓋	現有檔案會被新爬取的內容取代
允許重複	即使網址已存在，仍會建立新的檔案

執行方式：選擇單次執行，並指定自動匯入的知識庫與重複網址的處理方式

定期同步同一個網站時，建議使用 略過 或 覆蓋，避免知識庫中累積重複的檔案，導致 Agent 引用到舊內容。

5. 預覽並建立

建立前可以先點 預覽，確認實際會爬取哪些頁面。預覽會探索網站網址並計費，系統會先跳出確認視窗，按 確定 後才會執行。

預覽結果會顯示發現的網址數、將爬取與被排除的網址數、預估頁數與預估時間，並列出將爬取的頁面。

預覽：建立前先確認將爬取的頁面數量與清單

預覽是預估結果，實際爬取會因深度限制、JavaScript 動態頁面與 robots.txt 而略有差異。

確認無誤後點 建立。單次執行的請求會出現在「頁面爬取請求」分頁，並開始爬取。

若這個網址先前已經爬取過，系統會跳出 此網址已被爬取過 的確認視窗，列出先前爬取的時間、頁面數與已匯入的知識庫。確定仍要重新爬取時點 再次爬取，不需要則點 取消。

重複爬取提醒：可先確認先前的爬取結果，再決定是否重新爬取

設定定期排程

網站內容會持續更新時，可在第三步選擇 排程執行，讓系統定期重新爬取並自動匯入知識庫。

欄位	說明
頻率	單次、每日、每週、每月
時區	排程時間所依據的時區
開始日期／結束日期	排程生效期間；結束日期為選填，頻率為「單次」時只需開始日期
執行時間	每次執行的時間
週幾執行	頻率為「每週」時，勾選要執行的星期（可複選）
每月幾號	頻率為「每月」時，填寫 1–31

排程執行：設定每週一早上 9 點自動爬取並匯入知識庫

建立後，排程會列在 排程 分頁，顯示排程設定與狀態（啟用中／已暫停）。操作欄的圖示依序可以：

• 編輯：開啟「編輯排程」修改任務名稱、爬取設定、排程時間與知識庫設定（起始網址建立後無法修改）

• 執行紀錄：查看這個排程每一次執行的時間與爬取狀態，並可進入該次爬取的詳情

• 暫停／啟用：暫時停止排程，或重新啟用

• 刪除：刪除排程

排程分頁：查看排程設定，並可編輯、查看執行紀錄、暫停或刪除

每次排程執行都會實際爬取網頁並消耗 Credits。暫時不需要同步時，建議先暫停排程。

查看爬取結果與匯入紀錄

在「頁面爬取請求」分頁點選該筆請求的 詳情，進入 爬取請求詳情 頁面：

• 爬取進度：已處理頁面與總頁面數

• 爬取任務設定：展開後可回顧建立時的網址、爬取設定與執行方式；切到「爬取設定」可看到這次使用的 爬取語系／地區（未設定時顯示「預設（不指定）」）

• 已爬取頁面：列出每個爬到的頁面標題、URL、爬取狀態與完成時間

爬取請求詳情：查看爬取進度與已爬取的頁面

爬取任務設定：唯讀顯示這次使用的爬取語系／地區

切換到 匯入紀錄 分頁，可以看到每一次匯入的時間、匯入的知識庫、匯入方式（依建立時的設定自動匯入者顯示「自動」），以及成功與失敗的頁數。

匯入紀錄：每次匯入的知識庫、匯入方式與成功／失敗頁數

點操作欄的圖示可開啟 匯入頁面列表，逐頁查看匯入狀態，以及對應的知識庫檔案。

匯入頁面列表：確認每個頁面匯入後對應的知識庫檔案

此外，在「頁面爬取請求」列表中，已完成的請求可點 檢視 開啟 失敗匯入紀錄，選擇知識庫後查看匯入失敗的頁面與失敗原因。

匯入後的內容會以 .md 檔呈現在知識庫的文件列表中（檔名取自頁面標題），和一般文件一樣可以設定標籤與元資料。這些檔案的 來源 欄會顯示 爬蟲 標籤，點選即可回到對應的爬取請求詳情。系統也會把來源網址寫進文件的 url 元資料，Agent 引用這份文件時，使用者點引用會直接開啟原始網頁；內容保留方式見知識庫總覽的常見問題。

手動匯入爬取頁面

建立時沒有設定自動匯入，或想把頁面匯入其他知識庫時，可以手動匯入：

1. 在爬取請求詳情頁點 匯入知識庫（或在列表中點該筆請求的 匯入）

2. 選擇要匯入的 知識庫，並選擇 網址已存在時的處理方式

3. 勾選要匯入的頁面，點 匯入

手動匯入：選擇知識庫、重複網址處理方式與要匯入的頁面

若選擇 略過 且部分網址已經匯入過，系統會提示建立了幾個匯入任務、略過了幾個重複網址。

手動匯入時會重新爬取最新頁面資料，會產生一次爬取費用。

爬取或匯入失敗時怎麼查

先分清楚是哪一段失敗，再對照原因：

現象	常見原因	怎麼處理
建立請求時就被擋下	起始網址超過 200 個字元，或不是完整的網址（需含 http:// 或 https://）	改用較短的上層網址作為起點，再用爬取深度與比對規則涵蓋目標頁面
爬取狀態為失敗，原因是「爬取已結束，但沒有取得任何頁面」	目標網站的 robots.txt 不允許爬取（原因會列出被阻擋的網址）；網站阻擋自動化存取；起始網址無法載入	確認網址在未登入的瀏覽器中打得開。網站不允許爬取時，請改用上傳檔案的方式提供內容
爬到的頁面比預期少	頁面超出爬取網域範圍、被排除規則排除、超過最大爬取深度或頁數；內容由 JavaScript 動態載入	建立前先用預覽確認「將爬取」與「被排除」的網址，再調整深度、頁數與比對規則
頁面需要登入才能看	爬蟲只能讀取公開頁面	把內容匯出成檔案後上傳到知識庫
網站只放行白名單 IP，想把爬蟲的來源 IP 加進去	爬取由雲端爬取服務執行，來源 IP 不固定，MaiAgent 無法提供可加入白名單的 IP	請網站管理者把要提供的內容匯出成檔案，上傳到知識庫
爬取成功，但匯入知識庫失敗	個別頁面在匯入時處理失敗	在「頁面爬取請求」列表點 檢視 開啟 失敗匯入紀錄，選擇知識庫後查看每一頁的 失敗原因，再用 手動匯入 重新匯入

失敗原因看不出問題，或同一個網址反覆失敗時，請記下爬取請求的名稱與時間，洽 MaiAgent 窗口。

爬蟲使用注意事項

• 請確保您有權限爬取目標網站內容

• 爬取、預覽與手動匯入都會消耗 Credits，建議先用較小的最大爬取深度與頁數測試，確認範圍後再擴大

• 爬取完成後可透過搜尋測試功能驗證資料品質

• 網站內容經常更新時，建議使用定期排程保持資訊時效性，並搭配 略過 或 覆蓋 避免重複檔案