クローラー（データ収集）機能の使い方
URL を入力してクロール範囲を設定し、単発実行または定期実行を選択します。MaiAgent が Web ページを自動でクロールしてナレッジベースにインポートし、各回のインポート結果を履歴で確認できます。
機能の目的とメリット
企業の担当者は、上司から公開 Web サイトの法規制情報を参照・整理するよう指示されたり、AI アシスタントに自社サイトの最新の製品情報や FAQ を把握させる必要があったりします。
技術的な知識がある場合やエンジニアの支援を受けられる場合は、クローラープログラムを書いて情報収集を自動化できます。しかし、技術者ではない担当者がページを一つずつ手作業で整理するには時間と労力がかかり、重要な情報を見落とすおそれもあります。
MaiAgent のクローラー機能なら、No-Code（プログラミング不要）で次のことができます。
Web サイト全体の対象範囲を一度にクロール：クロール深度、ページ数の上限、URL ルールを設定して、収集するページを指定できます。
単発実行または定期実行：すぐに一度だけクロールすることも、毎日・毎週・毎月、自動で再クロールすることもできます。
ナレッジベースへの自動インポート：クロール後、指定したナレッジベースに直接インポートします。同じ URL がある場合は、スキップ、上書き、重複を許可から選べます。
インポート結果の確認：各回の成功ページ数と失敗ページ数をインポート履歴で確認できます。
利用例
ある企業のカスタマーサポート責任者は、AI サポートの回答を自社サイトの FAQ と一致させたいと考えています。まず FAQ 専用のナレッジベースを作成し、「クローラー」でクロールリクエストを作成します。自社サイトの FAQ の URL を入力し、最大クロール深度とページ数の上限を小さく設定して、FAQ 関連ページだけが対象になることを確認します。実行方法は「定期実行」、頻度は毎週月曜日の午前 9 時に設定し、自動インポート先には新しいナレッジベースを選びます。URL がすでに存在する場合は「スキップ」を選びます。作成すると、この週次同期タスクが「スケジュール」タブに表示されます。クロールのたびに、リクエスト詳細の「インポート履歴」から、インポート先のナレッジベースと成功・失敗したページ数を確認できます。自社サイトの FAQ が更新されても、エンジニアに再整理を依頼する必要はありません。
Web サイトをクロールする方法
1. クローラーページを開く
左側のメニューで AI 機能 → クローラー をクリックします。ページには次の二つのタブがあります。
ページクロールリクエスト：単発実行とスケジュールによる自動実行を含む、すべてのクロールを一覧表示します。名前や URL で検索し、種類（単発／定期）とクロール状態（完了／実行中／失敗）で絞り込めます。
スケジュール：定期クロールのスケジュール設定を一覧表示します。
2. タスク名と URL を入力する
右上の ページクロールリクエストを作成 をクリックします。作成手順は「URL」「クロール設定」「実行方法」の三つのステップに分かれています。
最初のステップで次を入力します。
タスク名：クロールタスクを識別しやすい名前です。例：「商品ページを毎日クロール」
URL：クロールを開始する URL です。
入力後、次へ をクリックします。
3. クロール深度と範囲を設定する
二つ目の「クロール設定」で、収集するページ数を決めます。基本設定には二つの項目があります。
最大クロール深度
開始 URL からリンクをたどる階層数です。1～10 から選択でき、初期値は 2 です。
最大クロールページ数
今回収集するページ数の上限です。10、50、100、500、1000、5000 から選択でき、初期値は 100 です。
対象範囲をより細かく制御するには、詳細設定を開きます。
URL 一致ルール
/products/* など、ルールに一致する URL のみをクロールします。ルールを追加しない場合は、対象範囲内のすべてのページをクロールします。
URL 除外ルール
/admin/* や \.pdf$ など、ルールに一致する URL をクロールしません。
境界設定
同じ階層または上位パスのクロールを許可、サブドメインを含める、外部リンクを許可を設定します。初期状態ではすべてオフです。
Sitemap の方針
sitemap を優先（初期値）、sitemap を無視、sitemap のみを使用から選べます。
コンテンツ抽出設定
主要コンテンツのみ抽出とURL パラメータを無視は初期状態でオンです。JS 描画の待機時間は 0、500、1000、2000 ms から選べます。
外部リンクを許可をオンにすると、サイト外の URL もクロールされ、ページ数と費用が大幅に増える可能性があります。まずは深度とページ数の上限を小さくして範囲を確認し、その後で拡大してください。
設定が終わったら 次へ をクリックします。
4. 実行方法とナレッジベースを選ぶ
三つ目の「実行方法」で、クロールの時期とインポート先を決めます。
実行方法
単発実行：作成後すぐに一度クロールします。
定期実行：設定した周期でクロールします（設定方法は次の「定期スケジュールを設定する」を参照してください）。
ナレッジベース設定
既存のナレッジベースにインポート：自動インポート先（任意）で一つ以上のナレッジベースを選びます。クロール後に自動でインポートされます。空欄のままにするとクロールのみ実行され、後から手動でインポートできます。
新しいナレッジベースを自動作成：実行のたびにタスク名を付けた新しいナレッジベースを作成し、クロールした内容をインポートします。
インポート先を選ぶと、同じ URL がすでにそのナレッジベースにインポートされている場合の既存 URL の処理方法を設定できます。
スキップ（初期値）
このナレッジベースにインポート済みの URL をスキップします。
上書き
既存のファイルを新しくクロールした内容で置き換えます。
重複を許可
URL がすでに存在していても、新しいファイルを作成します。
5. プレビューして作成する
作成前に プレビューをクリックすると、実際にクロールされるページを確認できます。プレビューでは Web サイトの URL を探索するため、料金が発生します。先に確認画面が表示され、確認をクリックすると実行されます。
プレビュー結果には、見つかった URL 数、クロール対象と除外対象の URL 数、推定ページ数と所要時間、クロール対象ページの一覧が表示されます。
内容を確認して 作成をクリックします。単発実行のリクエストは「ページクロールリクエスト」タブに表示され、クロールが始まります。
この URL を以前クロールしたことがある場合は、この URL は以前クロールされていますという確認画面に、前回のクロール日時、ページ数、インポート先のナレッジベースが表示されます。再びクロールする場合は 再クロール、不要な場合は キャンセルをクリックします。
定期スケジュールを設定する
Web サイトの内容が更新され続ける場合は、ステップ 3 で 定期実行を選び、定期的に再クロールしてナレッジベースへ自動インポートできます。
頻度
単発、毎日、毎週、毎月から選びます。
タイムゾーン
スケジュール時刻の基準となるタイムゾーンです。
開始日／終了日
スケジュールが有効な期間です。終了日は任意で、頻度が「単発」の場合は開始日のみ必要です。
実行時刻
毎回実行する時刻です。
実行する曜日
頻度が「毎週」の場合、実行する曜日を選択します（複数選択可）。
毎月の実行日
頻度が「毎月」の場合、1～31 の日付を入力します。
作成したスケジュールは スケジュールタブに表示され、設定と状態（有効／一時停止）を確認できます。操作欄のアイコンでは、次の操作ができます。
編集：「スケジュールを編集」を開き、タスク名、クロール設定、実行時刻、ナレッジベース設定を変更します。開始 URL は作成後に変更できません。
実行履歴：各回の実行時刻とクロール状態を確認し、その回の詳細を開けます。
一時停止／有効化：スケジュールを一時停止または再開します。
削除：スケジュールを削除します。
スケジュールの実行ごとに実際に Web ページをクロールし、Credits を消費します。一時的に同期が不要な場合は、スケジュールを一時停止してください。
クロール結果とインポート履歴を確認する
「ページクロールリクエスト」タブで対象リクエストの 詳細をクリックすると、クロールリクエスト詳細ページが開きます。
クロールの進捗：処理済みページ数と総ページ数を表示します。
クロールタスクの設定：展開すると、作成時の URL、クロール設定、実行方法を確認できます。
クロール済みページ：各ページのタイトル、URL、クロール状態、完了日時を一覧表示します。
インポート履歴タブに切り替えると、各回のインポート日時、対象ナレッジベース、インポート方法（自動インポートの場合は「自動」）、成功・失敗したページ数を確認できます。
操作欄のアイコンをクリックすると インポート済みページ一覧が開き、各ページのインポート状態と対応するナレッジベースのファイルを確認できます。
また、「ページクロールリクエスト」一覧で完了したリクエストの 表示をクリックすると、インポート失敗履歴が開きます。ナレッジベースを選ぶと、インポートに失敗したページと原因を確認できます。
インポートされた内容は、ナレッジベースの文書一覧に .md ファイルとして表示されます。通常の文書と同様にタグやメタデータを設定できます。ソース欄には クローラータグが表示され、クリックすると対応するクロールリクエストの詳細に戻れます。
クロール済みページを手動でインポートする
作成時に自動インポートを設定しなかった場合や、別のナレッジベースにもページをインポートしたい場合は、手動でインポートできます。
クロールリクエストの詳細ページで ナレッジベースにインポートをクリックします（または一覧で対象リクエストの インポートをクリックします）。
インポート先の ナレッジベースと既存 URL の処理方法を選びます。
インポートするページを選択し、インポートをクリックします。
スキップを選び、一部の URL がすでにインポートされている場合は、作成したインポートタスク数とスキップした重複 URL 数が表示されます。
手動インポートでは最新のページを再クロールするため、クロール料金が発生します。
クローラー利用時の注意事項
最終更新
役に立ちましたか？