> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/maiagent-user-guide/ja/build/knowledge-base/scrape-website.md).

# クローラーによるデータ収集の利用方法

URL を入力し、クロール範囲を設定して、単発実行または定期スケジュールを選択すると、MaiAgent がウェブページを自動でクロールしてナレッジベースにインポートします。インポート履歴で毎回の結果も確認できます。

## 機能の用途と価値 <a href="#feature-purpose-and-value" id="feature-purpose-and-value"></a>

企業で働く方は、上司から公開ウェブサイトの法規情報を参照・整理するよう指示されたり、公式サイトの最新の製品情報や FAQ を Agent に把握させたりする機会があるかもしれません。

技術的な知識がある場合や、エンジニアの協力が得られる場合は、クローラープログラムを書いて自動でデータを取得できます。しかし、技術に詳しくない方は通常、ページを一つずつ手作業で整理する必要があり、時間と手間がかかるだけでなく、重要な情報を見落としやすくなります。

MaiAgent のクローラー機能を使えば、No-Code（プログラミング不要）で次のことができます。

* **ウェブサイトの指定範囲をまとめてクロール**：クロール深度、ページ数の上限、URL ルールを設定し、収集するページを決めます
* **単発実行または定期スケジュール**：すぐに 1 回実行するほか、毎日・毎週・毎月、自動で再クロールできます
* **ナレッジベースへ自動インポート**：クロール後に指定したナレッジベースへ直接インポートします。URL が重複する場合は、スキップ・上書き・重複を許可から選べます
* **インポート結果を確認**：毎回のインポートで成功したページ数と失敗したページ数をインポート履歴で確認できます

## 利用シーン <a href="#use-case" id="use-case"></a>

ある企業のカスタマーサポート責任者は、AI カスタマーサポートの回答を公式サイトの FAQ と一致させたいと考えています。まず、公式サイトの FAQ 専用のナレッジベースを作成し、「クローラー」でクロールリクエストを作成します。公式サイトの FAQ の URL を入力し、最大クロール深度とページ数を小さく設定して、FAQ 関連ページだけが対象になることを確認します。実行方法は「スケジュール実行」、頻度は毎週月曜日の午前 9 時に設定し、自動インポート先には作成したナレッジベースを選び、既存 URL の処理方法を「スキップ」にします。作成すると、スケジュールタブに毎週同期するタスクが表示されます。その後は、クロールが完了するたびに、クロールリクエスト詳細の「インポート履歴」で、自動インポート先のナレッジベースと成功・失敗したページ数を確認できます。公式サイトの FAQ が更新されても、エンジニアにデータ整理を依頼する必要はありません。

## クロールの手順 <a href="#how-to-scrape" id="how-to-scrape"></a>

{% hint style="info" %}
左側のメニューに「クローラー」が表示されない場合、アカウントにクローラーへのアクセス権限がありません。組織管理者に権限設定を確認してください。
{% endhint %}

### 1. クローラーページを開く <a href="#open-crawler" id="open-crawler"></a>

左側のメニューで <mark style="color:blue;">AI 機能</mark> → <mark style="color:blue;">クローラー</mark> をクリックします。ページには 2 つのタブがあります。

* <mark style="color:blue;">ページクロールリクエスト</mark>：各クロールを一覧表示します。単発実行と、スケジュールの自動実行ごとに生成されるクロールが含まれます。名前や URL で検索でき、種類（単発／スケジュール）とクロール状態（完了／実行中／失敗）で絞り込めます
* <mark style="color:blue;">スケジュール</mark>：定期クロールのスケジュール設定を一覧表示します

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-e4539a8db7b766461e78291d443ecd5bdab3035f%2Fcrawl-list-requests.png?alt=media" alt="クローラーページのページクロールリクエストタブ。完了した単発クロールが 1 件表示され、操作欄に詳細、インポート、表示があります"><figcaption><p>ページクロールリクエストタブ：各リクエストの種類、クロール状態、作成日時を表示します</p></figcaption></figure>

### 2. タスク名と URL を入力する <a href="#step-url" id="step-url"></a>

右上の <mark style="color:blue;">ページクロールリクエストを作成</mark> をクリックします。作成フローは「URL」「クロール設定」「実行方法」の 3 ステップです。

最初のステップで、次の項目を入力します。

* <mark style="color:blue;">タスク名</mark>：このクロールタスクを識別しやすい名前です。例：「商品ページの毎日クロール」
* <mark style="color:blue;">URL</mark>：クロールを開始する URL です

入力したら <mark style="color:blue;">次へ</mark> をクリックします。

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-90d847c058b16aa2555db9acbfb4deb8cb91d7df%2Fcrawl-create-url.png?alt=media" alt="ページクロールリクエスト作成ダイアログの最初のステップ。タスク名と URL を入力します"><figcaption><p>ステップ 1：タスク名と開始 URL を入力します</p></figcaption></figure>

### 3. クロール深度と範囲を設定する <a href="#step-crawl-settings" id="step-crawl-settings"></a>

ステップ 2 の「クロール設定」で、収集するページ数を決めます。<mark style="color:blue;">基本設定</mark> には 2 つの項目があります。

| 項目                                          | 説明                                                          |
| ------------------------------------------- | ----------------------------------------------------------- |
| <mark style="color:blue;">最大クロール深度</mark>   | 開始 URL からリンクをたどる階層数です。1–10 を選択でき、デフォルトは 2 です                |
| <mark style="color:blue;">最大クロールページ数</mark> | 今回収集するページ数の上限です。10、50、100、500、1000、5000 を選択でき、デフォルトは 100 です |

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-b8322b7180855f80945e61f82f8859bbf5c5a8bb%2Fcrawl-create-basic-settings.png?alt=media" alt="クロール設定ステップの基本設定。最大クロール深度は 1、最大クロールページ数は 10 に設定されています"><figcaption><p>基本設定：最大クロール深度と最大クロールページ数でクロール範囲を制御します</p></figcaption></figure>

範囲をより細かく制御したい場合は、<mark style="color:blue;">詳細設定</mark> を展開します。

| 設定                                             | 説明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
| ---------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| <mark style="color:blue;">プロンプトからルールを生成</mark> | 収集したい URL を自然言語で記述します（例：「商品ページのみをクロールし、アーカイブ済みの記事は無視する」）。<mark style="color:blue;">ルールを生成</mark> をクリックすると、AI が下の URL マッチングルールと除外ルールに変換します。生成後も各ルールを編集できます。生成するには、最初のステップで URL を入力しておく必要があります。プロンプトを URL ルールに変換できない場合は「現在は URL による絞り込みのみ対応しています」と表示されます。プロンプトを書き直すか、手動でルールを追加してください。ルールを生成せずに進むと、先に確認ダイアログが表示されます。下の「[プロンプトからルールを生成していない場合の確認](#prompt-not-generated-confirm)」を参照してください                                                                                                                                                                                                  |
| <mark style="color:blue;">URL マッチングルール</mark>  | `/products/*` など、ルールに一致する URL のみをクロールします。ルールを追加しない場合は、範囲内のすべてのページをクロールします                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
| <mark style="color:blue;">URL 除外ルール</mark>     | `/admin/*` や `\.pdf$` など、ルールに一致する URL はクロールしません                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
| <mark style="color:blue;">境界設定</mark>          | <mark style="color:blue;">同階層または上位パスのクロールを許可</mark>、<mark style="color:blue;">サブドメインを含める</mark>、<mark style="color:blue;">外部リンクを許可</mark> を設定します。デフォルトではすべてオフです                                                                                                                                                                                                                                                                                                                                                                                                                         |
| <mark style="color:blue;">Sitemap 戦略</mark>    | <mark style="color:blue;">sitemap を優先（デフォルト）</mark>、<mark style="color:blue;">sitemap を無視</mark>、<mark style="color:blue;">sitemap のみ使用</mark> から選びます                                                                                                                                                                                                                                                                                                                                                                                                                                   |
| <mark style="color:blue;">コンテンツ抽出設定</mark>     | <mark style="color:blue;">メインコンテンツのみ抽出</mark>、<mark style="color:blue;">URL パラメータを無視</mark>（どちらもデフォルトでオン）と、<mark style="color:blue;">JS レンダリング待機時間</mark>（0、500、1000、2000 ms）を設定します                                                                                                                                                                                                                                                                                                                                                                                                     |
| <mark style="color:blue;">クロール言語／地域</mark>     | 指定した言語と地域でウェブサイトを読み取ります。多言語サイトでは対応する言語版が返されます。例えば <mark style="color:blue;">繁体字中国語（台湾）</mark> を選ぶと、英語版への転送を避けられます。<mark style="color:blue;">繁体字中国語（台湾）</mark>、<mark style="color:blue;">簡体字中国語（中国）</mark>、<mark style="color:blue;">English (US)</mark>、<mark style="color:blue;">日本語（日本）</mark> を選択できます。<mark style="color:blue;">デフォルト（指定なし）</mark> はウェブサイトに言語を通知せず、クロールサービスが決定します（現在は英語と同等です）。<mark style="color:blue;">コンテンツ抽出設定</mark> の下にあり、プレビューとスケジュールの各実行で同じ言語・地域が使われます。[多言語サイト：クロール言語／地域を指定する](/maiagent-user-guide/ja/build/knowledge-base/crawler.md#crawl-locale)を参照してください |

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-ea33308d14838c70084cba9240919e27688ce38c%2Fcrawl-create-advanced-settings.png?alt=media" alt="クロール設定ステップの詳細設定を展開した画面。プロンプトからのルール生成、URL マッチングルール、URL 除外ルール、境界設定、Sitemap 戦略、コンテンツ抽出設定と、その下のクロール言語／地域（デフォルト（指定なし））が表示されています"><figcaption><p>詳細設定：URL ルール、境界、Sitemap 戦略でクロール範囲をさらに限定し、クロール言語／地域も指定できます</p></figcaption></figure>

{% hint style="warning" %} <mark style="color:blue;">外部リンクを許可</mark> をオンにすると、サイト外の URL もクロールするため、ページ数と費用が大幅に増える可能性があります。まずは深度とページ数を小さくしてテストし、範囲が正しいことを確認してから増やすことをおすすめします。
{% endhint %}

{% hint style="info" %}
プロンプトは URL のマッチング／除外ルールにのみ変換され、ページのタイトルや本文では絞り込めません。ボタンやフォームでページを切り替える一覧（URL が変わらない場合）では、クローラーが収集できるのは最初のページだけです。
{% endhint %}

#### プロンプトからルールを生成していない場合の確認 <a href="#prompt-not-generated-confirm" id="prompt-not-generated-confirm"></a>

<mark style="color:blue;">プロンプトからルールを生成</mark> に入力したものの、<mark style="color:blue;">ルールを生成</mark> をクリックせずに（または生成後にプロンプトを変更してから）<mark style="color:blue;">次へ</mark> または <mark style="color:blue;">プレビュー</mark> をクリックすると、先に「プロンプトがルールに変換されていません」という確認ダイアログが表示されます。そのまま進むと範囲内のすべてのページがクロールされることを知らせます。

* <mark style="color:blue;">ルールを生成</mark>：プロンプトに基づいて URL ルールを生成します。<mark style="color:blue;">プレビュー</mark> から表示された場合は、まず「クロール設定」ステップに戻って生成します。生成されたルールを確認してから、再度プレビューできます
* <mark style="color:blue;">そのまま続行</mark>：ルールを生成せず、現在の設定で続行します
* 右上の閉じるボタンまたは Esc：現在のステップに留まり、何も実行しません

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-7f8055a4cfe839de6bbcdb293681827d151388cf%2Fcrawl-create-prompt-confirm.png?alt=media" alt="プロンプトがルールに変換されていない場合の確認ダイアログ。そのまま進むと範囲内のすべてのページがクロールされることを説明し、下部にそのまま続行とルールを生成のボタンがあります"><figcaption><p>プロンプトからルールを生成せずに次へをクリックしたときの確認ダイアログです</p></figcaption></figure>

{% hint style="info" %}
確認が表示されるのは、プロンプト自体が変更された場合だけです。生成後に <mark style="color:blue;">URL マッチングルール</mark> や <mark style="color:blue;">URL 除外ルール</mark> を手動で追加・削除しても、プロンプトの変更とはみなされず、確認は再表示されません。<mark style="color:blue;">次へ</mark> で <mark style="color:blue;">そのまま続行</mark> を選んでも、「実行方法」で <mark style="color:blue;">プレビュー</mark> をクリックすると、もう一度確認されます。
{% endhint %}

例えば、ある企業のナレッジ管理担当者が、公式サイトの `/docs/` 配下の説明文書をナレッジベースに取り込みたいとします。プロンプトに「/docs/ 配下のページだけを収集し、PDF は除外する」と入力して、そのまま <mark style="color:blue;">次へ</mark> をクリックすると、確認ダイアログが表示されます。<mark style="color:blue;">ルールを生成</mark> を選ぶと、ルール欄に `/docs/.*` のマッチングルールと `.*\.pdf$` の除外ルールが表示されます。もう一度 <mark style="color:blue;">次へ</mark> をクリックしても確認は繰り返されず、誤ってウェブサイト全体をナレッジベースに取り込むことを防げます。

#### クロール範囲の決まり方 <a href="#crawl-scope-rules" id="crawl-scope-rules"></a>

クローラーは開始 URL を起点に、ページ上のリンクをたどって URL を探します。URL がクロールされるには、次の条件をすべて満たす必要があります。

| 条件         | ルール                                                                                                                                                                                                                                                                                                                                   |
| ---------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| サイト内の範囲    | デフォルトでは、ホスト名が同じで、開始 URL 配下のパスにあるページだけをクロールします（開始 URL が `https://example.com/docs/` の場合、`/docs/a` は対象ですが、`/blog/` は対象外です）。<mark style="color:blue;">同階層または上位パスのクロールを許可</mark> でドメイン全体に広がり、<mark style="color:blue;">サブドメインを含める</mark> で `help.example.com` なども追加されます。他のウェブサイトをクロールするには <mark style="color:blue;">外部リンクを許可</mark> が必要です |
| URL ルール    | <mark style="color:blue;">URL 除外ルール</mark> は <mark style="color:blue;">URL マッチングルール</mark> より優先されます。マッチングルールを設定すると、どのルールにも一致しない URL はクロールされません。ルールは正規表現で、デフォルトでは URL のパス部分のみ（ホスト名とパラメータを除く）に適用されます                                                                                                                                    |
| 深度         | <mark style="color:blue;">最大クロール深度</mark> は「発見順序」の階層数です。開始 URL と sitemap に記載された URL は第 0 階層、そこからリンクされたページは第 1 階層、さらにリンクされたページは第 2 階層と数えます。設定した階層数を超えると、それ以上リンクをたどりません                                                                                                                                                                 |
| ページ数       | <mark style="color:blue;">最大クロールページ数</mark> は今回のクロール全体のページ数上限です。深度に関係なく、上限に達すると停止します                                                                                                                                                                                                                                                  |
| Sitemap    | デフォルトは <mark style="color:blue;">sitemap を優先</mark> です。サイトに sitemap がある場合、開始ページからリンクされていなくても、記載された URL を直接対象に含めます（第 0 階層として扱います）。<mark style="color:blue;">sitemap を無視</mark> はリンクだけをたどり、<mark style="color:blue;">sitemap のみ使用</mark> は sitemap に記載された URL だけをクロールします                                                                |
| URL パラメータ  | <mark style="color:blue;">URL パラメータを無視</mark> がオンの場合、`?page=2` などパラメータだけが異なる URL は同じページとして扱い、1 回だけクロールします。パラメータでページ内容を切り替えるサイトではオフにしてください                                                                                                                                                                                             |
| robots.txt | 対象サイトの robots.txt に必ず従います。禁止されたパスはクロールせず、設定で回避することもできません                                                                                                                                                                                                                                                                              |

同じ URL は、複数のページからリンクされていても、1 回のクロールで一度だけ処理されます。

**開始ページだけを収集したい場合**：Sitemap 戦略を <mark style="color:blue;">sitemap を無視</mark>、最大クロール深度を 1 に設定し、<mark style="color:blue;">URL マッチングルール</mark> にそのページのパスだけに一致するルール（例：`^/about/?$`）を追加します。<mark style="color:blue;">プレビュー</mark> で「クロール対象」がその 1 ページだけになっていることを確認してください。

設定したら <mark style="color:blue;">次へ</mark> をクリックします。

### 4. 実行方法とナレッジベースへのインポートを選ぶ <a href="#step-execution" id="step-execution"></a>

ステップ 3 の「実行方法」で、クロールするタイミングと、クロール後のインポート先を決めます。

**実行方法**

* <mark style="color:blue;">単発実行</mark>：作成後すぐに 1 回クロールします
* <mark style="color:blue;">スケジュール実行</mark>：設定した周期でクロールします（設定方法は次の「[定期スケジュールの設定](#schedule)」を参照してください）

**ナレッジベース設定**

* <mark style="color:blue;">既存のナレッジベースにインポート</mark>：<mark style="color:blue;">自動インポート先（任意）</mark> で 1 つ以上のナレッジベースを選ぶと、クロール後に自動でインポートされます。空欄にするとページのクロールのみ行い、自動インポートはしません。後から[手動でインポート](#manual-import)できます
* <mark style="color:blue;">新しいナレッジベースを自動作成</mark>：実行のたびに、タスク名を使って新しいナレッジベースを自動作成し、クロールした内容をインポートします

インポート先を選ぶと <mark style="color:blue;">既存 URL の処理方法</mark> が表示され、同じ URL がそのナレッジベースにすでにインポートされている場合の処理を選べます。

| 選択肢                                          | 説明                              |
| -------------------------------------------- | ------------------------------- |
| <mark style="color:blue;">スキップ</mark>（デフォルト） | このナレッジベースにインポート済みの URL をスキップします |
| <mark style="color:blue;">上書き</mark>         | 既存のファイルを新しくクロールした内容に置き換えます      |
| <mark style="color:blue;">重複を許可</mark>       | URL がすでに存在していても、新しいファイルを作成します   |

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-b849114622ef4fe018592ac55f4824c782ab52d5%2Fcrawl-create-execution-oneshot.png?alt=media" alt="実行方法ステップで単発実行と既存のナレッジベースへのインポートを選択した画面。既存 URL の処理方法が表示され、デフォルトはスキップです"><figcaption><p>実行方法：単発実行を選び、自動インポート先のナレッジベースと重複 URL の処理方法を指定します</p></figcaption></figure>

{% hint style="info" %}
同じサイトを定期的に同期する場合は、<mark style="color:blue;">スキップ</mark> または <mark style="color:blue;">上書き</mark> をおすすめします。ナレッジベースに重複ファイルが蓄積し、Agent が古い内容を引用することを防げます。
{% endhint %}

### 5. プレビューして作成する <a href="#preview-and-create" id="preview-and-create"></a>

作成前に <mark style="color:blue;">プレビュー</mark> をクリックして、実際にクロールするページを確認できます。プレビューはサイトの URL を探索し、料金が発生します。先に確認ダイアログが表示され、<mark style="color:blue;">確認</mark> をクリックしてから実行されます。

プレビュー結果には、発見した URL 数、クロール対象と除外対象の URL 数、推定ページ数と推定所要時間、およびクロール対象のページ一覧が表示されます。

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-98ade6f0b412295b27e59ddb54058d43ec4ade6b%2Fcrawl-preview.png?alt=media" alt="プレビューダイアログ。対象 URL、発見した URL 数、クロール対象と除外対象の数、推定ページ数、推定所要時間、およびクロール対象ページの一覧を表示しています"><figcaption><p>プレビュー：作成前にクロール対象のページ数と一覧を確認します</p></figcaption></figure>

{% hint style="info" %}
プレビューは推定結果です。実際のクロールでは、深度制限、JavaScript で動的に生成されるページ、robots.txt によって多少の違いが生じます。
{% endhint %}

問題がなければ <mark style="color:blue;">作成</mark> をクリックします。単発実行のリクエストは「ページクロールリクエスト」タブに表示され、クロールが始まります。

この URL が過去にクロールされている場合は、<mark style="color:blue;">この URL はクロール済みです</mark> という確認ダイアログが表示されます。以前のクロール日時、ページ数、インポート先のナレッジベースを確認できます。再クロールする場合は <mark style="color:blue;">再クロール</mark>、不要な場合は <mark style="color:blue;">キャンセル</mark> をクリックします。

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-1701750793d8cd036def10ccfdc6c13d6294e3a0%2Fcrawl-previously-crawled.png?alt=media" alt="この URL はクロール済みですという確認ダイアログ。以前のクロール日時、サブページ数、インポート先のナレッジベースを表示しています"><figcaption><p>再クロールの確認：以前のクロール結果を確認してから、再度実行するか判断できます</p></figcaption></figure>

## 定期スケジュールの設定 <a href="#schedule" id="schedule"></a>

サイトの内容が継続的に更新される場合は、ステップ 3 で <mark style="color:blue;">スケジュール実行</mark> を選び、定期的に再クロールしてナレッジベースへ自動インポートできます。

| 項目                                                                        | 説明                                                                                                                                                        |
| ------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------- |
| <mark style="color:blue;">頻度</mark>                                       | <mark style="color:blue;">1 回のみ</mark>、<mark style="color:blue;">毎日</mark>、<mark style="color:blue;">毎週</mark>、<mark style="color:blue;">毎月</mark> から選びます |
| <mark style="color:blue;">タイムゾーン</mark>                                   | スケジュール時刻の基準となるタイムゾーンです                                                                                                                                    |
| <mark style="color:blue;">開始日</mark>／<mark style="color:blue;">終了日</mark> | スケジュールの有効期間です。終了日は任意で、頻度が「1 回のみ」の場合は開始日だけが必要です                                                                                                            |
| <mark style="color:blue;">実行時刻</mark>                                     | 毎回の実行時刻です                                                                                                                                                 |
| <mark style="color:blue;">実行する曜日</mark>                                   | 頻度が「毎週」の場合、実行する曜日を選びます（複数選択可）                                                                                                                             |
| <mark style="color:blue;">毎月の実行日</mark>                                   | 頻度が「毎月」の場合、1–31 を入力します                                                                                                                                    |

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-2d4abe505f3c1a4ac079e7c5eabefd3ebea96cdb%2Fcrawl-create-execution-schedule.png?alt=media" alt="スケジュール実行設定。頻度は毎週、タイムゾーンは Asia/Taipei、実行時刻は 09:00、曜日は月曜日で、既存のナレッジベースへのインポートを選択しています"><figcaption><p>スケジュール実行：毎週月曜日の午前 9 時に自動でクロールし、ナレッジベースにインポートします</p></figcaption></figure>

作成後、<mark style="color:blue;">スケジュール</mark> タブに設定と状態（<mark style="color:blue;">有効</mark>／<mark style="color:blue;">一時停止中</mark>）が表示されます。操作欄のアイコンでは、左から順に次の操作ができます。

* **編集**：「スケジュールを編集」を開き、タスク名、クロール設定、スケジュール時刻、ナレッジベース設定を変更します（開始 URL は作成後に変更できません）
* **実行履歴**：このスケジュールの各実行日時とクロール状態を確認し、そのクロールの詳細を開けます
* **一時停止／有効化**：スケジュールを一時停止するか、再び有効にします
* **削除**：スケジュールを削除します

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-a004c12c146f1a0a9fae14b5ee685e937d16b530%2Fcrawl-schedule-list.png?alt=media" alt="スケジュールタブ。毎週月曜日の 9:00 に実行する有効なスケジュールが 1 件表示され、操作欄に編集、実行履歴、一時停止、削除のアイコンがあります"><figcaption><p>スケジュールタブ：設定の確認、編集、実行履歴の表示、一時停止、削除ができます</p></figcaption></figure>

{% hint style="warning" %}
スケジュールの各実行では実際にウェブページをクロールし、Credits を消費します。一時的に同期が不要な場合は、スケジュールを一時停止することをおすすめします。
{% endhint %}

## クロール結果とインポート履歴を確認する <a href="#results-and-import-history" id="results-and-import-history"></a>

「ページクロールリクエスト」タブで該当リクエストの <mark style="color:blue;">詳細</mark> をクリックすると、<mark style="color:blue;">クロールリクエスト詳細</mark> ページが開きます。

* <mark style="color:blue;">クロール進捗</mark>：処理済みページ数と総ページ数を表示します
* <mark style="color:blue;">クロールタスク設定</mark>：展開すると、作成時の URL、クロール設定、実行方法を確認できます。「クロール設定」に切り替えると、今回使用した <mark style="color:blue;">クロール言語／地域</mark> を確認できます（未設定の場合は「デフォルト（指定なし）」と表示されます）
* <mark style="color:blue;">クロール済みページ</mark>：各ページのタイトル、URL、クロール状態、完了日時を一覧表示します

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-0d2fa9e3af7c9c17622c9a76458e1535b3a2f8f8%2Fcrawl-detail.png?alt=media" alt="クロールリクエスト詳細ページ。クロール進捗、クロールタスク設定、クロール済みページ一覧を表示しています"><figcaption><p>クロールリクエスト詳細：進捗とクロール済みページを確認します</p></figcaption></figure>

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-5c79ddd8513569f8e090b2f8f926a1d2a7dedb09%2Fcrawl-detail-locale.png?alt=media" alt="クロールタスク設定のコンテンツ抽出設定欄。クロール言語／地域は繁体字中国語（台湾）として読み取り専用で表示され、下のクロール済みページ一覧には中国語タイトルの完了ページが 1 件表示されています"><figcaption><p>クロールタスク設定：今回使用したクロール言語／地域を読み取り専用で表示します</p></figcaption></figure>

<mark style="color:blue;">インポート履歴</mark> タブに切り替えると、各インポートの日時、インポート先のナレッジベース、<mark style="color:blue;">インポート方法</mark>（作成時の設定による自動インポートは「自動」と表示）、成功したページ数と失敗したページ数を確認できます。

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-e7cd87be7b457d330db2ca3192ca780cf6fb4cab%2Fcrawl-import-history.png?alt=media" alt="インポート履歴タブ。デモ用ナレッジベースへのインポートが 1 件表示され、インポート方法は自動、成功は 1、失敗は 0 です"><figcaption><p>インポート履歴：各インポートのナレッジベース、方法、成功／失敗したページ数を確認できます</p></figcaption></figure>

操作欄のアイコンをクリックすると <mark style="color:blue;">インポートページ一覧</mark> が開き、ページごとのインポート状態と、対応するナレッジベースのファイルを確認できます。

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-776aee0d55309e3f78688782e1f8b4c84cbd41f7%2Fcrawl-import-run-pages.png?alt=media" alt="インポートページ一覧ダイアログ。ページタイトル、URL、成功したインポート状態、対応するナレッジベースのファイルを表示しています"><figcaption><p>インポートページ一覧：各ページのインポート先ファイルを確認します</p></figcaption></figure>

また、「ページクロールリクエスト」一覧で完了したリクエストの <mark style="color:blue;">表示</mark> をクリックすると、<mark style="color:blue;">インポート失敗履歴</mark> が開きます。ナレッジベースを選んで、インポートに失敗したページと原因を確認できます。

インポートされた内容は、ナレッジベースの文書一覧に .md ファイルとして表示されます（ファイル名はページタイトルに基づきます）。通常の文書と同様に、タグやメタデータを設定できます。これらのファイルの <mark style="color:blue;">ソース</mark> 欄には <mark style="color:blue;">クローラー</mark> ラベルが表示され、クリックすると対応するクロールリクエスト詳細に戻れます。また、システムは元の URL を文書の `url` メタデータに書き込みます。Agent がこの文書を引用した場合、ユーザーが引用をクリックすると元のウェブページが直接開きます。コンテンツの保持方法は、[ナレッジベース概要のよくある質問](/maiagent-user-guide/ja/build/knowledge-base/km.md#faq-format-preservation)を参照してください。

## クロールしたページを手動でインポートする <a href="#manual-import" id="manual-import"></a>

作成時に自動インポートを設定しなかった場合や、別のナレッジベースにページをインポートしたい場合は、手動でインポートできます。

1. クロールリクエスト詳細ページで <mark style="color:blue;">ナレッジベースにインポート</mark> をクリックします（または一覧で該当リクエストの <mark style="color:blue;">インポート</mark> をクリックします）
2. インポート先の <mark style="color:blue;">ナレッジベース</mark> を選び、<mark style="color:blue;">既存 URL の処理方法</mark> を選択します
3. インポートするページを選び、<mark style="color:blue;">インポート</mark> をクリックします

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-b84abfbe106ef4aab81f035bee907c9c9c77b2e2%2Fcrawl-manual-import.png?alt=media" alt="ページ一覧ダイアログ。ナレッジベースと既存 URL の処理方法を選び、インポートするページを選択します"><figcaption><p>手動インポート：ナレッジベース、重複 URL の処理方法、インポートするページを選びます</p></figcaption></figure>

<mark style="color:blue;">スキップ</mark> を選び、一部の URL がすでにインポートされている場合は、作成されたインポートタスク数とスキップされた重複 URL 数が表示されます。

{% hint style="warning" %}
手動インポートでは最新のページデータを再クロールするため、クロール料金が 1 回分発生します。
{% endhint %}

## クロールやインポートに失敗した場合の確認方法 <a href="#troubleshooting" id="troubleshooting"></a>

まず、どの段階で失敗したかを確認し、原因と照らし合わせてください。

| 現象                                                       | よくある原因                                                                                         | 対処方法                                                                                                                                                                                                                    |
| -------------------------------------------------------- | ---------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| リクエストの作成時に拒否されます                                         | 開始 URL が 200 文字を超えているか、完全な URL ではありません（`http://` または `https://` が必要です）                         | より短い上位の URL を開始点にし、クロールの深さとマッチングルールで対象ページをカバーしてください                                                                                                                                                                     |
| クロールのステータスが失敗となり、理由に「クロールは終了しましたが、ページを取得できませんでした」と表示されます | 対象サイトの robots.txt がクロールを許可していません（理由にはブロックされた URL が表示されます）。サイトが自動アクセスをブロックしているか、開始 URL を読み込めません | ログインしていないブラウザーで URL を開けるか確認してください。サイトがクロールを許可していない場合は、ファイルをアップロードしてコンテンツを提供してください                                                                                                                                       |
| クロールされたページ数が想定より少ないです                                    | ページがクロール対象のドメイン範囲外である、除外ルールで除外されている、最大クロール深度やページ数を超えている、またはコンテンツが JavaScript で動的に読み込まれています     | 作成前にプレビューで「クロール対象」と「除外」の URL を確認し、深さ、ページ数、マッチングルールを調整してください                                                                                                                                                             |
| ページの閲覧にログインが必要です                                         | クローラーが読み取れるのは公開ページのみです                                                                         | コンテンツをファイルにエクスポートしてから、ナレッジベースにアップロードしてください                                                                                                                                                                              |
| サイトが許可リストの IP のみを受け入れるため、クローラーの送信元 IP を追加したいです           | クロールはクラウドのクロールサービスが実行し、送信元 IP は固定されていません。MaiAgent は許可リストに追加できる IP を提供できません                     | サイト管理者にコンテンツをファイルへエクスポートしてもらい、ナレッジベースにアップロードしてください                                                                                                                                                                      |
| クロールは成功しましたが、ナレッジベースへのインポートが失敗します                        | インポート時に個別のページの処理が失敗しています                                                                       | 「ページクロールリクエスト」一覧で <mark style="color:blue;">表示</mark> をクリックして <mark style="color:blue;">インポート失敗記録</mark> を開きます。ナレッジベースを選択し、各ページの <mark style="color:blue;">失敗理由</mark> を確認してから、[手動インポート](#manual-import) で再度インポートしてください |

失敗理由から問題を特定できない場合や、同じ URL で繰り返し失敗する場合は、クロールリクエストの名前と日時を記録し、MaiAgent の担当窓口にお問い合わせください。

## クローラー利用時の注意事項 <a href="#scraping-considerations" id="scraping-considerations"></a>

* 対象サイトのコンテンツをクロールする権限があることを確認してください
* クロール、プレビュー、手動インポートはいずれも Credits を消費します。まず最大クロール深度とページ数を小さくしてテストし、範囲を確認してから拡大することをおすすめします
* クロール完了後は、[検索テスト機能](/maiagent-user-guide/ja/build/knowledge-base/test-search-result.md)でデータの品質を検証できます
* サイトのコンテンツが頻繁に更新される場合は、[定期スケジュール](#schedule)で情報を最新に保ち、<mark style="color:blue;">スキップ</mark> または <mark style="color:blue;">上書き</mark> を併用してファイルの重複を防ぐことをおすすめします


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.maiagent.ai/maiagent-user-guide/ja/build/knowledge-base/scrape-website.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.