> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/maiagent-user-guide/ja/build/knowledge-base/crawler.md).

# クローラー

クローラーとは何かを説明します。URL を指定して Web ページの内容を自動取得し、ナレッジベースに取り込む仕組み、利用する場面、ナレッジベースとの関係、設定前に準備することを紹介します。

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-61507b5c380bef646f2b6892dc510feddab0993d%2Fcrawler-infographic.png?alt=media" alt="クローラーの概念"><figcaption><p>クローラー：Web ページの内容を自動取得し、ナレッジベースに取り込みます</p></figcaption></figure>

## これは何ですか？ <a href="#what-is-this" id="what-is-this"></a>

クローラーは Web ページから内容を自動取得し、ナレッジベースに取り込みます。URL を指定するだけで、そのページ（またはサイト全体）のテキストをクロールし、Agent が参照できる知識に変換できます。

## どのようなときに使いますか？ <a href="#when-do-you-need-it" id="when-do-you-need-it"></a>

* **公式サイトの内容**：企業の公式サイトにある製品紹介やサービス説明を自動で取り込みます
* **公開情報**：法規、告知、技術ドキュメントなどの公開 Web ページを取得します
* **継続的な更新**：サイトの内容は変わるため、定期的に再クロールしてナレッジベースを最新の状態に保ちます

## クローラーとナレッジベースの関係 <a href="#crawler-and-knowledge-base-relationship" id="crawler-and-knowledge-base-relationship"></a>

クローラーはナレッジベースの**データソースの一つ**です。その役割は次のとおりです。

```
データソース                  ナレッジベース                 Agent
─────────                     ──────                       ──────
ファイルを手動アップロード ──→
FAQ を作成                ──→ 企業の知識百科             ──→ 参照して回答
Web ページをクロール      ──→
```

クローラーが取得した内容は最終的にナレッジベースに入ります。Agent がクローラーと直接やり取りすることはありません。

## 何をすればよいですか？ <a href="#what-do-i-need-to-do" id="what-do-i-need-to-do"></a>

1. **URL を入力します** — 取得する Web ページやサイトをクローラーに指定します
2. **範囲を設定します** — 最大クロール深度、最大ページ数、URL ルールで、開始ページのみを取得するか、サイト内のサブページも取得するかを決めます（ルールは[クロール範囲の決まり方](/maiagent-user-guide/ja/build/knowledge-base/scrape-website.md#crawl-scope-rules)を参照してください）。多言語サイトでは[クロール言語／地域](#crawl-locale)も指定できます
3. **クロールを実行します** — クローラーを起動し、完了を待ちます
4. **ナレッジベースに取り込みます** — クロール結果を指定のナレッジベースに取り込みます
5. **内容を検証します** — 取り込んだ内容が正確で、欠落がないか確認します

## 多言語サイト：クロール言語／地域の指定 <a href="#crawl-locale" id="crawl-locale"></a>

中国語や英語など複数の言語版を提供するサイトでは、ブラウザーの言語に応じて返す言語版を決める場合があります。クローラーが言語を指定していないと、サイトが英語の訪問者と判断して英語版のページに転送し、ナレッジベースに英語の内容が取り込まれることがあります。単一ページのみをクロールする場合は、開始ページが開始 URL の範囲外のパスに転送され、結果として 1 ページも取得できないこともあります。

この場合は、クロールリクエストを作成する際の「クロール設定」ステップで <mark style="color:blue;">詳細設定</mark> を展開し、<mark style="color:blue;">コンテンツ抽出設定</mark> の下にある <mark style="color:blue;">クロール言語／地域</mark> で、サイトを読み取る言語と地域を選択します。

| 選択肢                                           | 説明                                                   |
| --------------------------------------------- | ---------------------------------------------------- |
| <mark style="color:blue;">デフォルト（指定なし）</mark>  | 新規リクエストの初期値です。サイトに言語を指定せず、クロールサービスが決定します（現在は英語と同等です） |
| <mark style="color:blue;">繁体字中国語（台湾）</mark>   | 繁体字中国語、台湾の地域設定でサイトを読み取ります                            |
| <mark style="color:blue;">簡体字中国語（中国）</mark>   | 簡体字中国語、中国の地域設定でサイトを読み取ります                            |
| <mark style="color:blue;">English (US)</mark> | 常に英語で読み取ります。クロールサービスのデフォルトが今後変わっても影響を受けません           |
| <mark style="color:blue;">日本語（日本）</mark>      | 日本語、日本の地域設定でサイトを読み取ります                               |

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-b4a6c630ca887baf06158b0c3d3cbec5be212160%2Fcrawl-create-locale-options.png?alt=media" alt="コンテンツ抽出設定の下にあるクロール言語／地域のドロップダウンを展開した状態です。選択肢はデフォルト（指定なし）、繁体字中国語（台湾）、簡体字中国語（中国）、English (US)、日本語（日本）です"><figcaption><p>クロール言語／地域：コンテンツ抽出設定の下で、サイトを読み取る言語と地域を選択します</p></figcaption></figure>

選択した言語は、このクロールタスクのすべてのステップに適用されます。

* **プレビュー**：「実行方法」ステップで <mark style="color:blue;">プレビュー</mark> を押すと、同じ言語で URL を探索するため、プレビューに表示される URL と実際にクロールする URL が一致します
* **スケジュール**：<mark style="color:blue;">スケジュール実行</mark> を選ぶと、言語がスケジュール設定に保存され、以降のすべての実行で同じ言語を使用します。「スケジュール」タブでスケジュールを <mark style="color:blue;">編集</mark> すると言語を変更でき、次回の実行から新しい言語が使われます
* **詳細**：クロールリクエストの詳細で <mark style="color:blue;">クロールタスク設定</mark> を展開すると、今回使用した <mark style="color:blue;">クロール言語／地域</mark> を確認できます

例えば、家電ブランドのナレッジベース管理者が、中国語と英語の二言語サイト `https://www.example-appliance.com/` の製品説明をクロールして取り込もうとしたものの、以前のクロールでは英語のページしか取得できなかったとします。管理者はクロールリクエストを作り直し、詳細設定の <mark style="color:blue;">クロール言語／地域</mark> を <mark style="color:blue;">繁体字中国語（台湾）</mark> に変更します。「実行方法」ステップで <mark style="color:blue;">プレビュー</mark> を押し、取得予定のページがすべて中国語であることを確認してからリクエストを作成します。クロール完了後、リクエスト詳細の <mark style="color:blue;">クロールタスク設定</mark> で言語が「繁体字中国語（台湾）」になっており、取得済みページのタイトルもすべて中国語であることを確認できます。その後、毎週のスケジュール同期に切り替える際にも同じ言語を選択すれば、毎回のスケジュール実行でその言語が使われます。

{% hint style="info" %}
クローラーは内容を翻訳しません。サイトに選択した言語版がない場合は、サイトが実際に返した内容を取り込みます。言語設定はそのクロールタスクまたはスケジュールにのみ適用され、組織内のほかのクロールタスクには影響しません。言語を設定していない既存のタスクやスケジュールの動作は変わりません。
{% endhint %}

全項目と操作手順は[クローラー（データ取得）機能の使い方](/maiagent-user-guide/ja/build/knowledge-base/scrape-website.md#step-crawl-settings)を参照してください。

## 関連情報 <a href="#further-reading" id="further-reading"></a>

* [クローラー（データ取得）機能の使い方](/maiagent-user-guide/ja/build/knowledge-base/scrape-website.md)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.maiagent.ai/maiagent-user-guide/ja/build/knowledge-base/crawler.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.