> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/maiagent-user-guide/maiagent-user-guide-ja/agent-builder/crawler.md).
# クローラー
クローラー：Webページの内容を自動的に取得し、ナレッジベースに取り込みます
## これは何ですか？
クローラーは、Webページから内容を自動的に取得し、ナレッジベースに取り込む機能です。URLを指定するだけで、そのページ（またはサイト全体）のテキスト内容をクロールし、Agentが参照できる知識へと変換します。
## どんなときに使いますか？
* **公式サイトの内容**：自社公式サイトの製品紹介やサービス説明を自動的に取り込みます
* **公開情報**：法令、お知らせ、技術文書などの公開Webページを取得します
* **継続的な更新**：サイトの内容は変化するため、定期的に再クロールすることでナレッジベースを最新の状態に保ちます
## クローラーとナレッジベースの関係
クローラーは、ナレッジベースの**データソースの一つ**です。その位置づけは次のとおりです。
```
データソース ナレッジベース Agent
───────── ────── ──────
手動でファイルをアップロード ──→
FAQを作成 ──→ 企業ナレッジ百科 ──→ 参照して回答
クローラーでWebを取得 ──→
```
クローラーが取得した内容は最終的にナレッジベースへ取り込まれます。Agentがクローラーと直接やり取りすることはありません。
## 何をすればよいですか？
1. **URLを入力する** — クロールするWebページまたはサイトをクローラーに指定します
2. **範囲を設定する** — 単一ページのみを取得するか、サブページまで再帰的に取得するかを設定します
3. **クロールを実行する** — クローラーを起動し、完了を待ちます
4. **ナレッジベースに取り込む** — クロール結果を指定したナレッジベースに取り込みます
5. **内容を確認する** — 取り込んだ内容が正確かつ完全であるかを確認します
## 関連情報
* [クローラー（データ取得）機能の使い方](/maiagent-user-guide/maiagent-user-guide-ja/km/scrape-website.md)
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://docs.maiagent.ai/maiagent-user-guide/maiagent-user-guide-ja/agent-builder/crawler.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.