> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/maiagent-user-guide/maiagent-user-guide-ja/km/scrape-website.md).

# クローラー（データ取得）機能の使い方

## 機能の用途と価値 <a href="#feature-purpose-and-value" id="feature-purpose-and-value"></a>

企業の担当者として業務を行っていると、上司の指示で、特定の公開Webサイト上の法規データを参照したり、まとめたりする必要が出てくることがよくあります。

技術的な知識があったり、エンジニアのサポートを受けられたりする場合は、クローラープログラムを作成してデータを自動的に取得できるかもしれません。しかし、技術者でない方にとっては、通常は1ページずつ手作業で整理するしかなく、手間と時間がかかるうえに、重要な情報を見落としやすいという問題があります。

そのようなときには、MaiAgentのクローラー機能を活用しましょう。No-Code（プログラム不要）で、Webサイトの内容を素早く取得し、構造化されたデータを自動的に作成できます。情報整理の効率を大幅に高め、空いた時間をより価値の高いコア業務に充てられるようになります。

## クローリングの手順 <a href="#how-to-scrape" id="how-to-scrape"></a>

クローリングのリクエストを作成するには、次の手順を行います。

1. ページ取得リクエストを作成する

左側の機能メニュー「<mark style="color:blue;">AI機能</mark>」→「<mark style="color:blue;">クローラー</mark>」を開き、右上の「<mark style="color:blue;">+ページ取得リクエストを作成</mark>」ボタンをクリックします。

2. URLを入力する

クロールしたいページのURLを入力し、\[<mark style="color:blue;">確認</mark>] ボタンを押します。

{% hint style="warning" %}

* URLは200文字を超えることはできませんのでご注意ください
* ステータスが変わらない場合は、右上の更新ボタンを押してページを再読み込みし、ステータスを更新してください
  {% endhint %}

<div><figure><img src="/files/8Ze4D0mxt9ub1zMnLbgN" alt=""><figcaption></figcaption></figure> <figure><img src="/files/o60x5nV8Og3UuwxZ8uaZ" alt=""><figcaption></figcaption></figure></div>

3. クロールしたデータを確認する

ステータスが完了と表示されたら、右側の「取り込み」をクリックし、クロールしたデータの項目を確認します。

4. データを選択する

左側のチェックボックスにチェックを入れ、ナレッジベースに取り込みたいデータを選択します。選択が完了したら「<mark style="color:blue;">取り込み</mark>」ボタンを押すと、データが自動的に該当のAIアシスタントのナレッジベースに取り込まれます。

{% hint style="info" %}
同じページでより多くのデータ項目を表示したい場合は、右下の「<mark style="color:blue;">10件/ページ</mark>」をクリックして表示範囲を広げられます。
{% endhint %}

<div><figure><img src="/files/dna7OhlvXCXlG1f61ZBl" alt=""><figcaption></figcaption></figure> <figure><img src="/files/9s1CW27FLoW5t9szNWU6" alt=""><figcaption></figcaption></figure></div>

ナレッジベースでは、.mdファイルとして表示されるデータを確認でき、通常のデータと同じようにタグやメタデータの設定を行えます。

<figure><img src="/files/ZJ7e9801NuqyurJK496F" alt=""><figcaption></figcaption></figure>

## クローラー利用上の注意事項 <a href="#scraping-considerations" id="scraping-considerations"></a>

* 対象のWebサイトの内容をクロールする権限があることを必ずご確認ください
* まず小規模なデータでテストしてから、大量にクロールすることをおすすめします
* クロール完了後は、[検索テスト機能](/maiagent-user-guide/maiagent-user-guide-ja/km/test-search-result.md)でデータの品質を検証できます
* 情報の鮮度を保つため、クローラーで取得したデータを定期的に更新してください


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.maiagent.ai/maiagent-user-guide/maiagent-user-guide-ja/km/scrape-website.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.