クローラー（データ取得）機能の使い方

URLを入力するだけで、MaiAgentがページ上のテキストやリンクのデータを構造化してクロールします。データを素早く選択してナレッジベースに取り込めるため、AIアシスタントをより迅速に構築できます。

機能の用途と価値

企業の担当者として業務を行っていると、上司の指示で、特定の公開Webサイト上の法規データを参照したり、まとめたりする必要が出てくることがよくあります。

技術的な知識があったり、エンジニアのサポートを受けられたりする場合は、クローラープログラムを作成してデータを自動的に取得できるかもしれません。しかし、技術者でない方にとっては、通常は1ページずつ手作業で整理するしかなく、手間と時間がかかるうえに、重要な情報を見落としやすいという問題があります。

そのようなときには、MaiAgentのクローラー機能を活用しましょう。No-Code（プログラム不要）で、Webサイトの内容を素早く取得し、構造化されたデータを自動的に作成できます。情報整理の効率を大幅に高め、空いた時間をより価値の高いコア業務に充てられるようになります。

クローリングの手順

クローリングのリクエストを作成するには、次の手順を行います。

1. ページ取得リクエストを作成する

左側の機能メニュー「AI機能」→「クローラー」を開き、右上の「+ページ取得リクエストを作成」ボタンをクリックします。

1. URLを入力する

クロールしたいページのURLを入力し、[確認] ボタンを押します。

• URLは200文字を超えることはできませんのでご注意ください

• ステータスが変わらない場合は、右上の更新ボタンを押してページを再読み込みし、ステータスを更新してください

1. クロールしたデータを確認する

ステータスが完了と表示されたら、右側の「取り込み」をクリックし、クロールしたデータの項目を確認します。

1. データを選択する

左側のチェックボックスにチェックを入れ、ナレッジベースに取り込みたいデータを選択します。選択が完了したら「取り込み」ボタンを押すと、データが自動的に該当のAIアシスタントのナレッジベースに取り込まれます。

同じページでより多くのデータ項目を表示したい場合は、右下の「10件/ページ」をクリックして表示範囲を広げられます。

ナレッジベースでは、.mdファイルとして表示されるデータを確認でき、通常のデータと同じようにタグやメタデータの設定を行えます。

クローラー利用上の注意事項

• 対象のWebサイトの内容をクロールする権限があることを必ずご確認ください

• まず小規模なデータでテストしてから、大量にクロールすることをおすすめします

• クロール完了後は、検索テスト機能でデータの品質を検証できます

• 情報の鮮度を保つため、クローラーで取得したデータを定期的に更新してください