クローラー

これは何ですか?
クローラーは、Webページから内容を自動的に取得し、ナレッジベースに取り込む機能です。URLを指定するだけで、そのページ(またはサイト全体)のテキスト内容をクロールし、Agentが参照できる知識へと変換します。
どんなときに使いますか?
公式サイトの内容:自社公式サイトの製品紹介やサービス説明を自動的に取り込みます
公開情報:法令、お知らせ、技術文書などの公開Webページを取得します
継続的な更新:サイトの内容は変化するため、定期的に再クロールすることでナレッジベースを最新の状態に保ちます
クローラーとナレッジベースの関係
クローラーは、ナレッジベースのデータソースの一つです。その位置づけは次のとおりです。
クローラーが取得した内容は最終的にナレッジベースへ取り込まれます。Agentがクローラーと直接やり取りすることはありません。
何をすればよいですか?
URLを入力する — クロールするWebページまたはサイトをクローラーに指定します
範囲を設定する — 単一ページのみを取得するか、サブページまで再帰的に取得するかを設定します
クロールを実行する — クローラーを起動し、完了を待ちます
ナレッジベースに取り込む — クロール結果を指定したナレッジベースに取り込みます
内容を確認する — 取り込んだ内容が正確かつ完全であるかを確認します
関連情報
最終更新
役に立ちましたか?
