こんにちは、Catoクラウド担当SEの中川です。
Catoクラウドより、2025年1月6日のアップデートにてAIアシスタントがリリースされました。
このAIアシスタントは、Catoの情報に特化した生成AIです!
主にCatoの仕様や設定方法などの確認、トラブルシュートなどに活用することが想定されます。
この記事では、AIアシスタントの実際の使用感や回答精度などについて記載しています!
機能概要
Understanding Cato’s Knowledge Base AI Assistant – Cato Learning Center
上記は、CatoがAIアシスタントについてまとめているページです。簡単にまとめると、以下のことが書かれています。
- 情報リソース: Knowledge Baseの情報をもとに回答を提供しています。※特定のアカウントに関する具体的な回答は提供されません
- アクセス方法: CMA右上のヘルプメニューからアクセス可能です
- 会話履歴の保存: 同じセッション内であれば、会話は継続します。ただし、[クリア]を押したり、前の画面に戻ったりすると履歴は消えてしまいます。
- 情報の更新頻度: AIアシスタントは週に一度ナレッジベースをスクレイピングして、最新の状態に保たれています。アップデートで機能改修などが入っても、数日のタイムラグで最新の情報に追いつきます。
- 対応言語: 日本語でも問い合わせ可能ですが、ただし「最も正確な結果を得るには、英語で質問してください。」と記載されています。
また、実際に日本語で問い合わせると「なお、今後のお問い合わせについては、英語でのご質問をお勧めいたします。」というような文言を、AIアシスタント自体も時折回答の中に含めることがありました。
適宜、翻訳ツールを使って英語で質問するのが良いと思われます。
使ってみた結果
実際にAIアシスタントに、設定方法やトラブル中の問い合わせなどを聞いてみました。
動画形式で載せています。特にカットなどはせず、回答生成の時間はリアルな時間となっております。
CMAの設定方法について
まずは、CMAでのTLSインスペクションの設定方法を尋ねてみました。
TLSインスペクションの設定方法を教えてください
かなり具体的にルールの設定値を教えてくれました。また、まだ公開されていない機能「TLS Inspection Configuration Wizard」の情報(1/24時点でEAのもの)も紹介してくれました。
特定のユーザのみに対象を絞る場合はどのように設定したらいいですか
想定していた回答は単純な「Sourceに指定します」程度の内容だったのですが、結果は違うものになりました。
最初にすべてをBypassするルールを作成し、テストユーザのみInspectするルールをその上位に設定するような方法を紹介してくれました。少数のユーザのみでテストする方法のKnowledge Baseがあることを私も把握できていなかったので、問い合わせしてみた価値がありました。
Bypassされたかイベントログで確認する方法はありますか
質問の意図としては、Home(旧UIではMonitoring)>Eventsでの確認方法を聞きたかったのですが、レポートでの出力方法が回答されました。
追加で、モニタリングのイベントログでの確認方法を聞き直したところ。想定通りの回答が返ってきました。
また、デフォルトでBypassされるOSや、証明書ピンニング問題についても触れてくれています。イベントログの確認方法だったので、トラブルシュートの一環の情報として紹介してくれたのでしょうか。丁寧な回答に思いました。
トラブルシューティングに関する質問
特定のWebサイトへの通信がブロックされました。考えられる原因は何ですか
接続先側で制限がかかっている例と、CatoのInternet Firewallなどの設定が原因でブロックされている可能性の回答が得られました。
一次回答として網羅された内容かと思います。
パケットキャプチャの取得方法を教えてください
実際にトラブルシュートするときを想定して、試しにパケットキャプチャの取得方法を聞いてみました。Knowledge Baseに記載のあるものなので、これも自然に回答してくれました。
政府系サイトとは、例えばどのようなサイトが考えられますか
試しに技術的な内容とはやや外れる、一般的な質問として政府系サイトの例を聞いてみました。正直、抽象的な候補しかもらえませんでしたが、回答不可とはなりませんでした。
まとめ
良い点
全体的な回答精度としては高く感じました。簡単な言葉で端的に尋ねても、ほぼ想定した回答が返ってくる印象です。
また、Knowledge Baseのリンクを張ってくれることは便利だなと感じました。AIを利用する上では回答を100%信用するのは難しく、リンクがあればKnowledge Baseの内容によって判断することが可能だからです。
Knowledge Baseを利用したことのある方は共感いただけるかと思うのですが、Knowledge Baseはキーワード検索機能があまり優れていません。検索キーワードが含まれるおそらくすべてのページが引っかかってしまい、調べづらいのが正直なところでした。
この点、AIアシスタントが質問に応じて、適切なKnowledge Baseのページに誘導してくれることは大変ありがたいです。
気になった点
AIアシスタントの回答生成速度は動画をご覧いただいてもわかる通り、およそ30秒以内で回答してくれます。昨今利用される生成AIのスピード感と遜色ないかと思います。
ただし回答生成中に、ブラウザを切り替えたり、他のアプリなどに操作を移すと回答が止まってしまいます。回答が生成されるまで、ブラウザで待機している必要があります。
また、回答をもらった後、いざCMAの画面を操作しようとすると、AIアシスタントとのやり取りを閉じる必要がありました。その結果、会話履歴が消えてしまう点にかなり不便を感じました。
AIの回答を見ながらCMAの操作はできず、一度メモ帳などにペーストしてから操作する必要があることが現状感じる一番の難点です。
今後の所感
まだリリースされたばかりの機能のため、今後の機能改修や少なくとも回答精度の向上は期待できるのではないかと思います。
また、今回ご紹介したAIアシスタントとは別に、Internet FW上でAIを活用しベストプラクティスに準拠しているか確認する機能が直近追加されています。
こういったAIを活用した機能追加は、様々なところで見込めそうです。これからも期待が高まります!