Genie エージェントをテストして監視する

実際の質問で Genie エージェントをテストし、生成された SQL と視覚化を確認し、Genie が問題が発生したときに応答を編集し、エージェントの使用状況とユーザーフィードバックを監視して、データや質問の進化に合わせてエージェントを正確に保つことができます。 ベンチマークを使用して、応答の精度を大規模にスコア付けします。

Genie エージェントをテストする

ほとんどのユーザー操作は、チャット ウィンドウで行われます。 エージェントが必要に合わせて動作しているかどうかを確認する最善の方法は、ビジネス ユーザーが求める現実的な質問を使用してテストすることです。

エージェント設定で構成されたサンプルの質問がチャット ウィンドウに表示されます。 Genie は、エージェントのコンテキストに基づいてサンプルの質問を生成して、ユーザーがデータの探索を開始するのに役立つ場合もあります。 ユーザーは、サンプルの質問をクリックするか、画面の下部にあるテキスト フィールドに独自の質問を入力できます。

応答はテキスト フィールドの上に表示されます。 ユーザーが質問を入力すると、チャット履歴に保存されます。

新しい会話を開始するには:

1. [ 新しいチャット ] をクリックして新しいチャットを開始します。 [ をクリックして、前の会話を開きます。
2. [質問する...] テキスト入力フィールドに質問を入力します。

回答を確認する

通常、回答は、質問に対する自然言語の回答と、関連する結果セットを示すテーブルとして配信されます。 Genie は、視覚エフェクトによって応答の明瞭度が向上する可能性があることを検出すると、視覚エフェクトも返します。 正確な応答構造は、質問によって異なります。 質問に回答するために SQL クエリが生成された場合、そのクエリは応答に含まれます。

応答フィードバック

各応答では、ユーザーに回答を求めるメッセージが表示されます。これは正しいですか? ユーザーは、次のいずれかの方法で応答できます。

• はい： 応答が正確に表示されていることを確認します。
• [修正]: 応答に正しくないというフラグを設定します。 ユーザーは、一般的な問題から選択するか、独自の説明を入力できます。 その後、次のことができます。
  • [ 送信] をクリックし、もう一度試して 、提供されたフィードバックを使用して応答を再生成します。
  • [ 送信] をクリックして、応答を再生成せずにフィードバックを送信します。
• レビューの要求: 手動レビューの応答にフラグを設定します。 ユーザーはオプションのコメントを追加して、追加のコンテキストを提供できます。

エディターとして、Genie インターフェイスでフィードバックとフラグ付き応答を表示できます。 Genie エージェントの動作は、ユーザーのフィードバックだけに基づいて変わることはありません。 フィードバックを使用して改善の機会を特定するか、ユーザーの質問に直接回答する必要があります。 Databricks では、このメカニズムを使用してエージェントに関するフィードバックをユーザーに提供するよう促すようお勧めします。

ビジネス ユーザーは、[ モニター ] ページでレビュー対象としてマークした質問の更新を表示できます。 Genie エージェントに対する少なくとも CAN MANAGE アクセス許可を持つユーザーは、特定の交換を確認し、要求にコメントし、応答を確認または修正できます。 監視ページでフィードバックにアクセスし、要求を確認できます。 そうすれば、そのフィードバックを活用して応答を調整し、エージェントを改良していくことができます。 エージェントの監視を参照してください。

その他の応答アクション

生成された SQL を含む応答の場合、追加のオプションを使用して、返されたデータを操作できます。

• CSV のコピー: エージェント ユーザーは、最大約 1 GB の結果データを CSV としてダウンロードできます。 最終的なファイル ダウンロードよりも前の手順に 1 GB の制限が適用されるため、最終的なファイル ダウンロード サイズは 1 GB よりも多少増減する場合があります。 結果をダウンロードするには、応答のダウンロード アイコンをクリックします。

• コードの表示: [ コードの表示 ] をクリックして、生成されたクエリを表示します。 これは、信頼性の低い応答のトラブルシューティングに役立ちます。 「 クエリの編集と保存」を参照してください。

• kebab メニュー:次のアクションにアクセスします。

  • CSV のコピー: 応答 CSV をクリップボードにコピーします。
  • 命令として追加します。 同様の質問に答える方法を Genie に教えるのに役立つ可能性がある対話については、[ 命令として追加] をクリックします。 これにより、質問と生成された SQL が入力された SQL クエリの例を保存するための UI が開きます。 この例は、書き込まれたままにするか、編集して保存して変更を加えることができます。 SQL クエリと関数の例を追加するを参照してください。
  • ベンチマークとして追加: ベンチマークの質問として質問を追加します。 ベンチマークを参照してください。
  • データの更新: 以前に生成されたクエリを実行してデータを更新します。
  • 回答を再生成する: 質問をもう一度送信し、Genie に応答を再生成させます。

クエリの編集と保存

Genie の SQL クエリは、精度を確認し、必要に応じて編集できます。 Genie エージェントの作成者は、通常、Genie が誤った回答を生成するときに認識できるドメインとデータを知っています。 多くの場合、生成された SQL クエリに対して少量の手動チューニングを行うと、エラーを修正できます。 [ 生成されたコードの表示 ] をクリックしてクエリを検査し、生成された SQL で応答を確認します。

Genie エージェントに対して CAN EDIT 以上の権限がある場合は、生成された SQL ステートメントを編集して修正できます。 修正が完了したら、クエリを実行します。 その後、将来の答え方を Genie に教える指示として保存できます。 編集したクエリを保存するには、[ 命令として追加] をクリックします。

Genie Code を使用して応答をデバッグする

Genie から正しくない回答が返されたら、Genie Code を使用して問題を診断し、エージェントのコンテキストを改善します。

1. 応答から Genie Code を開きます。
2. 問題と必要な動作について説明します。
3. Genie Code が提案するコンテキストの変更を確認し、保持したい変更を受け入れます。

The Genie Agent is using calendar quarters instead of our fiscal calendar. Update its context to use our fiscal quarters: Q1 is February through April, Q2 is May through July, Q3 is August through October, and Q4 is November through January.

Genie Code を使用して、会話からセマンティック コンテキストを保存することもできます。 ユーザーが新しい用語を導入した後、または Genie の動作を修正したら、Genie Code に学習内容をキャプチャするよう依頼します。 各提案を確認し、エージェントに追加するコンテキストを受け入れます。

エージェントを監視する

Genie エージェントは、データ チームとビジネス ユーザー間の長期的なコラボレーション ツールと考えることができます。 これは、1 回限りのデプロイとして機能するのではなく、時間の経過と伴う知識を蓄積します。 ユーザーから新しい質問が寄せられるたびに、エージェントを改善して対応範囲と精度を向上させることができます。

[監視] タブを使用して、個々の質問と回答を確認し、ユーザーのフィードバックを表示し、レビューのフラグが設定された回答を特定します。

[監視] タブには、エージェントで質問されたすべての質問と回答が表示されます。 質問は、時間、評価、ユーザー、または状態でフィルター処理できます。 エージェントを監視することで、CAN MANAGE アクセス許可を持つユーザーは、ビジネス ユーザーによって発生したクエリと Genie エージェントの応答を事前に理解できます。

Genie が苦労している質問を特定すると、Genie エージェントを特定の指示に従って更新し、応答を改善するのに役立ちます。 質問をクリックして質問と回答のテキストを開き、完全なチャット スレッドを表示します。

使用状況と傾向を確認する

モニタータブの毎週のダイジェストセクションを使用して、毎週のメッセージの量、アクティブユーザー、いいね/バッドフィードバックを確認します。 使用率の傾向と一般的な問題を特定するには、[ 空間使用量の分析] をクリックします。 これにより Genie Code が起動され、過去 7 日間のユーザー メッセージ、フィードバック、および問題が確認され、一般的なトピック、定期的な問題、推奨されるコンテキストの改善に関するレポートが表示されます。 応答には、エージェント内の関連する会話にリンクする引用文献が含まれます。 引用文献をクリックすると、Genie Code スレッドで会話が直接開きます。

会話の品質を確認する

Genie チャット共有 を使用すると、エージェント マネージャーは、ビジネス ユーザーが Genie エージェントとやり取りしている完全な会話を確認できます。 会話が エージェントマネージャーによってレビュー可能に設定されている場合、CAN MANAGE権限を持つユーザーは監視タブから会話を開き、全文のやり取りを確認できます。 これにより、Genie の応答品質を評価し、ユーザーのフィードバックに応答し、追加の命令またはサンプル クエリによって精度が向上する領域を特定できます。 [プライベート] に設定された会話の場合、エージェント マネージャーは [監視] タブにユーザー プロンプトを表示できますが、完全な会話や結果を表示することはできません。 詳細については、「 会話を共有する」を参照してください。

会話を削除する

Genie エージェントに対する CAN MANAGE アクセス許可を持つユーザーは、監視ページからエージェント内のすべての会話を完全に削除できます。 これにより、すべてのユーザーの会話とそのメッセージが削除されます。

1. Genie エージェントを開き、[ 監視 ] タブをクリックします。
2. 会話をクリックすると、会話パネルが開きます。
3. [ 会話の削除] をクリックします。
4. 確認ダイアログで、[ 削除 ] をクリックして会話を完全に削除するか、[ キャンセル] をクリックして削除せずにダイアログを閉じます。

Benchmarks

ベンチマークを使用すると、Genie の全体的な応答精度を評価するために実行できる一連のテスト質問を作成できます。 よく寄せられるユーザーの質問をカバーする適切に設計されたベンチマークのセットは、Genie エージェントを絞り込む際の精度の評価に役立ちます。 各 Genie エージェントには、最大 500 個のベンチマークの質問を含めることができます。

ベンチマークの質問は、新しい会話として実行されます。 スレッド化された Genie 会話と同じコンテキストは含まれません。 各質問は、エージェントで定義されている命令 (SQL 関数と SQL 関数の例を含む) を使用して、新しいクエリとして処理されます。

ベンチマークの質問では、次の 2 つのモードがサポートされます。

• チャット モード: 既定のモード。 Genie は、SQL で生成された結果を指定された SQL 回答と比較することで、精度を評価します。
• エージェント モード: Genie のエージェント モードと同じマルチステップ推論を使用してベンチマークの質問を実行します。 LLM の判事が回答を評価します。 オプションの評価メモを提供して、採点をガイドできます。

ベンチマークを実行するときにモードを選ぶのであって、質問を追加するときではありません。 ベンチマークタブの右上のモードトグルを使って、チャットモードかエージェントモードを選択してランを行ってください。 選択モードはそのランのすべての問題に適用されます。

ベンチマークの質問を追加する

ベンチマークの質問は、ユーザーによって寄せられる一般的な質問についてのさまざまな言い方を反映している必要があります。 これらを使用して、質問のフレージングや異なる質問形式のバリエーションに対する Genie の応答を確認できます。

ベンチマークの質問を作成する際、必要に応じて、結果セットが正しい回答である SQL クエリを含めることができます。 ベンチマークの実行中に、SQL クエリの結果セットと Genie によって生成された結果セットを比較することで、正確性が評価されます。 Unity カタログ SQL 関数をベンチマークのゴールド スタンダードの回答として使用することもできます。

ベンチマークの質問を追加するには:

1. Genie エージェントの上部にある [ ベンチマーク] をクリックします。

2. [ベンチマークを追加] をクリックします。

3. [質問] フィールドに、テストするベンチマークの質問を入力します。

4. (省略可能)質問に回答する SQL クエリを指定します。 Unity カタログ SQL 関数を含め、 SQL Answer ボックスに入力することで、独自のクエリを作成できます。 または、[SQL の 生成 ] をクリックして Genie に SQL クエリを作成してもらう必要があります。 入力した質問に正確に回答する SQL ステートメントを使用します。

   Note

   このステップはチャットモードの実行に推奨されます。 この例の SQL ステートメントを含む質問のみが、正確性について自動で評価されます。 SQL の回答を含まない質問については、手動でレビューを行いスコアリングする必要があります。 [ SQL の生成 ] ボタンを使用する場合は、ステートメントを確認して、質問に正確に回答していることを確認します。

5. (任意) 評価ノート 欄に、正しい答えや期待される内容に関するガイダンスを入力してください。 エージェントモードの実行中、ジーニーは評価ノートをLLM審査員に渡します。 このメモでは、エージェント モードで生成されるテキスト レポートで予想されるコンテンツを参照できます。

6. (省略可能)実行 をクリックしてクエリを実行し、結果を表示します。

7. 編集が完了したら、[ ベンチマークの追加] をクリックします。

8. 保存後に質問を更新するには、 鉛筆アイコンをクリックして [Update question (質問を更新)] ダイアログを開きます。

ベンチマークを使用して代替の質問の言い回しをテストする

Genie エージェントの精度を評価するときは、現実的なシナリオを反映するようにテストを構成することが重要です。 ユーザーは、異なる言い方で同じ質問をすることがあります。 Databricks では、同じ質問における複数の言い回しを追加し、ベンチマーク テストで同じ例の SQL を使用して、正確性を完全に評価することが推奨されます。 ほとんどの Genie エージェントは、同じ質問の 2 から 4 つの言い回しを含める必要があります。

ベンチマークの質問を実行する

Genie エージェントで少なくとも CAN EDIT 権限を持つユーザーは、いつでもベンチマーク評価を実行できます。 すべてのベンチマークの質問を実行することも、テストする質問のサブセットを選択することもできます。

各質問について、Genie は入力を解釈し、SQL を生成し、結果を返します。 生成された SQL と結果は、ベンチマークの質問で定義されている SQL 回答 と比較されます。

すべてのベンチマークの質問を実行するには：

1. Genie エージェントの上部にある [ ベンチマーク] をクリックします。
2. [実行ベンチマーク] をクリックしてテストの実行を開始します。

ベンチマークの質問のサブセットを実行するには:

1. Genie エージェントの上部にある [ ベンチマーク] をクリックします。
2. テストする質問の横にあるチェック ボックスをオンにします。
3. [ 選択した実行 ] をクリックして、選択した質問でテストの実行を開始します。

前のベンチマーク結果から質問のサブセットを選択し、それらの特定の質問を再実行して改善点をテストすることもできます。

ページから離れると、ベンチマークは引き続き実行されます。 実行が完了したら、[ 評価 ] タブで結果を確認できます。

実行が完了したら、Genie Code を使用して実行全体の結果を確認し、コンテキストの改善を提案できます。 Genie Code を使用したベンチマーク実行の分析を参照してください。

チャット モードの評価

Genie がチャット モードの応答を評価する方法は、次の条件によって決まります。

結果が 「悪い」と評価された場合、その説明は不一致の種類を特定します。

手動レビューが必要: Genie が正確性を評価できない場合、または Genie によって生成されたクエリ結果に、指定された SQL 回答の結果と完全に一致するものが含まれていない場合、応答はこのラベルでマークされます。 SQL Answer (SQL 回答) を含まないベンチマークの質問は、手動でレビューする必要があります。

エージェント モードの評価

LLM は、SQL 比較を使用するのではなく、エージェント モードの応答を評価します。 評価メモを提供した場合、LLM ジャッジは、エージェント モードで生成されるテキスト レポート内の予想されるコンテンツを含め、応答を評価する際のガイダンスとして使用します。 評価書の基準を満たす回答を グッドと評価します。

ベンチマークの評価にアクセスする

すべてのベンチマーク評価にアクセスして、Genie Agent の精度を経時的に追跡できます。 エージェントの ベンチマークを開くと、評価実行のタイムスタンプ付きリストが [ 評価 ] タブに表示されます。評価の実行が見つからない場合は、「 ベンチマークの質問を追加する 」または「 ベンチマークの質問を実行する」を参照してください。

[評価] タブには、評価の概要とそのパフォーマンスが次のカテゴリで報告されます。

評価名: 評価の実行がいつ発生したかを示すタイムスタンプ。 タイムスタンプをクリックすると、その評価の詳細が表示されます。 [実行ステータス]: 評価が完了したか、一時停止したか、失敗したかを示します。 評価実行に定義済みの SQL 回答がないベンチマークの質問が含まれている場合、この列ではレビュー対象としてマークされます。 [正確性]: ベンチマークの質問すべての正確性が数値で評価されます。 手動のレビューを必要とする評価実行では、正確性の測定はこれらの質問がレビューされた後にのみ表示されます。 [作成者]: 評価を実行したユーザーの名前を示します。

個々の評価を確認する

個々の評価をレビューして、各応答の詳細を確認できます。 質問の評価を編集して、手動のレビューが必要な項目を更新できます。

個々の評価をレビューするには:

1. Genie エージェントの上部にある [ ベンチマーク] をクリックします。

2. Evaluation name 列の評価のタイムスタンプをクリックして、そのテストの実行についての詳細ビューを開きます。

   

3. 画面の左側にある質問リストを使用して、各質問の詳細ビューを表示します。

4. モデル出力応答とグラウンドトゥルース応答を確認して比較します。

   結果が正しくないと評価された場合、結果が Bad と評価された理由を説明する説明が表示されます。 これにより、生成された出力と期待される真実のデータの具体的な違いを理解するのに役立ちます。

   Note

   これらの応答の結果は、評価の詳細に 1 週間表示されます。 1 週間後、結果は表示されなくなります。 生成された SQL ステートメントと SQL ステートメントの例はそのまま残ります。

5. この質問の新しい 地上の真理 として応答を保存するには、[ 地上の真理 を更新] をクリックします。 これは、地上の真理が存在しない場合、または応答が既存の地上真理書よりも優れているか正確である場合に役立ちます。

6. ラベルの をクリックして評価を編集します。

   各結果を良好または不良としてマークして、この評価の正確なスコアを取得します。

Genie Code を使用してベンチマーク実行を分析する

ベンチマークの実行が完了したら、Genie Code を使用して、各質問を単独で検査するのではなく、実行全体の結果を確認します。 評価から Genie Code を起動し、実行の分析を依頼します。 Genie Code は、予想される結果、エージェントが生成した内容、およびエージェントの現在のコンテキストを確認してギャップを見つけ、確認して保存するための指示とコンテキストの改善を提案します。