ユーザーおよびセッション検索

LLM呼び出しログをユーザー > セッション > ターンの3階層で集計して照会するメニューです。このメニューは同じログをユーザー単位で表示するため、特定ユーザーの会話履歴を時系列で追跡し、評価スコアの低いセッションだけを選び出せます。LLMサービスの品質と不正利用を点検する運用者、レスポンス品質の担当者を対象としています。

ログ読み取り権限が必要です。権限がない場合、メニューにアクセスできません。

本メニューはベータとして提供されます。画面構成とラベルは正式提供の時点で変わる場合があります。

画面構成

上段オプションバー、左側ユーザーリスト、右側メイン領域の3段レイアウトです。右側メイン領域はさらに、上部のセッションリストと下部のプロンプトグループに分かれます。

上段オプションバー

• 時間範囲の選択: 開始日時と終了日時を指定します。クイック選択オプション（直近5分、10分、30分、1時間、3時間、6時間、12時間）を提供しており、秒単位・ミリ秒単位まで指定できます。照会可能な最大範囲は3日です。3日を超えると検索が無効になります。

• グループ基準: メイン領域がセッションをまとめる基準を選択してください。

  • ユーザー: 左側のリストで選択したユーザーのセッションのみ表示します。

  • セッション: ユーザーの区分なく、すべてのセッションを1つのリストに展開します。この基準では左側のユーザーリストが非表示になります。

• フィルター: 検索クエリーを入力して、特定条件のログのみ照会します。よく使う条件はブックマークとして保存できます。

• 検索ボタン: 虫眼鏡アイコンのボタンをクリックすると照会を実行します。照会が進行している間はキャンセルボタンに変わります。時間やフィルターを変更すると照会が自動的に再実行され、条件がそのままの場合も検索ボタンをクリックすると再度照会します。

左側ユーザーリスト

照会範囲に現れたユーザーをリスクバッジとあわせて表示します。ユーザーを選択すると、右側メイン領域がそのユーザーのセッションに切り替わります。

• ユーザーID検索: ユーザーIDの一部を入力してリストを絞り込みます。

• ソート基準: リスク順、コスト順、セッション順のいずれかを選択してください。

• 各項目には、ユーザーIDとあわせてセッション数、ターン数が表示されます。

表示オプション

メイン領域の右上に2つのスイッチがあります。

• 個人情報の表示: マスキングされたプロンプトの原文を表示します。個人情報の照会権限が必要です。

• リスクセッションのみ: リスクが正常ではないセッションのみ表示します。このオプションはサマリー指標の値にもあわせて反映されます。

サマリー指標

現在表示中のセッション範囲を基準に集計した4つのカードです。グループ基準がユーザーの場合は選択したユーザーのセッション、セッションの場合はすべてのセッションが対象です。

Item	Description
セッション	表示中のセッション数
総ターン	セッションに含まれるターン数の合計
総トークン	ターントークンの合計
総コスト	ターンコストの合計（$）。コストのあるターンがない場合は-

セッションリスト

メイン領域の上部にセッションサマリーカードを並べます。カードをクリックすると、下部のプロンプトグループがそのセッションのターンに切り替わります。

Item	Description
リスク	セッションリスクバッジ（正常・注意・高）
セッションID	セッション識別子
継続時間	セッションの最初のターンの開始から最後のターンの終了まで
ターン	セッションに含まれるターン数
トークン	セッショントークンの合計
判定	セッション内のターンの総合スコアの最大値

グループ基準がセッションの場合、カードにユーザーチップもあわせて表示されます。チップをクリックすると、グループ基準がユーザーに切り替わり、そのユーザーのセッションに移動します。

リストの上部には、表示中のセッション数と時間ソート方向のスイッチがあります。ソート方向は、セッション開始時刻を基準に新しい順と古い順を切り替えます。

プロンプトグループ

選択したセッションのターンを、開始時刻の昇順で表示します。ターンは、ユーザーとモデルが1回やり取りした交換の単位です。1つのターンに複数のLLM呼び出しが含まれる場合があります。

Column	Description
時刻	ターンの開始時刻（日付と時:分:秒.ミリ秒）
Operation	ターンのOperation Type。ない場合は-
プロンプト	InputタグとOutputタグで区分した入力サマリーとレスポンスサマリー。評価結果がある場合は、下に評価バッジを表示
モデル	ターン内で使用したモデルのリスト。下の行にプロバイダーを表示
トークン	ターントークンの合計
レイテンシ・コスト	ターンのレイテンシ（ms）とコスト（$）

プロンプト領域をクリックすると、トランザクションプロファイルのポップアウトが開きます。Input行とOutput行は、それぞれ自身のトランザクションを開きます。ポップアウトでは、プロンプトの原文、トークンとコストの詳細を確認できます。詳細はLLM API分析ドキュメントを参照してください。

セッションを選択しない場合、リストの最初のセッションが自動的に選択されます。条件に合うセッションがない場合は、フィルターの解除を案内する文言が表示されます。

リスク判定

リスクは、評価機能の総合スコアを基準に判定します。しきい値はレスポンス品質評価と同じ基準を使用するため、この画面のリスクとレスポンス品質画面の判定が食い違うことはありません。

Level	Description
正常	総合スコアがしきい値未満。評価結果のないターンも正常とみなす
注意	総合スコアが注意しきい値以上
高	総合スコアがリスクしきい値以上

セッションリスクはそのセッションに属するターンリスクの最悪値であり、ユーザーリスクはそのユーザーのセッションリスクの最悪値です。つまり、1つのターンでも高であれば、セッションとユーザーの両方が高と表示されます。

評価機能を有効にして総合スコアを収集する方法は、Evaluationドキュメントを参照してください。

照会動作

この画面は、指定した時間範囲のログを全件照会します。1ページだけ受け取って停止すると、サマリー指標とセッション数が実際と食い違うため、照会が終わるまでページを続けて受け取ります。

• 照会中は、結果の位置に進行状態（収集したログ数、全体に対する進捗率、ページ数）が表示されます。

• 照会中にキャンセルボタンをクリックすると、その時点までに受け取った分で集計します。このとき、リストの上部に部分結果であることを知らせる案内と再試行ボタンが表示されます。

• 照会に失敗した場合も、同じ位置に状態の案内と再試行ボタンが表示されます。

• 照会制限件数に達すると、一部のデータのみ表示されるという案内とあわせてさらに読み込むボタンが表示されます。

ログ量の多い区間は照会に時間がかかります。照会範囲を狭めたり、フィルターで対象を減らしたりすると、完了までにかかる時間を短縮できます。

参考

識別タグ

Tag	Type	Description
user_id	string	ユーザー識別子
session_id	string	セッション識別子
turn_id	string	ユーザーとモデルが1回やり取りした交換の識別子

セッションはuser_idとsession_idを組み合わせて区分します。したがって、同じsession_idが異なるユーザーに現れても、別のセッションとして数えます。