本文へスキップ

Operation TypeおよびPrompt Version

Operation Typeは、LLM呼び出しをビジネスの文脈単位でグループ化・フィルタリングするためのユーザー定義ラベルです。指定したラベルはメトリクスタグの一部になるため、ユーザー指定の単位でさまざまな指標を分析できます。

Prompt Versionは、operation_typeの中でプロンプトの文面が何番目の改訂版であるかを示すユーザー定義ラベルです。operation_typeが「何をする呼び出しか」（ビジネス単位）であれば、prompt_versionは「その呼び出しをどのプロンプトで行ったか」（改訂単位）です。

ノート

Operation TypeとPrompt Versionのラベリングは、Pythonエージェントのみ対応しています。

使用方法​

(a) デコレーター（推奨）
from whatap.llm import prompt_meta

@prompt_meta(operation_type='checkout_chain', prompt_version='v3')
def checkout(question):
    return client.chat.completions.create(...)
(b) コンテキストマネージャー
from whatap.llm import prompt_meta_scope

def handler(req):
    with prompt_meta_scope(operation_type='greeting', prompt_version='v2'):
        return client.chat.completions.create(...)
現在アクティブなmetaの照会（カスタムロジックで）
from whatap.llm import get_prompt_meta

op_type, version = get_prompt_meta()  # スコープがない場合は('default', 'v1')を返します

値を指定しない場合​

operation_typeは、ラベルがない場合、囲んでいるワークフロー・エージェントの名前に自動的に置き換えられます。一方、プロンプトの文面が改訂されたかどうかはWhaTapエージェントが知り得ない情報のため、prompt_versionはllm_prompt_default_versionの値として記録されます。このオプションを設定しない場合はv1として記録されます。

プロンプトバージョンの一括修正​

プロンプトを一括改訂したものの、デコレーターを一つずつ修正するのが難しい場合は、whatap.confで既定バージョンを移します。すでに明示的なラベルを付けた呼び出しは影響を受けません。

whatap.conf
llm_prompt_default_version=v2

設定はランタイムに反映されるため、再起動なしで次の呼び出しから新しい既定値が適用されます。

最終修正：