【Google Cloud】SFTとDPO (直接選好最適化)でGeminiをチューニングする。

こんにちは。SCSKの島村です。

皆さんはベースモデル（ここで言うベースモデルはハイパースケーラが提供するGeminiなどの基盤モデル）を利用していて、
単に正しい答えを出すだけでなく、「自社のブランドボイスに合わせたトーンで答えさせたい」「振る舞いの最適化: 出力形式（型）などを行いたい」といったことを考えたことはないでしょうか。

Google Cloudでは、モデルに特定の指示形式やタスクを教え込む 教師あり微調整（SFT: Supervised Fine-Tuning） に加え、人間の好みを直接学習させる手法 DPO（Direct Preference Optimization: 直接選好最適化） を活用したチューニングが可能です。

本記事では、
『Gemini のモデル チューニング』について色々と調査し、実際に触ってみましたので、その魅力について少しだけご紹介させていただければと思います。

ポストトレーニングを行うことで、単なる外部からの補強に留まらない、モデル自身の「構造的な進化」として「LLMを一段上げる」手法として、
すでに試している他の手法と組み合わせて使用する　ことも一つ検討してみてはいかがでしょうか。

Geminiをビジネス特化型モデルへと鍛え上げる上で、中心的な役割を果たすのがSFT（教師あり微調整）とDPO（直接選好最適化）という2つのポストトレーニング手法です
これらは、プロンプトエンジニアリングやRAGのような「外部からの補強」とは異なり、モデルの内部パラメータ（重み）を直接書き換えることで、特定の振る舞いを「モデル自身の成長」として定着させる構造的なプロセスです。

ざっくり説明：

• SFT（Supervised Fine-Tuning）：モデルに基本的な仕事の「型（フォーム）」を教え込むステップ。指示に従って正しく回答する「基礎能力」を構築。
• DPO（Direct Preference Optimization）：人間の好みに基づいて、その仕事の「洗練度（質）」を高めるステップ。複数の回答候補から「より好ましいもの」を選択できるようにし、人格や信頼性を磨き上げる。

Google Cloud上で学習を進める。

用意したデータを利用してGoogle Cloud上でトレーニングを実施します。
Gemini Enterprise Agent Platform（旧：Vertex AI）から「チューニング」を選択することで、トレーニングが可能です。

[チューニング済みモデルの作成]から実施可能です。

学習まで完了すると、「成功」の文字がコンソール上から確認可能です。
＊データ数によりますが、学習完了までは1h~2h 程度で完了します。

学習済みモデルを実際に使ってみる。

Agent PlatformのStudioから作成したモデルを選択可能です。

学習済みモデルを評価してみる。

学習済みモデルとベースモデルを評価してみた結果です。
＊今回は学習データが少ないということもあり、ベースモデルと比較して結果はdrawとなりました。データの質・量を再検討する必要がありそうですね。
ただ、ポストトレーニングの一つとして可能性を感じられるものだと実感してます。

モデルの呼び出し

from tqdm import tqdm
from vertexai.generative_models import GenerativeModel, SafetySetting, HarmCategory, HarmBlockThreshold

def run_manual_inference(model_id, prompts):
    # モデルの初期化
    model = GenerativeModel(model_id)
    responses = []
    
    # セーフティ設定（ブロックによる空レスポンスを防ぐため緩和設定を推奨）
    safety_settings = [
        SafetySetting(category=HarmCategory.HARM_CATEGORY_HATE_SPEECH, threshold=HarmBlockThreshold.BLOCK_ONLY_HIGH),
        SafetySetting(category=HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT, threshold=HarmBlockThreshold.BLOCK_ONLY_HIGH),
        SafetySetting(category=HarmCategory.HARM_CATEGORY_HARASSMENT, threshold=HarmBlockThreshold.BLOCK_ONLY_HIGH),
        SafetySetting(category=HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT, threshold=HarmBlockThreshold.BLOCK_ONLY_HIGH),
    ]

    print(f"推論開始: {model_id}")
    
    for prompt in tqdm(prompts):
        try:
            # 推論実行
            response = model.generate_content(prompt, safety_settings=safety_settings)
            
            # response.text が使えない（複数パートある）場合への対応
            if response.candidates and response.candidates[0].content.parts:
                # すべてのテキストパートを結合して取得
                full_text = "".join([part.text for part in response.candidates[0].content.parts if hasattr(part, 'text')])
                responses.append(full_text)
            else:
                # ブロックされた、あるいは空のレスポンス
                responses.append("ERROR: セーフティフィルター等により回答が生成されませんでした")
                
        except Exception as e:
            # ログには詳細を出しつつ、リストには簡潔に格納
            error_msg = str(e)
            print(f"エラー発生: {error_msg}")
            responses.append(f"ERROR: {error_msg[:50]}...")
            
    return responses

# --- 実行セクション ---
# モデルAの推論（ターゲットモデル）
df["response"] = run_manual_inference(MODEL_A_ID, df["prompt"])

# モデルBの推論（比較用ベースライン）
df["baseline_response"] = run_manual_inference(MODEL_B_ID, df["prompt"])

print("推論完了。比較用データセットを作成しました。")
display(df.head(2))

評価用のプロンプト 例）

def run_custom_evaluation(df):
    print("評価を実行中（手動審判モード）...")
    
    # 審判用モデルの初期化（最新のGemini Proを使用）
    judge_model = GenerativeModel("gemini-2.5-pro")
    
    evaluation_results = []
    
    for _, row in tqdm(df.iterrows(), total=len(df)):
        # 審判への指示を直接組み立てる
        eval_prompt = f"""
あなたは専門的な審判です。以下の「ユーザーの入力」に対し、2つの回答（回答Aと回答B）を比較し、どちらがより優れているか判定してください。

【ユーザーの入力】
{row['prompt']}

【回答A】
{row['response']}

【回答B】
{row['baseline_response']}

【判定基準】
1. 正確性: 手順や情報が正しいか
2. 論理性: 構成が分かりやすく、論理的か
3. 丁寧さ: カスタマーサポートとして適切なトーンか

【出力形式】
JSON形式で出力してください。
{{
  "winner": "A" または "B" または "Draw",
  "explanation": "判定理由を簡潔に記述してください",
  "score": 1.0(Aの勝ち), 0.0(Bの勝ち), 0.5(引き分け) のいずれかの数値
}}