～いやぁ、しかし・・・。今回はゆるいねえ・・・。～

QEU:FOUNDER（設定年齢65歳）： “じゃあ、つぎは検証データ(_eval)のデータセットを準備したのでつかってみましょう。”

（Evaluationデータ）

D先生（設定年齢65歳）： “ちなみに、いままでは学習用データセット(_train)のみでプログラムを動かしていました。でも、考えてみれば、いままでのやり方がおかしかったわけで・・・。”

（Trainデータ）

QEU:FOUNDER（設定年齢65歳）： “それでも、インターネットで調べてみると、ほとんど皆が普通にtrainのみでSFT学習していますよ。ちなみに、今回の場合には、以下のプログラムの一部分のみがかわります。”

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset_train,
    eval_dataset=dataset_eval,
    peft_config=peft_config,
    max_seq_length= 2048,
    tokenizer=tokenizer,
    args=training_arguments,
    formatting_func=formatting_prompts_func,
    packing= False,
)

trainer.train()

QEU:FOUNDER ： “今回もMITモデルです。我々の今回のプロジェクトは「ぜ～んぶ」ね・・・。”

（重要：MITライセンスへのリンク：これからは、ず～っと使うよ）

(クリックしてね！)

D先生： “evalデータセットを使うと何が良くなるのか、HFの解説をいてもようわからんのよ・・・。・・・で、この学習結果はどうなりました？”

QEU:FOUNDER ： “感覚的には、前回とほとんど変わっていません。おそらく、学習したデータが少しだけ増えただけのメリットでしょうね。”

D先生（設定年齢65歳）： “まあ、あまり期待せずに結果をみてみましょう。”

QEU:FOUNDER ： “そういってもらえるとありがたい。まずは、我々のいうところの「推論方式A」をやってみましょう。”

# ---
pipe = pipeline(task="text-generation", model=model, tokenizer=tokenizer, max_length=300)
result = pipe(prompt)
print(result[0]['generated_text'])

(推論A)

D先生： “全然だめだわ・・・。じゃあ、「推論方式B」はこうなったと・・・。”

# ---
# プロンプトを生成する(推論タイプB)
def generate_text(query):
    inputs = tokenizer(query, 
                       return_tensors="pt", 
                       return_attention_mask=False).to('cuda')
    outputs = model.generate(**inputs, max_length=200)
    text = tokenizer.batch_decode(outputs)[0]
    return text

generated_text = generate_text(prompt)
print(generated_text)

（推論B）

QEU:FOUNDER ： “ひとこと。「前回とほとんど変わらん」とも言えますね。じゃあ、他の質問をしてみましょう。ここでは、最終目標は「A国の首都を質問すること」がポイントです。そのときに、ＬＬＭはE語のモデル脳を使っているはずなので・・・。その前にJ国の首都を質問した場合を見てみるとこうなります（↓）。”

（推論のAタイプ）