QEUR23_PHI2SFT18: Reasoningを使って回答の品質を改善できるかを検証する

コメント

コメントを投稿

このブログの人気の投稿

QEUR23_PHI2SFT21: creative分野のReasoningを生成する

イメージ
～ Reasoningの改善はまだまだ続く・・・ ～ QEU:FOUNDER（設定年齢65歳） ： “前回で、Unslothでllama3-8b(L3)が使えるようになりました。これは重要なステップでした。” D先生（設定年齢65歳） ： “さて、お次のステップは？” QEU:FOUNDER（設定年齢65歳） ： “今回のLLMの場合、汎用技術構造の縦軸はPrompt En-gineeringです。すでに横軸はUnslothの導入で基本システムができています。” D先生（設定年齢65歳） ： “あれ？RAG（Retrieval-Augmented Generation）は、縦軸それとも横軸・・・？” QEU:FOUNDER（設定年齢65歳） ： “率直、最新のRAGを良く知らないので何とも言えません。ただし、その昔、小生がLangChainを使ったときには、RAGとは「Prompt-Engineering」の一種と感じたけどね。さて、本プロジェクトの現在までの見解だが、Prompt-Engineeringにおいて、最も有用かつ重要な考え方は「Reasoning」であると思っています。そこで、今回は、creative系の学習データでReasoningを作りたいと思います。” D先生（設定年齢65歳） ： “似たようなことはopen_qa系でやったでしょ？それに、そもそも「creative系」という意味から説明しなければいけませんね。” Instruction = Produce a story about a bear. Output = Once upon a time, there was a bear who lived in the deep woods. The bear was a very curi-ous creature, and enjoyed exploring the world around him. One day, the bear stumbled upon a small pond, and while looking in the water, he saw a reflection of himself. Startled, the bear ran away, but the next d...
続きを読む

QEUR23_PHI2SFT20: Unslothを使って、llama3をfinetuneする

イメージ
～ ただし、それを動かすにはいろいろ要求があります ～ ・・・ 前回のつづきです ・・・ QEU:FOUNDER（設定年齢65歳） ： “今回で、Finetuneそのもののフレームワークができたと思います。このまま、P2モデルでぶっちぎるか、それとも他の上位モデルに移行するかの瀬戸際にきました。” D先生（設定年齢65歳） ： “FOUNDERは、今後もP2(Phi-2)でぶっちぎりですか？” QEU:FOUNDER（設定年齢65歳） ： “さすがに、もう（P2ごり押しは）無理だよ。次は、これ（↓）を試しに使ってみようと思うんだ・・・。” D先生（設定年齢65歳） ： “学習速度が2倍？こんなすごいことを、どうやってやるんだろうか・・・？” QEU:FOUNDER（設定年齢65歳） ： “Unslothの機能は、 「断片化の解消」 らしいよ・・・。” D先生（設定年齢65歳） ： “ああ、懐かしい・・・。なるほど、そういうことなのか・・・。” QEU:FOUNDER（設定年齢65歳） ： “ただし、学習には開発チームが指定したモデルを使う必要があるし、さらには ハードウェア上の制約 もあるらしいよ。いまのところ、手に入るのはllama3(L3)であり、Phi-3(P3)のリリースはまだです。” D先生： “L3でも十分なパワーがありますからね。問題は、L3-8b程度で、どの程度の外語処理能力を持つのかという点だけです。” QEU:FOUNDER ： “じゃあ、やってみようか・・・。プログラムをドン！Unslothにおいて、一番の問題は 「インストールが無事にできるか」 です。” # --- ! pip install -U xformers --index-url https://download.pytorch.org/whl/cu121 ! pip install "unsloth[kaggle-new] @ git+https://github.com/unslothai/unsloth.git" # Temporary fix for https://github.com/huggingface/datasets/issues/6753 ! pip install data...
続きを読む

QEUR23_PHI2SFT7: PromptEngineering～Reasoningを使ったLLM学習(Finetuning)

イメージ
～ 「ほんの少し」だけの進歩です ～ D先生（設定年齢65歳） ： “あたらしいデータセットが出来たんでしょ？Finetuningをしてみましょう！” QEU:FOUNDER（設定年齢65歳） ： “じゃあ、やってみましょうか・・・。プログラムをドン！” # --- # プロンプト変換用の関数(Batch) def formatting_prompts_func ( examples ): output_text = [] for i in range ( len ( examples [ "instruction" ])): instruction = examples [ "instruction" ][ i ] input_text = examples [ "input" ][ i ] response = examples [ "output" ][ i ] if len ( input_text ) >= 2 : text = f '''Below is an Instruction that describes a task, paired with a Context that provides further information. Write a Response that appropriately completes the request. ### Instruction: { instruction } ### Context: { input_text } ### Response: { response } ''' else : ...
続きを読む