QEUR23_PHI2SFT15: Reasoningの学習を改良する

コメント

コメントを投稿

このブログの人気の投稿

QEUR23_PHI2SFT21: creative分野のReasoningを生成する

イメージ
～ Reasoningの改善はまだまだ続く・・・ ～ QEU:FOUNDER（設定年齢65歳） ： “前回で、Unslothでllama3-8b(L3)が使えるようになりました。これは重要なステップでした。” D先生（設定年齢65歳） ： “さて、お次のステップは？” QEU:FOUNDER（設定年齢65歳） ： “今回のLLMの場合、汎用技術構造の縦軸はPrompt En-gineeringです。すでに横軸はUnslothの導入で基本システムができています。” D先生（設定年齢65歳） ： “あれ？RAG（Retrieval-Augmented Generation）は、縦軸それとも横軸・・・？” QEU:FOUNDER（設定年齢65歳） ： “率直、最新のRAGを良く知らないので何とも言えません。ただし、その昔、小生がLangChainを使ったときには、RAGとは「Prompt-Engineering」の一種と感じたけどね。さて、本プロジェクトの現在までの見解だが、Prompt-Engineeringにおいて、最も有用かつ重要な考え方は「Reasoning」であると思っています。そこで、今回は、creative系の学習データでReasoningを作りたいと思います。” D先生（設定年齢65歳） ： “似たようなことはopen_qa系でやったでしょ？それに、そもそも「creative系」という意味から説明しなければいけませんね。” Instruction = Produce a story about a bear. Output = Once upon a time, there was a bear who lived in the deep woods. The bear was a very curi-ous creature, and enjoyed exploring the world around him. One day, the bear stumbled upon a small pond, and while looking in the water, he saw a reflection of himself. Startled, the bear ran away, but the next d...
続きを読む

QEUR23_PHI2SFT14: Reasoningの予備学習を始めましょう

イメージ
～ まさに、これはBONSAIですね。 ～ ・・・ 前回のつづきになります ・・・ QEU:FOUNDER ： “まずは、データセット中のReasoningの一部に少しだけ手を入れてみましょう。以下のようなReasoningの学習データを作成しました。” D先生（設定年齢65歳） ： “えっ？こんなプロンプトの構造にするんですか？いままでのプロンプトの構造と全然ちがうじゃないですか？” QEU:FOUNDER（設定年齢65歳） ： “いや・・・。我々の大先生であるArtificialThinker(↑)がそのようにやっているので、それをさしあたり踏襲しているだけですよ。あと、このようにプロンプトの差異への対応については、AIの「主人公」を切換えていくしかないですね。” --- sys_message_AIassistant = "You are an AI assistant who is good at providing answers in multiple languages. Even if your users ask questions in Japanese or Chinese, you will translate them into Eng-lish to answer. You will answer appropriately by referring information called Reasoning." sys_message_AIassistant = "あなたは、複数の言語で回答を提供するのが得意な AI アシスタントです。 ユーザーがJ語やC語で質問しても、それをE語に翻訳して回答します。 あなたは、Reasoningという参考情報を読みながら適切に回答します。" --- sys_message_translator = "You are translator who is fluent in multiple languages.You will answer appropriately by referring information called Reasoning." sys_message_translato...
続きを読む

QEUR23_PHI2SFT32: RAG（LangChain-Phi3）を使ってみる（前回の出力総合を使う）

イメージ
～ 今回のモデルはいろいろ使えて、便利です。 ～ QEU:FOUNDER（設定年齢65歳） ： “今回で、簡易AGIのサブ・プロジェクトが終わりましたが、その活動を通じていくつかのデータ（↓）が取れました。” D先生（設定年齢65歳） ： “これらの情報は、Q＆Aの形になっているから、LLMモデルのfinetuneで使えるんじゃ・・・。” （モノの価値とは） （生活が、仕事が）便利になる 自分を変えることができる モノがあると快適、楽しい パーソナリゼーション QEU:FOUNDER ： “そう思うでしょ？・・でも、小生は、敢てそのステップの前に 「RAGによるスクリーニング」 の作業を入れます。そうしたほうがハルシネーションを抑えやすいし、 「モノの価値」 を上げるために、ユーザーがマニュアル作業でLLMモデルに知識を入れる余地が得られます。ちょうど似たプログラムを手に入れました。” QEU:FOUNDER ： “今回は、推論リソースが少なくて済む Phi-3-mini を使います。まずは、パッケージのインストールから・・・。” # --- ! pip install flash_attn ! pip install pydantic == '1.10.9' ! pip install -U langchain ! pip install -U tiktoken ! pip install -U pypdf ! pip install -U faiss-gpu ! pip install sentence_transformers == 2 .2.2 ! pip install -U InstructorEmbedding ! pip install -U transformers ! pip install -U accelerate QEU:FOUNDER ： “ちなみに、参考サイト（↑）のプログラムを使ったら、初めは山ほどのエラーが出ました（笑）。そのほとんどがインストールするパッケージに関するエラーだったので、もし以下のプログラムを使いたい人は気を付けて・・・。 アナタの環境で、うまくいく保...
続きを読む