QEU_ROUND2-3： 小規模(大規模)言語モデル(SLM)で遊んでみる

～ アンサンブルは機械学習でよく使います。なぜなら・・・。 ～ ・・・ 前回の続きです ・・・ QEU:FOUNDER ： “今回、せっかく2つのＬＬＭからの推論出力が出てきたのだから、アンサンブル処理をやってみたいと思うんだ。” D先生（設定年齢65歳） ： “古典的な機械学習では、 ランダムフォレスト（ＲＦ）のような手法 ですか？ＬＬＭで、そんなことができるんですか？” QEU:FOUNDER ： “ Prompt Engineeringを駆使すればアンサンブル処理を実施することができます 。じゃあ、プログラムをドン！！ただし、プログラムの1部だけです。Prompt Engineeringにかかわる部分だけです。” ################### # テンプレートの準備 ############### # ---- str_template_1reasoning = """ You are an excellent logician who teaches your client (user) ```thinking procedures('reasoning') to provide higher quality answers to user-provided prompt ('question').``` Read the example named 'Question_and_Answer' below and write the appropriate reasoning logic ('improved_reasoning') fol-lowing the prompt. Here, 'ref_reasoning' which was already generated by other LLM models, are shown for reference. User is not very satisfied with the reasoning and would like to improve them. Please write your answer('impro...

～ Llama3も使ってみましょう ～ ・・・ 前回のつづきです ・・・ QEU:FOUNDER ： “最近、強力な（L3）モデルリリースの大ニュースがあったでしょ？これからReasoningを量産することになるが、その「エンジン」を切り替えることも考えています。” D先生 ： “初めて見たけど、8bってサイズがあるんですね。このL3モデルは、（Tesla）T4クラスで動くんですか？” QEU:FOUNDER ： “いやあ、いまのところはわからないです。いまのところ、L3を推論用に使うことになるが、最低でも推論だけでもいいから、T4環境でイケるのかどうかは半々です。まあ、T4の環境でSFT学習は絶対に無理だろうけどね。まあ、せっかくPhi-2でよい学習ができたので、これからも使ってみたいよね。さて、Qloraの学習結果を読み込み、それをモデルに結合させて連続推論するプログラムをつくりました。プログラムをドン！” # ----- # 普通の推論(1) # ----- import torch from transformers import AutoModelForCausalLM , AutoTokenizer torch . set_default_device ( "cuda" ) tokenizer = AutoTokenizer . from_pretrained ( "microsoft/phi-2" , trust_remote_code = True ) model = AutoModelForCausalLM . from_pretrained ( "microsoft/phi-2" , torch_dtype = "auto" , trust_remote_code = True , eos_token_id = 50256 , pad_token_id = 50256 ) # ----- # 普通の推論(2) # ----- inputs = tokenizer ( '''What is the most highest mountain in Jap...