QEU_ROUND2-3： 小規模(大規模)言語モデル(SLM)で遊んでみる

～ すごい！ただし、入力データは不足しているが・・・。 ～ ・・・ 前回のつづきです ・・・ QEU:FOUNDER ： “そもそもの問題は、「前回の出力にはOPINIONしかないからこうなった」ことです。もし、前回の出力にFACTが含まれており、それがRAGから供給されていれば、もっと違った回答になっていたでしょう。これは、我々の 「Question to Question」 の目標である、「キレのある質問」にも同じことが言えます。” D先生： “さらにいうと、回答だけでなく、質問にもFACTが付加されていなければならない。” QEU:FOUNDER ： “いわゆる 「当事者意識」 というやつです。当事者意識があれば、質問には必ずFACTが入ってきます。このように、前回の出力をRAG内に入れただけでは、情報が全然足らないことがわかりました。次はFACT情報を注入しましょう。具体的には、コレ（↓）のコンテンツを入れてみましょう。” QEU:FOUNDER（設定年齢65歳） ： “この人は、かなりマイナーですが、なかなかのジャーナリストです。いろいろ本も出しています。ちなみに、Wikiにプロファイルが出ていますので、詳しくはそちらを見てください。” D先生（設定年齢65歳） ： “あれはミュージシャンだと思っていました・・・（笑）。” QEU:FOUNDER ： “彼の関連記事の一部をテキスト・ファイルに変換し、ベクトル・ストアに保存しました。そうすれば、ベクトル・ストアから関連した情報を引き出すことができます。これをLLMに入力するわけです。” QEU:FOUNDER ： “今回も、推論リソースが少なくて済むPhi-3-miniを使います。” QEU:FOUNDER ： “じゃあ、プログラムは同じなので紹介はスキップ！出力の例にいきます！ベクトルストアの情報の量が少なく、前回と比較して 「〇：大変身したモノ」 と 「×：あいかわらずのモノ」 が混在しております。” (質問) What role can regional organizations, such as the European Union and the Organization for ...

～ 今回のモデルはいろいろ使えて、便利です。 ～ QEU:FOUNDER（設定年齢65歳） ： “今回で、簡易AGIのサブ・プロジェクトが終わりましたが、その活動を通じていくつかのデータ（↓）が取れました。” D先生（設定年齢65歳） ： “これらの情報は、Q＆Aの形になっているから、LLMモデルのfinetuneで使えるんじゃ・・・。” （モノの価値とは） （生活が、仕事が）便利になる 自分を変えることができる モノがあると快適、楽しい パーソナリゼーション QEU:FOUNDER ： “そう思うでしょ？・・でも、小生は、敢てそのステップの前に 「RAGによるスクリーニング」 の作業を入れます。そうしたほうがハルシネーションを抑えやすいし、 「モノの価値」 を上げるために、ユーザーがマニュアル作業でLLMモデルに知識を入れる余地が得られます。ちょうど似たプログラムを手に入れました。” QEU:FOUNDER ： “今回は、推論リソースが少なくて済む Phi-3-mini を使います。まずは、パッケージのインストールから・・・。” # --- ! pip install flash_attn ! pip install pydantic == '1.10.9' ! pip install -U langchain ! pip install -U tiktoken ! pip install -U pypdf ! pip install -U faiss-gpu ! pip install sentence_transformers == 2 .2.2 ! pip install -U InstructorEmbedding ! pip install -U transformers ! pip install -U accelerate QEU:FOUNDER ： “ちなみに、参考サイト（↑）のプログラムを使ったら、初めは山ほどのエラーが出ました（笑）。そのほとんどがインストールするパッケージに関するエラーだったので、もし以下のプログラムを使いたい人は気を付けて・・・。 アナタの環境で、うまくいく保...