投稿

QEUR23_PHI2SFT31: よりAGIらしく改造する(Step3、質問の作成とまとめ)

イメージ
~ 今回は簡単におわります。 ~ QEU:FOUNDER(設定年齢65歳) : “今回は、簡易AGIの最後のステップになります。Step3から選択された24件の質問の答えを生成し、そのまとめ(SUMMARY)を確認しましょう。プログラムは、以前のものとほとんど同じです。そして、コードの晒しは最小限に・・・。” # ----- # [Step3,改造版]Groqを使って、簡単にQuestion to Question を試し、簡単な類似度を評価する # ----- import os import re import math # --- import pandas as pd import numpy as np from langchain_core.prompts import ChatPromptTemplate from langchain_groq import ChatGroq # ----- # 使う前にGroqに登録し、APIコードをもらってね os . environ [ "GROQ_API_KEY" ] = "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" # Llama 3 with Groq llm = ChatGroq ( temperature = 0 , model_name = "llama3-70b-8192" ) #llm = ChatGroq(temperature=0, model_name="Llama3-8b-8192") # ----- # AGIによるChain推論を行う # ----- # システムメッセージの一覧 # ----- sys_message_AIassistant = "You are an AI assistant who is good at providing answers in multiple languages." #sys_message_translator = "You are translat...

QEUR23_PHI2SFT30: よりAGIらしく改造する(Step2、類似度の計測)

イメージ
~ おっと!類似度計測のポリシーがかなり変わります。 ~ QEU:FOUNDER(設定年齢65歳) : “前回はStep2の質問の回答を生成して、それをもとにStep3の質問群を生成しました。そして、今回は(Step3の質問候補群の)類似度評価をおこないましょう。” # ----- # [Step2用,改造版]大量に生成された質問を類似度で評価する # ----- import os import re import math # --- import pandas as pd import numpy as np import matplotlib.pyplot as plt import spacy # spaCyをimport # ----- # Excelファイルからデータフレームを作成する # Question to Question df = pd . read_excel ( 'qq_for_UR_step2_output.xlsx' ) # Step1の質問数 num_df = len ( df ) df QEU:FOUNDER : “例によって、このEXCELファイル(↓)が最も重要なインプットです。Q1~Q5までの質問のうち、OK判断となったものに対して次回の質問として採用します。” QEU:FOUNDER : “今回の評価のやり方は、前回(の評価法)とすこし違います。それでは、プログラムをドン!” # ------ # QQ類似度分析: Question Step2とStep3を比較する # ------ nlp_md = spacy . load ( "en_core_web_md" ) # --- mx_similar_question_max = np . zeros ([ num_df , 5 ]) mx_similar_question_min = np . zeros ([ num_df , 5 ]) #print(mx_similar_question) # --- # (ちょっと複雑な)マトリック...

QEUR23_PHI2SFT29: よりAGIらしく改造する(Step2、質問の生成)

イメージ
~ Grokに問題あり(しようがないんだけどね。) ~ QEU:FOUNDER(設定年齢65歳) : “今回はStep2の質問の回答を生成して、Step3の質問を生成しましょう。ほとんど、内容が以前と同じだからねえ・・・。プログラムの一部だけを紹介します。” # ----- # [Step2,改造版]Groqを使って、簡単にQuestion to Question を試す # ----- import os import re import math # --- import pandas as pd import numpy as np from langchain_core.prompts import ChatPromptTemplate from langchain_groq import ChatGroq # ----- # 使う前にGroqに登録し、APIコードをもらってね os . environ [ "GROQ_API_KEY" ] = "gsk_jg自分でkeyを取ってね" # Llama 3 with Groq llm = ChatGroq ( temperature = 0 , model_name = "llama3-70b-8192" ) #llm = ChatGroq(temperature=0, model_name="Llama3-8b-8192") # ----- # AGIによるChain推論を行う # ----- # システムメッセージの一覧 # ----- sys_message_AIassistant = "You are an AI assistant who is good at providing answers in multiple languages." #sys_message_translator = "You are translator who is fluent in multiple languages.You will answer appropriately by refer...