QEUR23_PHI2SFT26: 生成された質問文の類似度を計測する
～ 注：別にAGIを開発するつもりはないです ～
QEU:FOUNDER ： “前回までで、STEP1がおわりました。ここで、初期の質問(STEP1)に対する回答と、次の質問(STEP2)が生成されたわけです。”
D先生： “STEP2の質問は、5つづつ生成されています。適当に「（意味のない質問を）刈り取り」をしなければなりません。”
（前回に見出された、課題の一覧）
- Reasoningが出てこない。
- 質問が深堀されない。
- 質問がトートロジー（循環論法）になる。
- タスクの自動化が必要（わかりやすい「まとめ」が必要）
QEU:FOUNDER ： “いろいろな対策が考えられますよ。ただし、今回は「多くの質問を絞り込む方法」だけにしたいと思います。それでは、プログラムをドン！！”
# -----
# 大量に生成された質問を類似度で評価する
# -----
import os
import re
# ---
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import json
import spacy # spaCyをimport
# ---
#from langchain_core.prompts import ChatPromptTemplate
#from langchain_groq import ChatGroq
# -----
# Excelファイルからデータフレームを作成する
df = pd.read_excel('qq_for_UR_step1_output.xlsx')
df
QEU:FOUNDER ： “能書きはもうなし、プログラムで動かしてみましょう。初期の質問（Step1）から、さらに一歩進んだ質問(Step2)を生成しましょう。”
D先生（設定年齢65歳） ： “あれ？生成された質問（５つづつ）が、分離されていますよ？どうやったんですか？”
QEU:FOUNDER（設定年齢65歳） ： “前回紹介したプログラムを改造してください。ヒントは、プロンプトエンジアリングと正規表現の活用です。それではつづきにいきましょう。”
# -----
# 文字列を抽出する
arr_QStep1 = df.loc[:,'Question(Step1)'].values
#print(arr_QStep1)
# -----
mx_QStep2 = df.loc[:,'Q1':'Q5'].values
print(mx_QStep2)
print(mx_QStep2.shape)
# ------
#import spacy # spaCyをimport
nlp = spacy.load("en_core_web_md")
# ---
mx_similar = np.zeros([len(df), 5])
# ---
# マトリックス計算
for i in range(len(df)):
str_question1 = arr_QStep1[i]
print(f"i:{i}, string:{str_question1}")
token1 = nlp(str_question1)
# ---
for j in range(5):
str_question2 = mx_QStep2[i,j]
print(f"i:{i}, j:{j}, string:{str_question2}")
token2 = nlp(str_question2)
# -----
# 類似度
similarity = token1.similarity(token2)
mx_similar[i,j] = round(similarity,5)
print(f"i:{i}, j:{j}, similarity:{similarity}")
# -----
#print("--- mx_similar ---")
#print(mx_similar)
QEU:FOUNDER（設定年齢65歳） ： “このように、2つの文の類似度がバラバラと出て来て、マトリックスが形成されます。”
D先生（設定年齢65歳） ： “なんですか、それ？”
QEU:FOUNDER（設定年齢65歳） ： “STEP1の質問文とSTEP2の質問文を比較しているんです。もしも、類似度が高いと同じ答えがでてくるだけでしょ？”
# ----
arr_columns = ['S1','S2','S3','S4','S5']
df_similar = pd.DataFrame(mx_similar, columns=arr_columns)
df_similar
# ----
# PUSH要否を出力する
mx_push = np.array([["OK"] * 5 for i in range(len(df))])
#print(mx_push)
for i in range(len(df)):
for j in range(5):
if mx_similar[i,j] > 0.8:
mx_push[i,j] = "NG"
# ----
arr_columns = ['P1','P2','P3','P4','P5']
df_push = pd.DataFrame(np.array(mx_push), columns=arr_columns)
df_push
# ----
# 結果の出力
df_out = df.copy()
df_out = pd.concat([df_out, df_similar, df_push], axis=1)
df_out
# ---
# データフレームからExcelファイルを作成する
df_out.to_excel("qq_for_UR_step1_similarity.xlsx")
QEU:FOUNDER（設定年齢65歳） ： “あとは、今回の処理の結果をEXCELファイルに出力してみましょう。”
D先生（設定年齢65歳） ： “あれ？国際関係について質問すると、類似度の値がさがる傾向があるようですね。”
QEU:FOUNDER（設定年齢65歳） ： “つまり、「質問が深い・・・。」ということでしょ？ただし、簡単に類似度だけで質問の良否選択はできないと思います。自分で質問を読んで、判断しないとね・・・。”
D先生： “私らは、AGI（自律型AI）を開発しているわけではないから・・・。”
（モノの価値とは）
- （生活が、仕事が）便利になる
- 自分を変えることができる
- モノがあると快適、楽しい
- パーソナリゼーション
QEU:FOUNDER ： “我々が開発している「モノの価値」を高めたい。そのためには、プロセスの中間段階でユーザーが学び、進む方向を選択するのもいいんじゃないでしょうか。あと、是非、カンパ（↓）をお願いします。”
＞寄付のお願い(click here for buy me a cup of coffee)＜
D先生： “次は、第2ステップですね。若干、処理が複雑になってくるでしょう。”
～ まとめ ～
・・・ 前回のつづきです ・・・
QEU:FOUNDER ： “これから恐ろしいことを言うよ。この大御所（↓）はC国系だよ。よくいうABC(American Born ChXnXse)ってやつ・・・。この人にA国文化が根付いているから、そうなんだとは思いません。C国は非常に特殊な血縁主義があり、それに基づいて独自の支援体制やリスク・テークのシステムを構築できるんですよ。”
C部長 : “C国の血縁主義？あそこには、そんな文化がありましたっけ？”
QEU:FOUNDER ： “親子の仲は変わらないが、兄弟姉妹は柔軟ですよ。昔、小生がC国で働いていたときに、兄弟姉妹が会社に多いのに驚いた。ただし、彼らの顔が全然ちがう。よく聞くと、同じ村で生まれた人は兄弟姉妹と考えているらしい。このようなコミュニティの存在が、瞬時に大きな資本を得る源泉になるんですよ。優秀な子供がいると、周囲の人々はその子供に金を与え、出世払いを期待します。まあ、彼らの本音でいえば「郷土からすごい奴が出れば、まあヨシ・・・」と考えているだけじゃないかと思うが・・・。”
QEU:FOUNDER ： “あと、C国には「資本主義の基本」が文化に根付いていることも大きい。資本主義の基本は、「貸し借りをベースとしたコミュニケーション」です。彼らは、ごはんを食べるときには、基本、「割り勘」はしません。なぜなら・・・。古来からの知恵（↑）なんじゃない？”
C部長 : “「迷惑をかけるな」が基本哲学の、どっかの国とは根本的に違いますね。”
- 古い(平成)おっさん（＠QCサークル講話）；「従業員の皆さんにはテレビを見てください。皆が同じように考えてください。」
- 古い(平成)オッサン（＠車中、N社検査不正について）： 「“検査不正”っていうのはなァ、（組織外に不正を）漏らしたヤツが悪いんだよ・・・」
- 古い(平成)オッサン（海外工場のあいさつにて、なんと201X年のセリフじゃ！）：「私の使命はこの会社で終身雇用制を実現することにある・・・。」
QEU:FOUNDER ： “古いオサーンの考え方は、平時だったらいいんですよ。平時だったら・・・、何事もなく、万年変化なしだったら・・・。”
田文は食客を使って昭襄王の寵姫に命乞いをしたが、寵姫は田文の持つ宝物「狐白裘（こはくきゅう）」[2]と引き替えなら昭襄王に助命を頼んでもよいという。しかし、田文は秦に入国する前に昭襄王にこれを献上していた。悩んでいたところ、食客の一人である狗盗（犬のようにすばしこい泥棒）が名乗り出て、昭襄王の蔵から狐白裘を盗んできた。これを寵姫に渡すと、そのとりなしによって屋敷の包囲は解かれ、田文はひとまず危機を逃れることができた。
しかし昭襄王の気がいつ変わるかわからない。そこで田文は急いで帰国の途に就き、夜中に国境の函谷関までたどり着いた。しかし関は夜間は閉じられており、朝になって鶏の声がするまでは開けないのが規則だった。すでに気の変わった昭襄王は追っ手を差し向けており、田文もそれを察して困っていたところ、食客の一人である物真似の名人が名乗り出た。そして彼が鶏の鳴きまねをすると、それにつられて本物の鶏も鳴き始め、これによって開かれた函谷関を抜けて、田文は秦を脱出することができた[3]。昭襄王の追っ手は夜明け頃に函谷関へ着いたが、田文らが夜中に関を通ったことを知ると引き返した。こうして田文一行は虎口を脱した。
常日頃、学者や武芸者などの食客は、田文が盗みや物真似の芸しか持たないような者すら食客として受け入れていたことに不満だったが、このときばかりは田文の先見の明に感心した。「つまらない才能」あるいは「つまらない特技でも、何かの役に立つ」を意味する鶏鳴狗盗（けいめいくとう）の故事はここから来ている[4]。
QEU:FOUNDER ： “でもね、いつか大きな変化が来るんです。安寧な平時は永遠に続くように見えてもね・・・。だから、C国の歴代君主は食客を重視したんです。”
C部長 : “いままでの話をA国にもどすと、「ユニコーン企業（Unicorn company）」とはC国における食客であり、J国の失敗事例でいうと「ボランティアの管理」ですね。はぁ～・・・。J国はかわるんですかねぇ・・・？”
QEU:FOUNDER ： “C国から数千万人来ればかわるんじゃない？J国人の高い適応能力（↑↓）をすぐに発揮して、すぐに世の中が変わっていきます。”
C部長 : “それも悲しい・・・。”
コメント
コメントを投稿