AIを作ってみる2

前回AIの開発に着手してから、いくつか限界を感じたことがあった。
例えば、学習データをCSVで管理していると、データ量が膨大になっていく。
また、いちいちマスタメンテナンスのように手で更新していくのも手間がかかる。
そこで、PythonにはSQLiteというライブラリがあるらしいので、これを使ってみることにした。
Pythonでデータベースを扱うという題材としてもちょうど良い。
現時点で実装したテーブルは2つ。
学習データ
性格データ
SQLite Webでデータが登録されていることも確認した。
ちなみにOracleのベンダー資格は持っているが、
実際にCREATE文やDROP文を自分で書いたのは今回が初めてだった。
業務ではテーブル作成や削除はまずやらないので、少し新鮮だった。
実装していく中で、いくつか問題も出てきた。
例えば、文字のゆらぎ。
こんにちは
こんちは
このような表現の違いが、それぞれ別のデータとして登録されてしまう。
同じ意味でも表現が異なると別レコードになるため、
このままだとデータベースが圧迫されてしまう。
そのため、揺らぎを吸収する仕組みが必要だと気づいた。
また、一度学習した内容はずっと残る仕様になっていたため、
誤ったデータもそのまま残り続けてしまう。
その対策として、学習データを都度再生成する方式に変更した。
ただし、この方法だと処理が重くなるため、キャッシュも導入した。
つまり、一度学習した結果はキャッシュとして保持し、再利用することで処理速度を維持する仕組みである。
AIを作っていると、正しいことを学ばせるより、間違ったことを忘れさせる方が難しいと気付いた。
import sqlite3
import pandas as pd
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
# -------------------------------
# キャッシュ用変数
# -------------------------------
cached_vectorizer = None
needs_update = True
# -------------------------------
# 類似度検索
# -------------------------------
def get_best_response(user_input, situation):
global cached_vectorizer, needs_update
conn = sqlite3.connect('taka_system.db')
df_candidates = pd.read_sql_query(
"SELECT question, answer, emortion FROM training_data WHERE situation = ?",
conn,
params=(situation,)
)
conn.close()
if df_candidates.empty:
return "UNKNOWN", "Normal"
# n-gramで揺らぎ対応
if needs_update or cached_vectorizer is None:
cached_vectorizer = TfidfVectorizer(
analyzer='char',
ngram_range=(2, 3)
)
db_vecs = cached_vectorizer.fit_transform(
df_candidates["question"].tolist()
)
needs_update = False
else:
db_vecs = cached_vectorizer.transform(
df_candidates["question"].tolist()
)
user_vec = cached_vectorizer.transform([user_input])
similarities = cosine_similarity(user_vec, db_vecs)
best_score = np.max(similarities)
best_idx = np.argmax(similarities)
# 類似度しきい値
if best_score < 0.2:
return "UNKNOWN", "Normal"
return (
df_candidates.iloc[best_idx]["answer"],
df_candidates.iloc[best_idx]["emortion"]
)
# -------------------------------
# 学習保存
# -------------------------------
def save_new_interaction(question, answer, emotion, situation):
global needs_update
conn = sqlite3.connect('taka_system.db')
cursor = conn.cursor()
cursor.execute('''
INSERT INTO training_data (question, answer, emortion, situation)
VALUES (?, ?, ?, ?)
''', (question, answer, emotion, situation))
conn.commit()
conn.close()
needs_update = True
print(f"(学習データとして保存しました。感情: {emotion})")
# -------------------------------
# メイン処理
# -------------------------------
def main():
current_situation = "Private"
print("システム起動。[/set Business]で切り替え可能です。")
while True:
user_input = input("\n[入力]: ")
if user_input.lower() == "exit":
break
if user_input.startswith("/set "):
current_situation = user_input.split(" ")[1]
print(f"状況を {current_situation} に変更しました。")
continue
response, emotion = get_best_response(
user_input,
current_situation
)
if response == "UNKNOWN":
ただ、これで入力の整理はできるようになったものの、
出力については自分の性格が全く反映されていない。
せっかく性格データをDBに持たせているのに、
単に過去の回答を返しているだけでは、真の意味で「自分のAI」とは言えないと感じました。
せっかく性格データを持たせている以上、その時の状態や傾向によって応答が変わってこそ意味があると考えています。
次のステップとして、出力そのものに性格を反映させる仕組みを組み込んでいこうと思います。

コメント