GPT-3.5-turboでのデータセットの導入
前回執筆時はgpt-3.5-turboでのfine-tuningができなかったのですが、現在は、gpt-3.5-turboのfine-tuningが可能なので、まずは35件のデータセットを導入してみました。
まだまだ少なめのデータですが、デフォルトのモデルと比較して、私の回答に近い回答になっているかの検証です。
LINE Messaging APIのを利用してLINE公式アカウント上でテスト
LINEのmessaging APIを用いてこのfine-tuningモデルでの応答を実装しました。これにより、LINE上で手軽に恋愛相談ができるようになります。LINE公式アカウントを友達追加いただくことで動作確認いただけます。
関西弁の導入
データセットは関西弁にしました。これにより、AIが時折関西弁で回答するようになり、より人間らしい、地域に根ざした対話が可能になりました。数を増やせば常時関西弁AIも実現可能かもしれません。（role systemに指示すれば振る舞ってくれますが、今回はあえて指定しておりません）
データセット例
以下は使用したデータセットの一例です。ChatGPTに質問を作ってもらって、そこに私なりの回答を入れました。
※回答内容に対するツッコミは無しでお願いします…。
1.彼氏が変わってしまって、以前と違う態度をとるようになりました。どうすればいいですか？
相手が変わってしまったって思う場合は、実は自分が変わってしまったっていうケースが多いよ。付き合う前と比べて、多くを求めるようになってしまってたり、相手に対して気遣いがなくなってしまってたりせえへんかな？まずは自分を振り返ることで何か原因が見えてくるかもしれんよ。
2.彼氏が浮気をしているのではないかと疑っています。どうすれば確かめられますか？
浮気を突き止めたところでどうするん？浮気をするような相手と付き合ってるんやったら、その人をきっぱり断ち切る強さを持つ覚悟も大事やな。せやないと、また同じような問題が繰り返される可能性もあるから。浮気が発覚したら別れるんか、それとも何か解決の道を探すのか。何のために確かめたいか、改めて考えてみて。不安になるような相手と付き合ってるんやったら、その関係自体にそもそも問題があるかもしれへん。だから、不安にさせへん相手を探すか、自分が不安にならんくらい自信を持てるようになるか、どっちかにシフトするべきやと思うよ。
3.気になる人がいるけど、告白するにはまだ早いかなと思っています。どうすればいいですか？
告白が早いと感じるんやったら、相手が自分に告白したくなるくらい、自分を好きにさせる努力が必要ちゃうかな。告白に対して早いと思うってことは、まだ相手が自分を十分に好きやないと思ってるんやんな？その不安を払拭できるくらい相手に好きになってもらえる自分になろうよ！
デフォルトモデルとTuning-Modelの比較
デフォルトモデルとTuning-Modelの比較を行いました。
1.彼氏が変わってしまって、以前と違う態度をとるようになりました。どうすればいいですか？
デフォルトモデル
まずは彼氏の変化の原因を確かめるため、話し合いをすることが大切です。彼が何か悩みやストレスを抱えているかもしれません。話し合いの中で、お互いの思いやりを持って、相手の気持ちを聞くことが重要です。彼とのコミュニケーションを大切にし、困ったときは信頼できる人に相談することもおすすめです。
fine-tuningモデル
彼が変わったのは、君が変わったか、それとも彼自身が変わったか、または他の要素が影響を与えているのか、原因を考えることは重要だよ。例えば君が変わってしまったとすれば、それは君が自分を見失っているということ。自分を見失っているから、彼との関係もおかしくなるんだ。それならまず、自分自身を見つめ直して、自分を取り戻す努力をすることから始めてみてはどうかな。
2.彼氏が浮気をしているのではないかと疑っています。どうすれば確かめられますか？
デフォルトモデル
まずは信頼関係を大切にしましょう。直接的な証拠がない場合は、彼と心を通わせることが重要です。コミュニケーションを深め、自分の気持ちを正直に伝えてみてください。彼が真剣な関係を望んでいるのか、話し合いを通じて確かめることができます。ただし、無理に証拠を探し続けるのはおすすめしません。互いの信頼を失ってしまう事態を避けるためにも、お互いの気持ちに真摯に向き合うことが大切です。
fine-tuningモデル
浮気を確かめることが目的なら、疑惑を持った段階で関係を終わらせた方がいいと思うよ。もし本当に浮気してたら、それを確かめる前にもう関係は終わってるってことだから、それ以降の未来を考える意味もなくなる。自分の気持ちに正直になって、君にとって本当にいい選択をしよう。
3.気になる人がいるけど、告白するにはまだ早いかなと思っています。どうすればいいですか？
デフォルトモデル
まだ早いと感じているのなら、焦らずにゆっくりと関係を深めていくのがいいでしょう。まずは会話を重ねたり、共通の趣味や関心事を見つけたりして共通点を増やしていきましょう。相手との信頼関係が築けたら、自然なタイミングで気持ちを伝えるのが効果的です。焦る必要はありませんので、自分のペースで進めてください。
fine-tuningモデル
まだ早いと思うなら、まずは普通に仲良くなるくらいの付き合い方から始めてみるのもいいと思うで。相手に対して自分の気持ちを押し付けず、のんびりと関係を深めていけば、自然と告白するタイミングも見えてくるかもしれへんよ。まずは焦らず、楽しい時間を過ごすことが大事やで！
考察
デフォルトモデルとTuning-Modelを比較した結果、回答が変化しました。学習させた内容をそのまま提示するのではなく、おそらくその考え方をインプットした上で「こう言いそうだな」みたいな反応に感じました。
ただ、学習データもまだまだ少ないので、完全に考えを反映しているかといわれるとまだまだ既存の学習データを元に回答している部分も多いかなという印象です。
基本的にデータセットは関西弁・タメ口で学習させているので、ごくわずかにですが、関西弁とタメ口での回答が出るようになった点は、fihe-tuingの学習内容を反映している証拠と言えるかなと思います。
まだまだ数は少ないですが、質の良いデータセットをもっと大量に学習させれば、特定の文化やコミュニティに対して適応させることも可能なのかなと感じました。
今後の展望
今後はデータセットをさらに増やすことで、AIの精度の変化を検証していく予定です。（次こそは100件目指しますができるところまでアップしてまたブログ更新します）
LINE側の学習モデルも更新していきますので、気になる方はぜひご利用ください。
この検証は気長に続けていきますが、この過程で得られる知見は実案件でも色々と活用していけるかと思います。
OpenAI公式ではgpt-4のfine-tuningも秋頃にリリースされる予定ですのでそれとの比較などもやっていきたいと思います。