これまで、代理店の皆さまからのお問い合わせは主にメールとお電話でお受けしてきました。

お問い合わせの中でも簡単なご質問や、過去にいただいたものと類似のご質問のような定型的なご質問をチャットボットが回答することで、質問者様、それに回答をする当社社員の双方にメリットをもたらすことが出来ると考えました。

チャットボットの導入により、代理店の皆さまにとっては「24時間いつでも、気軽に疑問を解消できる」というメリットが生まれ、当社にとっても問い合わせ対応の工数を圧縮することが出来るというメリットがあります。

AIの勢いが日々増している昨今、世の中には問い合わせ対応をAIが行うというサービスも数多く存在します。
最初から「チャットボットを作ろう」と考えていたわけではなく、我々も当初は、生成AIの活用を目指し、PoC(概念実証)を行いました。

PoCでは、AIに正確な回答をさせることが最大かつ最難関の課題となりました。
質問文の構成を変えてみたり、1つの質問が参照するドキュメントを単一にしたり複数にしたりと、四苦八苦しながら検証を重ねましたが、どうしてもハルシネーション(AIがもっともらしい誤った回答を生成してしまう現象)のリスクを取り除くことができませんでした。

社内利用であれば「最後は人が確認する」という運用でカバーできますが、今回は社外の代理店の皆さまにご利用いただくものです。

外部の方が利用する以上、ハルシネーションは絶対に起きてはならない。
この判断から、生成AIによる自動回答ではなく、あらかじめ用意した回答を返すチャットボットが最適であろうと判断し、方針転換いたしました。

ここで少しだけ、ハルシネーションが起きる仕組みをご紹介します。

生成AIは「事実に基づかない誤った情報をもっともらしく生成する」ことがあり、これをハルシネーション(幻覚)と呼びます※1。

なぜこのようなことが起きるのでしょうか。生成AI(大規模言語モデル)は、辞書やデータベースのように「正解を検索して取り出す」仕組みではありません。
膨大な文章を学習し、「この言葉の次には、どの言葉が来る確率が高いか」を予測して文章を組み立てる仕組みです。つまりAIの土台にあるのは「事実として正しいか」を確かめる仕組みではなく、「文章として自然につながるか」を予測する仕組みなのです。

学習データに誤りがなくても、学習の過程で最小化される統計的な目的の性質上、モデルは誤りを生成しうることが示されています。
さらに、AIの学習や評価の手続きが「不確かさを認めるよりも推測することを評価してしまう」ため、ハルシネーションは残り続けます※2。

人間のテストで、空欄にすれば0点、当てずっぽうでも当たれば得点になるのと同じ構造です。公開されているAIは「正確で役に立つ回答をする」よう追加の調整が施されていますが、こうした構造のため、「わからない」と言うより推測で答えてしまう癖は完全には消えていません。

また、ハルシネーションは学習データに情報がない場合だけに起きるわけではありません。発生要因はデータ・学習・推論の各段階にわたっており、頻度の低い情報をうまく記憶できていなかったり、必要な知識を持っていても正しく引き出せなかったりして誤りが生じます※3。

そのため生成AIは、確率的にそれらしい言葉をつなげ、一見もっともらしいが誤った回答を自信ありげに作り上げてしまうことがあります。
ハルシネーションは技術的な対策が検討されているものの完全に抑制できるものではないため、検索を併用するなど、ユーザーが出力の正しさを確認することが望ましいとされています※1。

通常のチャットボットのように選択肢を選んで進む方法に加えて、フリーフォームで質問を入力することもできます。
知りたいキーワードを入力すると質問の候補が表示され、そこからダイレクトに目的の質問へ飛ぶことができます。「選択肢をたどるのが面倒」という方にも使いやすい機能です。

導入後の手応えを正直に申し上げると、「まだまだ伸びしろがある」 というのが実感です。
「調べたい項目がない」「チャットボットへの導線がわかりにくい」といったご意見を多数いただいています。

まだ歩みを始めたばかりですが、改善の仕組みは用意しています。
当社が導入したチャットボットでは、管理画面で離脱率や正答率などの指標を確認できます。
数字で現状を把握し、回答の見直しにつなげていきます。

また、追加してほしいQAを随時お送りいただけるフォームもご用意しました。回答が表示された際の「問題は解決しましたか」で「いいえ」を押下いただくと、フォームが表示されます。「欲しい答えがなかった」という声こそが、チャットボットを育てる一番の材料です。

チャットボットは「作って終わり」ではなく「育てていくもの」だと考えています。

まずは利用率の向上に向けて、アップデート情報などを継続的に発信していこうと考えています。
あわせて、管理画面の指標やいただいた声をもとに回答の見直しを進めるとともに、「調べたい項目がない」というお声を減らせるよう、質問の拡充にも取り組みたいです。
また、チャットボットに迷わずたどり着けるよう導線を追加していくほか、定期的な利用アンケートを実施し、皆さまの声を継続的にお聞きしながら改善を重ねてまいります。
まだまだ発展途上のチャットボットですが、代理店の皆さまの「ちょっと知りたい」にいつでもお応えできる存在に育てていきます。

※(出典)
※1 総務省『令和6年版 情報通信白書』第Ⅰ部 第4章 第1節「1 生成AIが抱える課題」
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/html/nd141100.html
※2 Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, "Why Language Models Hallucinate," 2025年9月. arXiv:2509.04664
https://arxiv.org/abs/2509.04664
解説記事: https://openai.com/index/why-language-models-hallucinate/
※3 Lei Huang et al., "A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions," ACM Transactions on Information Systems, Vol. 43, No. 2, 2025. arXiv:2311.05232
https://arxiv.org/abs/2311.05232