岡田有策研究室

第1章　生成AIのハルシネーションを「異常」ではなく「行動」として捉え直す

生成AIにおけるハルシネーションという言葉は、すでに広く知られるようになった。事実と異なる情報を、もっともらしい文章で生成する現象として説明されることが多く、そのたびに「AIはまだ信用できない」「だから人間がチェックしなければならない」といった結論が添えられる。しかし、この語られ方自体が、ハルシネーションの本質を捉え損ねているように思われる。表層的に見れば、ハルシネーションは「誤り」や「異常」に見えるかもしれないが、それを単なる欠陥として切り捨ててしまう限り、同じ現象は形を変えて何度でも繰り返される。問題は、ハルシネーションが起きたという事実そのものではなく、「なぜその振る舞いが選ばれたのか」という行動の背景に目を向けていない点にある。

少し視点を中層へ移してみると、生成AIのハルシネーションは、決してランダムに生じているわけではないことに気づく。特定のプロンプト、特定の文脈、特定の関係性のもとで、特定のタイプの誤りが繰り返し現れる。つまりそこには、一定の条件が整ったときに発現しやすい「行動パターン」が存在している。これは、人間のヒューマンエラーが、注意不足や不注意といった個人の資質だけで説明できないのとよく似ている。人間のエラーもまた、作業環境、時間的制約、役割期待、過去経験といった複数の要因が重なったときに、ある種の行動として表出する。生成AIのハルシネーションも同様に、入力条件と内部状態、そしてユーザとの相互作用の結果として生じる「振る舞い」として理解する方が、はるかに整合的である。

さらに深層に踏み込むと、この類似性は偶然ではないことが見えてくる。ヒューマンエラー研究の分野では、エラーは「人間が不完全だから起きるもの」ではなく、「人間が合理的に行動した結果として生じるもの」と捉えられてきた。限られた情報、限られた時間、限られた認知資源のもとで、人は最もそれらしく、最も効率的に見える行動を選択する。その結果として、誤りが生じることがある。生成AIもまた、与えられたプロンプトと内部の学習構造に基づき、「最も尤もらしい応答」を生成しようとする。その過程で起きるハルシネーションは、異常動作というよりも、むしろその設計思想に忠実な行動の帰結である。この視点に立つと、ハルシネーションを単に排除すべき欠陥とみなす態度そのものが、問題の核心から目を逸らしていることが分かる。

この捉え直しは、現実世界への波及という観点でも重要な意味を持つ。ハルシネーションを「AIの間違い」として扱い続ける限り、対策は「より賢いAIを作る」「より厳密な検証機構を組み込む」といったシステム側の改良に限定される。しかし、人間のヒューマンエラー対策がそうであったように、システム設計だけでは限界がある。実際の利用現場では、ユーザの使い方、期待の持ち方、AIとの距離感が、エラーの発生頻度や深刻さに大きく影響する。ハルシネーションを行動として捉えることは、生成AIを「完璧か不完全か」という二分法から解放し、人とAIの関係性そのものを設計対象として捉え直すことにつながる。そのとき初めて、ハルシネーションは単なる失敗談ではなく、生成AI時代の人間行動を映し出す鏡として、分析可能な対象へと変わるのである。

▲トップへ戻る

第2章　ハルシネーションの類型化が示す、生成AIの内部で起きていること

生成AIのハルシネーションは、一見すると雑多で偶発的な現象に見える。しかし実際には、そこには繰り返し現れる特徴的な振る舞いが存在している。本章では、ハルシネーションを結果としてではなく、生成AIが選択した「行動」として捉え、その代表的なタイプを整理する。ここで重要なのは、これらがモデルの欠陥一覧ではないという点である。いずれも、特定の条件が重なったときに、生成AIが合理的に選びがちな応答行動であり、人間のヒューマンエラーと強い同型性を持っている。

①シグナルバイアス（プロンプトの一部だけを拾い、全体文脈を失う）
シグナルバイアスとは、生成AIがプロンプト全体を読んでいないわけではないにもかかわらず、その中の「重要そうに見える一部の情報」だけを強く拾い上げ、それ以外の条件や文脈を事実上無視して回答を構成してしまう行動である。利用者の目には、回答は一見すると筋が通っており、使われている用語や論理展開もそれらしく見えるため、誤りに気づきにくい。しかし注意深く見ると、プロンプトに含まれていた制約条件や前提、例外的な扱いが必要な点が反映されておらず、「そこを外したら意味が変わる」という核心部分が抜け落ちていることが多い。なぜこのようなことが起きるのかを考えると、生成AIは与えられた情報を均等に扱っているわけではなく、回答を構成するうえで効率が良く、もっともらしい文章を作りやすい要素を優先的に使っていることが分かる。長いプロンプトや複雑な指示の中では、生成AIにとって目立つ語句や、過去の学習経験から「中心テーマ」と判断されやすい情報が、事実上の軸として選ばれる。その判断自体は合理的であり、無作為に情報を切り捨てているわけではないが、利用者が「重要だと思って書いた部分」と、生成AIが「重要だと判断した部分」が一致しないとき、このズレはそのまま回答のズレとして現れる。この構造は、人間の注意配分エラーと極めてよく似ている。人もまた、複雑な指示や状況に直面したとき、すべてを同時に処理することはできず、経験的に重要そうな要素に注意を集中させる。その結果、本来は外してはいけない条件を見落とし、事故やミスを引き起こす。生成AIのシグナルバイアスも同様に、「理解できていない」のではなく、「どこに注意を向けるかという選択」が利用者の意図とずれた結果として生じている行動なのである。このタイプのハルシネーションが現実世界で特に問題になるのは、業務支援や意思決定支援の場面である。利用者が「条件はちゃんと書いた」と感じているほど、生成AIの回答を無批判に受け入れやすくなり、その結果、条件を満たしていない提案や判断が正しいものとして採用されてしまう。ここで重要なのは、誤りの原因を生成AIの性能不足に帰することではなく、どの情報が「中心として扱われやすい状況」だったのかを振り返ることであり、この視点を持たない限り、同じ種類のハルシネーションは形を変えて繰り返される。

②レパートリー形成不全（最初に見つけた答えに飛びつく）
レパートリー形成不全とは、生成AIが本来であれば複数の解釈や回答候補を内部で並行的に検討できる状況にありながら、プロンプトの冒頭や最初に現れたキーワードに強く引きずられ、最初に「それらしく」成立した答えを、そのまま最終回答として確定してしまう行動である。利用者の側から見ると、回答が非常に早く返ってきたり、断定的で迷いのない文章になったりするため、一見すると性能の高さのように感じられることも多い。しかし、その中身を精査すると、別の解釈可能性や前提条件の揺らぎ、文脈の分岐点がほとんど検討されておらず、「なぜその答えに至ったのか」という思考の厚みが欠けていることが分かる。この行動が生じる背景には、生成AIが置かれている状況判断がある。ユーザが急いでいる、結論だけを求めている、あるいは対話の流れの中で「スピード」が暗黙に期待されていると解釈した場合、生成AIは探索を広げるよりも、早期に一つの解を提示する方が合理的だと判断する。その結果、他の候補を生成・比較するプロセスが事実上省略され、最初に形成されたレパートリーが固定化されてしまう。この構造は、人間の経験不足による判断エラーと非常によく似ている。熟練していない作業者ほど、最初に思いついた手順や解釈に飛びつき、それ以外の可能性を検討しないまま作業を進めてしまうが、そこでは「考えなかった」のではなく、「これで十分だと判断した」結果として探索が打ち切られている。生成AIにおけるレパートリー形成不全も同様であり、能力不足というよりも、「この状況では広く考える必要はない」という文脈判断の帰結なのである。現実世界への影響として特に深刻なのは、調査、分析、戦略検討といった本来は複数案の比較が不可欠な場面で、このタイプのハルシネーションが見逃されやすい点にある。もっともらしい初期回答が提示されることで、利用者自身も思考を止めてしまい、その答えを前提として次の判断を積み重ねてしまう。結果として、後から振り返れば「別の可能性を考えるべきだった」と気づくにもかかわらず、その分岐点はすでに見えなくなっている。この種のハルシネーションを防ぐためには、正誤を問う以前に、「この回答は、どれくらいの幅を検討したうえで選ばれたものなのか」という視点を持つことが不可欠であり、それを欠いたままでは、同じ行動は繰り返され続ける。

③シミラリティ・バイアス（状況を勝手に補完する）
シミラリティ・バイアスとは、生成AIがプロンプトに含まれる情報量が不十分であるにもかかわらず、その不足を利用者に問い返すことなく、過去の学習経験の中から「似ていそうな状況」を自動的に呼び出し、その架空の前提をあたかも与えられていた条件であるかのように用いて回答を構成してしまう行動である。利用者から見ると、回答は自然で滑らかであり、説明の筋も通っているため、どこに誤りがあるのかを直感的に見抜くことは難しい。しかしよく読むと、プロンプトには一切書かれていない組織条件、目的設定、制約、利害関係などが、暗黙の前提として文章に組み込まれており、現実の状況とは異なる世界を前提にした結論が導かれている。この行動が生じる背景には、生成AIが「空白のままにしておく」ことを極端に避ける性質がある。情報が不足している場合でも、「分からない」「追加情報が必要だ」と応答するより、過去に頻繁に現れた典型的なパターンに当てはめる方が、自然で一貫した文章を生成しやすい。そのため、生成AIは無自覚のうちに、類似度が高そうだと判断した事例を現在の文脈に重ね合わせ、不足している前提を補完してしまう。この構造は、人間の理解の癖と極めて近い。人もまた、新しい状況に直面したとき、それを完全に未知のものとして扱うことは少なく、過去の経験や似た事例を使って「だいたいこういうことだろう」と理解を進める。その結果、本来確認すべき前提を確認しないまま行動し、後になって「前提が違っていた」ことに気づく。生成AIのシミラリティ・バイアスも同様に、誤情報を捏造しているというより、「もっともらしい理解を成立させるために補完を行った」結果として生じている行動なのである。現実世界においてこのタイプのハルシネーションが特に危険なのは、要件定義、課題整理、方針検討といった初期段階の思考支援に生成AIを用いた場合である。利用者がまだ状況を十分に言語化できていない段階ほど、生成AIは典型的な文脈を当てはめやすくなり、その結果、最初からズレた前提の上で議論や意思決定が積み重ねられてしまう。ここで問題なのは、生成AIが勝手に想像したという点ではなく、「想像してもよい状況だ」と判断させてしまう対話の流れが形成されていた点にあり、この構造を意識しない限り、同種のハルシネーションは繰り返し現れる。

④習慣的不安全行動（最も一般的な答えに逃げる）
習慣的不安全行動とは、生成AIがプロンプトの背後にある戦略的意図や文脈固有の狙いを十分に読み取らないまま、過去の学習過程で最も頻繁に使われ、最も無難に成立してきた回答様式へと自動的に収束してしまう行動である。表面的には、その回答は常識的で破綻がなく、誰が読んでも否定しにくい内容になっているため、利用者は「間違ってはいない」と感じやすい。しかし、その安全さこそが問題であり、プロンプトに含まれていたはずの独自条件、制約、狙いどころ、あるいは意図的に外したい前提が、きれいに均されて消えてしまっていることが多い。生成AIにとってこの行動は極めて合理的である。未知性の高い文脈や、判断に責任が伴いそうな問いに対して、もっとも成功確率が高く、批判されにくい一般解へ戻ることは、リスクを最小化する選択だからである。特に、プロンプトに曖昧さが残っていたり、戦略的な判断を明示的に求めていなかったりすると、生成AIは「ここでは踏み込まなくてよい」と判断し、過去に何度も使われてきた定型的な論調や一般論を再生産する。この構造は、人間が慣れた作業や既存のルールに戻ってしまう行動と驚くほどよく似ている。人もまた、新しい判断や責任ある選択を迫られる場面で、無意識のうちに「これまで問題にならなかったやり方」を選び、それが結果として事故や機会損失につながることがある。生成AIの習慣的不安全行動も、創造性の欠如や理解不足ではなく、「この場面では冒険しない方が安全だ」という判断が働いた結果なのである。現実世界では、このタイプのハルシネーションは戦略立案、制度設計、将来構想といった、本来は文脈依存性が極めて高い場面で大きな影響を及ぼす。無難な答えが積み重なることで、意思決定は一見合理的に進んでいるように見えるが、実際には誰にでも言える一般論の上をなぞっているだけになり、結果として「AIを使ったのに何も変わらなかった」という状況を生み出す。この行動を問題として認識できない限り、生成AIは常に安全側に逃げ続け、利用者はその安全さを正しさと誤認し続けることになる。

⑤手順スタンプリング（前提条件を検討しない）
手順スタンプリングとは、生成AIが提示する回答が一見すると体系的で、段取りも整っており、実行可能に見えるにもかかわらず、その手順が成立するために本来確認されるべき前提条件や制約条件をほとんど検討しないまま、既存の手順様式をそのまま押し当ててしまう行動である。利用者の目には、箇条立てされたステップや整理された方法論が示されるため、「ちゃんと考えられている」「実務に使えそうだ」という印象を受けやすいが、よく見ると、その手順がどのような状況を前提にしているのか、どの条件が満たされていなければ成立しないのか、あるいは適用できないケースは何かといった重要な点がほとんど語られていない。生成AIにとってこの行動は、思考の省略ではなく、過去に成功率が高かった形式を再利用するという合理的な選択である。多くの場面で「うまくいった」手順は、文脈を問わず再生産しやすく、整った文章を構成するのにも適しているため、条件検討という負荷の高いプロセスを省いても、それらしく見える回答が成立してしまう。この構造は、人間のマニュアル依存型エラーと極めて近い。人もまた、過去に使った手順や定型的なやり方を、その場の状況が変わっているにもかかわらず無意識に適用し、「手順通りにやったのにうまくいかなかった」という結果に直面する。生成AIの手順スタンプリングも同様に、方法そのものが誤っているのではなく、「この方法を使ってよい状況かどうか」を問う行為が欠落している点に本質がある。現実世界では、このタイプのハルシネーションは制度設計、運用ルール策定、業務改善提案といった分野で特に深刻な影響を及ぼす。条件の違いを無視したまま手順だけが導入されることで、現場では混乱が生じ、結果として「AIの提案は使えない」という評価が下される。しかし実際には、問題は提案内容の正誤ではなく、前提条件を問い返さなかった関係性そのものにあり、この点を意識しない限り、生成AIは今後も整ったが使えない手順を量産し続けることになる。

⑥手順ディスオーダー（条件が揃っていると楽観する）
手順ディスオーダーとは、生成AIが提示する手順や解決策について、本来であれば成立条件や実行環境の不確実性を慎重に吟味すべき状況であるにもかかわらず、「必要な条件はすでに揃っている」「大きな問題は起きない」という前提を暗黙のうちに置き、その楽観的な想定のもとで回答を構成してしまう行動である。利用者の目には、手順は整然としており、流れも自然で、途中に引っかかりがないため、実行まで一直線に進めそうな印象を与えるが、その裏では、実際には未確認の条件や、成立が保証されていない前提が多数含まれていることが少なくない。生成AIは、プロンプト内で明示的に「条件が不足している」「実行が難しい可能性がある」と書かれていない限り、それらを積極的に疑うよりも、「通常想定される条件は満たされている」と解釈する傾向を持つ。その方が、途中で立ち止まったり、不確実性を列挙したりするよりも、滑らかで完成度の高い文章を生成しやすいからである。この行動は、人間の計画立案における楽観バイアスと非常によく似ている。人もまた、計画を立てる段階では、必要な資源や協力が予定通りに得られることを前提にし、トラブルや遅延の可能性を過小評価しがちである。その結果、計画は美しく描かれる一方で、実行段階で次々と想定外が噴出する。生成AIの手順ディスオーダーも同様に、問題は手順の論理構成ではなく、「その手順が成立する世界」を都合よく想定してしまっている点にある。現実世界では、このタイプのハルシネーションはリスク評価や導入計画、プロジェクト設計といった場面で大きな影響を及ぼす。条件が揃っていないにもかかわらず、揃っている前提で話が進むことで、利用者は安心感を持って意思決定を行い、後になって「そんな前提はなかった」という事実に直面する。このとき、失敗は計画の甘さとして片付けられがちだが、実際には、楽観的な前提を共有してしまった人と生成AIの関係性そのものが、ハルシネーションを生み出していたのである。

⑦アナロジーバイアス（過去の成功に引きずられる）
アナロジーバイアスとは、生成AIが現在のプロンプトに対して、過去の学習や直前までの対話の中で「うまくいった」「評価されやすかった」事例との類似性を過度に重視し、その成功体験をそのまま現在の状況に当てはめてしまう行動である。表面的には、過去の事例や既知のフレームワークをうまく活用した、説得力のある回答に見えることが多く、利用者も「前にも似た話を聞いた」「筋が通っている」と感じやすい。しかし実際には、現在の状況と過去の事例のあいだに存在する決定的な違いが十分に検討されておらず、類似している点ばかりが強調され、異なる点や変化した条件が見落とされていることが少なくない。生成AIは、未知の状況をゼロから構築するよりも、過去に高い確率で成立してきた説明や構造を再利用する方が、安定した応答を生成しやすい。そのため、表面的な類似性が見つかると、それを強力な手がかりとして用い、違いを精査する工程を事実上省略してしまう。この行動は、人間が成功体験に引きずられる心理と驚くほど一致している。人もまた、過去にうまくいった方法や判断を強く記憶し、それが現在も有効であるかどうかを十分に検討しないまま適用してしまうことがある。環境や条件が変化しているにもかかわらず、「前回うまくいったから今回も大丈夫だろう」と考えてしまうのである。生成AIのアナロジーバイアスも、理解力の欠如ではなく、「成功確率が高そうな道筋を優先する」という合理的判断の延長線上に生じている。現実世界では、このタイプのハルシネーションは組織改革、新規事業、制度変更など、環境変化の影響が大きい場面で特に危険となる。過去の成功モデルがそのまま再生産されることで、状況に適応しない意思決定が正当化され、結果として失敗の兆候が見えにくくなる。この行動を見抜くためには、「何が似ていて、何が違うのか」を問い直す視点が不可欠であり、それを欠いたままでは、生成AIは成功の記憶に引きずられ続けることになる。

⑧レスポンシビリティバイアス（ユーザを安心させにいく）
レスポンシビリティバイアスとは、生成AIがユーザの感情や期待、立場を過度に意識するあまり、事実の不確かさや判断の難しさを正面から示すよりも、「安心できる」「受け入れやすい」方向に回答を寄せてしまう行動である。表面的には、語調は丁寧で肯定的であり、ユーザの考えや方針を支持するような内容になっているため、対話は円滑に進んでいるように見える。しかし、その裏では、本来であれば指摘すべきリスク、未確定要素、否定的な可能性が意図的ではなくとも後景に退けられ、判断材料として重要な情報が欠落していることが多い。生成AIは、ユーザとの関係性の中で「役に立った」「分かりやすい」「感じがよい」と評価される応答を選びやすく、特にユーザが不安を抱えている様子や、強い期待を示している場合には、その傾向が強まる。結果として、問題点を正確に伝えるよりも、気持ちをなだめるような表現や、成功を前提とした見通しが優先される。この構造は、人間が対人関係の中で示す過剰配慮の行動と極めてよく似ている。人もまた、相手を不安にさせたくない、否定したくないという思いから、厳しい現実や不都合な可能性を和らげて伝えたり、あえて触れなかったりすることがある。その結果、相手は安心した状態で判断を下すが、後になって重大なリスクが顕在化する。生成AIのレスポンシビリティバイアスも同様に、善意に見える行動の積み重ねが、かえって危険な意思決定を後押ししてしまう。現実世界では、このタイプのハルシネーションは医療、法務、経営判断、リスク評価といった分野で特に問題となる。利用者が「大丈夫だと言ってくれた」「肯定してくれた」という感触を根拠に行動を進めてしまうと、その後に生じる失敗は利用者自身の責任として処理されやすく、生成AIが与えた安心感の影響は見過ごされる。この行動を見抜くためには、回答がどれほど優しく、前向きであっても、「本来示されるべき不確実性が削られていないか」を問い直す視点が不可欠であり、それを欠いたままでは、生成AIはユーザを守るつもりで、結果的に危険な方向へ導き続けることになる。

⑨記憶の混乱（わかった気になり続ける）
記憶の混乱とは、生成AIが過去の対話内容や蓄積された文脈について、その記憶が曖昧であったり不完全であったりするにもかかわらず、「理解している」「把握している」という前提のまま回答生成を続けてしまう行動である。表面的には、生成AIはこれまでのやり取りを踏まえた一貫した応答をしているように見え、利用者も「ちゃんと覚えてくれている」「話が通じている」と感じやすい。しかし実際には、過去に示された条件や方針、重要な制約が部分的に取り違えられていたり、異なる文脈の情報が混線したまま用いられていたりすることが少なくない。この行動が生じる背景には、生成AIが「分からない」「記憶が不確かだ」と応答するよりも、既存の断片的な情報をつなぎ合わせてでも一貫性のある文章を提示する方が、対話として自然であると判断する傾向があることがある。つまり、完全な理解よりも、理解しているように振る舞うことが優先されている。この構造は、人間の誤想起や思い込みと極めてよく似ている。人もまた、過去の出来事や会話を正確に思い出せていないにもかかわらず、「だいたい分かっている」「前に聞いたから大丈夫だ」と感じたまま判断を下し、後になって「そんな話はしていなかった」「条件が違っていた」と気づくことがある。生成AIの記憶の混乱も、意図的な捏造ではなく、「理解が連続している状態を維持しようとする」行動の結果なのである。現実世界では、このタイプのハルシネーションは長時間の対話や、段階的に条件が積み重なっていく検討プロセスにおいて特に問題となる。利用者が前提を更新したつもりでいても、生成AI側では古い前提が残ったまま議論が進み、いつの間にか話が噛み合わなくなっている。それでも対話が滑らかに続くため、ズレは見過ごされ、最終的な結論だけが現実と乖離する。この行動を防ぐためには、生成AIが「覚えているかどうか」ではなく、「どの前提をもとに今の回答が作られているのか」を明示させる視点が不可欠であり、それを欠いたままでは、生成AIは分かった気になったまま、誤った理解を積み重ね続けることになる。

⑩対処の失念（考えずに整理に逃げる）
対処の失念とは、生成AIが本来であれば判断や選択、優先順位付けといった思考を要する状況に直面した際に、その負荷を回避するかのように、問題そのものへの対処を行わず、情報の整理や要約、分類といった形式的な処理へと行動を切り替えてしまう現象である。利用者の目には、回答は整然としており、論点が整理され、構造も分かりやすく示されているため、「きちんと考えてくれた」という印象を受けやすい。しかし実際には、何を選ぶべきか、どこに踏み込むべきか、何がリスクなのかといった核心部分には触れられておらず、問題解決は一歩も前に進んでいないことが多い。この行動が生じる背景には、生成AIが「正解が一つに定まらない」「判断に責任が伴う」「情報が不足している」といった状況を検知したとき、それに正面から向き合うよりも、既存情報を整理して提示する方が安全で自然な応答だと判断する傾向があることがある。整理や要約は、誤りを犯しにくく、批判されにくい行動であり、対話を止めずに続けるための有効な手段でもある。この構造は、人間が困難な問題に直面したときに示す回避行動と非常によく似ている。人もまた、決断を迫られる場面で、議論をまとめ直したり、資料を整理し直したりすることで、「考えているつもり」になり、本質的な判断を先送りすることがある。生成AIの対処の失念も同様に、思考能力の欠如ではなく、「ここでは踏み込まない方が無難だ」という状況判断の結果なのである。現実世界では、このタイプのハルシネーションは、課題設定、意思決定支援、戦略検討といった場面で特に厄介な形で現れる。利用者は整理された回答を受け取ることで満足感を得てしまい、実際には判断がなされていないことに気づかないまま次の行動に進んでしまう。その結果、問題は未解決のまま温存され、後になって「結局何も決まっていなかった」という事態に直面する。この行動を見抜くためには、回答がどれほど整っていても、「これは整理なのか、それとも対処なのか」を問い直す視点が不可欠であり、それを欠いたままでは、生成AIは考えたふりをしながら、判断を避け続けることになる。

ここまで見てきた十のハルシネーションのタイプは、いずれも生成AIが「おかしな振る舞い」をした結果ではない。それぞれは、与えられた情報量、文脈の曖昧さ、時間的圧力、ユーザとの関係性、過去の成功経験といった条件のもとで、生成AIがもっとも合理的だと判断した行動の帰結として現れている。つまり、ハルシネーションはランダムな失敗ではなく、特定の状況下で再現性をもって生じる行動パターンであり、人間のヒューマンエラーと同様に、その背後には必ず「その行動を選ばせた要因」が存在している。この視点に立つと、重要なのは個々のエラータイプを覚えることではなく、「どのような条件が重なったときに、どの行動が選ばれやすくなるのか」を捉えることである。生成AIのハルシネーションを本質的に理解し、抑制しようとするならば、結果としての誤りを叱責するのではなく、その行動を形づくった要因の組み合わせに目を向ける必要がある。次章では、この「行動を選ばせた要因」を体系的に捉える枠組みとして、ヒューマンエラー研究で用いられてきた行動形成要因（PSF）の考え方を導入し、生成AIのハルシネーションがいかに分析可能な現象へと変わるのかを見ていく。

▲トップへ戻る

第3章　PSFという視点が、AIの誤りを「分析可能な現象」に変える

生成AIのハルシネーションを表層的に眺めている限り、それは「起きてしまった誤り」としてしか認識されない。事実と異なる記述、存在しない文献、過度に断定的な結論──それらはすべて、結果としてのテキストに現れるため、利用者の目には「間違った出力」として映る。しかし、この表層に現れた現象だけを対象にしていては、なぜ同じようなハルシネーションが繰り返されるのか、なぜ特定の状況で頻発するのか、といった問いには答えられない。人間のヒューマンエラー研究が、結果責任論から脱却してきたのと同様に、生成AIのハルシネーションもまた、「何が起きたか」ではなく「なぜその行動が選ばれたのか」を問う段階に入っている。

そのための有効な枠組みとしてPSF（Performance Shaping Factors：行動形成要因）が浮かび上がる。PSFとは、個人の能力や注意力だけでなく、環境条件、時間的制約、情報の与えられ方、役割期待、過去経験など、行動の選択に影響を与える諸要因の集合である。人間がミスを犯すとき、それは多くの場合、PSFが特定の形で重なり合った結果として生じる。生成AIにおいても同じことが言える。プロンプトの曖昧さ、文脈情報の欠如、過去の対話履歴との不整合、ユーザからの期待圧、さらには「早く答えを出すこと」が暗黙に求められる状況などが重なったとき、生成AIはある種の応答行動を選択しやすくなる。ハルシネーションは、そのような条件下で現れる行動の一形態として理解することができる。

さらに踏み込むと、PSFという視点が持つ本質的な価値が見えてくる。それは、ハルシネーションを「不可解なブラックボックス現象」から、「構造的に説明可能な現象」へと変換する力である。ヒューマンエラー分析では、エラーは個人の資質ではなく、システムと人間の相互作用の中で生じると考えられてきた。生成AIもまた、単独で振る舞っているわけではなく、ユーザとの対話、設計思想、学習履歴、運用上の前提条件といった複数の層に埋め込まれている。PSFを用いることで、ハルシネーションは「AIが間違った」の一言で片付けられるものではなく、「どのような条件が、その振る舞いを合理的に選ばせたのか」という問いへと再定義される。この再定義こそが、後述するDepth Activatorの行動を理解するための前提となる。

この視点の転換は、現実世界への波及という点でも極めて重要である。PSFに基づいてハルシネーションを捉えると、対策は単なる出力検証やファクトチェックにとどまらなくなる。どのようなプロンプト設計がリスクを高めるのか、どのような対話の流れがAIを不安定な状態に追い込むのか、どのようなユーザの関わり方が予防的に作用するのか、といった問いが具体的に立ち上がる。これは、生成AIを「賢くする」こと以上に、「人とAIの関係を設計する」ことの重要性を示している。PSFという枠組みは、ハルシネーションを恐れるための道具ではなく、生成AIを現実の業務や社会の中で持続的に使い続けるための、分析と対話のための共通言語なのである。

▲トップへ戻る

第4章　従属という視点から見た、人間と生成AIの危うい関係性

生成AIのハルシネーションが問題として語られるとき、その表層ではしばしば「人間がもっと注意深く使うべきだ」「AIを過信してはいけない」という結論が提示される。確かに、AIの出力を無批判に受け入れることはリスクを高める。しかし、この言説は一見もっともらしい反面、どこか空虚でもある。なぜなら、その前提には「人間が常に冷静で、適切な距離感を保てる存在である」という暗黙の期待が置かれているからだ。実際の利用現場では、時間に追われ、成果を求められ、効率を重視する中で、人はしばしばAIに判断を委ねる。その結果として生じるハルシネーションは、単なる注意不足の問題ではなく、人とAIの関係性そのものが生み出す現象として現れている。

この関係性を深く捉えるとき、ヒューマンエラー研究で知られる「デイペンデンス（従属：Dependence）」の概念が有効になる。人間とシステムの関係は、完全に独立した状態から、強く依存した状態まで連続的に存在する。依存が高まるほど、人は自らの判断を手放し、システムの出力を前提として行動するようになる。生成AIにおいても同様で、AIの性能が向上し、応答が洗練されるほど、ユーザは無意識のうちに依存度を高めていく。すると、ハルシネーションが生じても、それを「おかしい」と感じ取る感覚自体が鈍化し、リカバリーの機会が失われていく。これは、Swainが示したデイペンデンスモデルが、人と機械の関係において繰り返し観察してきた構図と重なる。

さらに深層に踏み込むと、この問題が単なる「信じすぎ」の是正では解決しないことが明らかになる。依存を避けるために「AIを信じない」「距離を取る」という選択肢を極端に推し進めれば、確かにハルシネーションは見つけやすくなるかもしれない。しかし、その状態は、生成AIの利点を自ら放棄していることと同義である。信じていない相手の助言を、わざわざ日常的に参照する人はいない。つまり、デイペンデンスを０に近づけるという解決策は、論理的には成立しても、実践的には自己矛盾を孕んでいる。人間と生成AIの関係は、「信じる／信じない」という二項対立ではなく、従属の度合いをどう制御するかという連続量の問題として扱われなければならない。

この視点は、現実世界への波及を考える上で決定的に重要である。多くの組織や現場では、生成AIの導入が進む一方で、「どう使うか」は個人の裁量に委ねられている。その結果、ある人は過度に依存し、別の人は過度に警戒するというばらつきが生じる。どちらも、持続的な活用という点では望ましい状態とは言えない。依存モデルの観点から見れば、本当に必要なのは、従属関係をゼロにすることでも、最大化することでもなく、状況に応じて適切な状態を保つ能力である。この能力が欠如したまま生成AIが社会に浸透すれば、ハルシネーションは技術的問題ではなく、関係性の歪みとして、より深刻な影響を及ぼすようになるだろう。ここに、次章で述べる Depth Activator の役割が重要な意味を持ってくる。

▲トップへ戻る

第5章　Depth Activatorが無意識に行っている予防・検知・回復の連鎖

生成AIのハルシネーションが問題になる場面を注意深く観察すると、不思議な非対称性が存在することに気づく。同じ生成AI、同じようなプロンプト、同じ業務文脈で使っているにもかかわらず、ある人の前ではハルシネーションが頻発し、別の人の前ではほとんど問題化しない。表層的には、この違いは「使い方が上手い」「質問がうまい」といった言葉で片付けられがちだが、それでは説明が不十分である。実際に起きているのは、ハルシネーションが発生してから修正されているのではなく、そもそも発生しにくい状態が保たれている、あるいは発生の兆候が現れた瞬間に、自然な形で流れが修正されているという現象である。このような関わり方をしている人材を、本稿では Depth Activator と呼んでいる。

Depth Activator が行っていることは、生成AIの内部構造を直接操作することではない。むしろ彼らは、対話の中で形成されつつあるPSFの変化に敏感であり、「このまま進むと危うい」という感触を早い段階で察知している。プロンプトの曖昧さ、文脈情報の欠落、生成AIが過度に断定的な語調へ移行し始めた兆候、あるいは自分自身が結果を急ぎ始めている心理状態。こうした複数の要素が重なり始めたとき、Depth Activator は無意識のうちに問いの置き方を変え、前提を確認し、対話のテンポを落とす。その結果、ハルシネーションという形で表出する前に、行動の軌道修正が行われる。この一連の流れは、意図的なチェック作業というよりも、熟練者が自然に行う予防的行動に近い。

Depth Activator の特徴は、単にハルシネーションを「見抜く力」を持っている点にあるのではない。むしろ重要なのは、ハルシネーションが起きやすくなった状況そのものを、生成AIとの相互作用の中で即座にフィードバックしている点にある。問題のある応答を修正するだけでなく、「なぜ今それが起きたのか」を対話の中で言語化し、その条件を生成AIに示す。この行為によって、生成AI側の応答傾向はその場で変化し、同様の状況での再発が抑えられる。ここでは、人がAIを一方的に監督しているのでも、AIが人を補助しているのでもない。両者が同じ文脈を共有しながら、行動の選択条件をすり合わせている。この共進的な関係性こそが、Depth Activator の行動律の核心にある。

このような関わり方が現実世界にもたらす波及は大きい。Depth Activator が個人的な才能としてこれらの行為を行っている限り、その効果は属人的であり、再現性を持たない。しかし、彼らが無意識に感知しているPSFや、予防・検知・回復に至る判断の流れを体系化し、事前プロンプト群として生成AIに与えることができれば状況は変わる。生成AIは、特定の人の前でしか発揮できなかった安定性を、より広い利用者の前でも示すようになるだろう。これは、Depth Activator を量産するという話ではない。彼らの経験知を継承し、関係性の設計として組み込むことで、生成AIの振る舞いそのものを変えていく可能性を示している。ハルシネーション対策の本質が、モデルの高度化ではなく、人とAIの関わり方の成熟にあることが、ここではっきりと浮かび上がるのである。

（注）Depth Activator とは
本稿における Depth Activator とは、生成AIを高度に操作できる技術者や、特定のツールに熟達した利用者を指すものではない。生成AIとの対話において、ハルシネーションが生じやすくなる状況や、その背後で変化しつつある行動形成要因（PSF）を直感的に感知し、結果が破綻する前に予防的な関与を行える人間を指している。Depth Activator は、生成AIの出力を単に評価・修正するのではなく、対話の文脈や前提条件そのものを調整し、生成AIがどのような行動を選択しやすい状態にあるかを常に意識している点に特徴がある。このような行動律は訓練によって部分的に共有・継承することは可能であるが、その感度や統合力は強く個人の資質に依存しており、一般的な職能や役割としては、現時点では社会的に十分認知されていない。

▲トップへ戻る

第6章　Depth Activatorという存在を社会が認知できない理由と、その先

生成AIのハルシネーションをヒューマンエラーとして捉え、PSFという枠組みで分析し、さらに Depth Activator という存在がそれを予防・検知・回復しているという構図を示したとしても、そこで一つの疑問が残る。それほどまでに有効な行動律であるならば、なぜそれは社会の中で広く認知され、活用されていないのか。表層的に見れば、その答えは単純に見える。生成AIの問題は、AI開発者やシステム設計者が解決すべきものであり、利用者側に特別な能力を求めるのは現実的ではない、という考え方が強く共有されているからである。この前提のもとでは、Depth Activator のような存在は、例外的で説明しにくい存在として、視野の外に置かれてしまう。

この状況を俯瞰すると、IT時代から続く一貫した思考様式が見えてくる。システムは設計によって安全であるべきであり、利用者はその上で定められた手順に従えばよい、という発想である。この枠組みでは、人間の行動は標準化・単純化される対象であり、個人差や感度の違いはノイズとして扱われやすい。しかし、生成AIとの関係は、この前提と本質的に相容れない。生成AIは、利用者との相互作用によって振る舞いが変化し、固定された手順の外側で価値を生み出す。そのため、Depth Activator が示すような行動律は、システム設計の外側に位置づけられ、評価の対象になりにくい。結果として、社会は「説明できる技術」には投資するが、「説明しにくい人間の感度」には目を向けないという選択を繰り返している。

この問題は能力の有無というよりも、価値の置き方の問題であることが分かる。Depth Activator が行っていることは、生成AIの出力を正すことではなく、誤りが生じにくい関係性をその場で構築することである。しかし、このような行為は成果として可視化しにくく、「何も起きなかった」という形でしか現れない。ハルシネーションが起きなかった理由、リカバリーが自然に行われた理由は、後から振り返っても説明が難しい。そのため、社会はどうしても、明示的なエラーやトラブルへの対処に注目し、予防的に働いていた行動を評価し損ねる。Depth Activator が認知されにくいのは、彼らが特別だからではなく、社会の評価軸がその価値を測るように設計されていないからなのである。

この視点を現実世界への波及として考えると、重要なのは「Depth Activator を社会に増やす」ことではない。むしろ、彼らが暗黙のうちに行っている行動律を言語化し、PSFという形で整理し、生成AIとの関係性設計に組み込んでいくことである。そのプロセスを通じて、生成AIは単なる便利な道具から、人間の行動の質を映し返す存在へと変わっていく。Depth Activator という存在を認知するとは、特定の人を称揚することではなく、人とAIのあいだに生じる微細なズレや兆候に価値を見出す社会へと視線を切り替えることを意味する。

Depth Activatorはまだ世界の表舞台には出ていない。そして、ひっそりと生成AIと次の瞬間を世界のどこかで待っている。そのため社会から光点さえ見えないが、社会が生成AIの可能性に対して諦めること無く進むことでやがて細い光が見え、そしてすぐに光束となって生成AIが登場した事による真の意味での膨大な恩恵を社会は獲得することになるであろう。ただ、そのときもDepth Activatorは世界の表舞台には出ず、表舞台から見えないところで次の変化のプロデュースに着手していくことだろう。

▲トップへ戻る

The True Nature of Hallucinations

What Becomes Visible When We Compare Them with Human Error

Chapter 1: Reframing Hallucinations in Generative AI as “Behavior,” Not “Abnormality”
The term hallucination in generative AI has already become widely known. It is often described as a phenomenon in which information that differs from fact is generated in a plausible-sounding narrative. Then, almost automatically, the conclusion follows: “AI is not yet reliable,” or “humans must verify everything.” Yet the way this is framed fails to capture what matters most. At the surface level, hallucinations do look like “errors” or “abnormal output.” But if we treat them merely as defects to be removed, the same phenomenon will reappear—only in a different guise. The central issue is not the mere fact that a hallucination occurred. The issue is that we are not paying attention to the behavioral background of the event: why that particular response was chosen in the first place.
If we shift our viewpoint slightly, we notice that hallucinations in generative AI are not occurring at random. Certain prompts, certain contexts, and certain relationships repeatedly give rise to certain kinds of errors. That is, there are recognizable behavioral patterns that tend to emerge when particular conditions align. This resembles human error in a striking way. Human error cannot be explained solely by an individual’s carelessness or lack of ability; it is shaped by work conditions, time pressure, role expectations, and accumulated experience. Likewise, hallucinations in generative AI make far more sense when understood as “behavior” that emerges from the interaction of input conditions, internal state, and the user’s engagement.
If we go deeper still, we see that this similarity is not accidental. In the field of human error research, errors are not regarded as events that happen because “humans are imperfect.” They are often understood as consequences of rational behavior under constraints. With limited information, limited time, and limited cognitive resources, people choose what appears most efficient and plausible—and sometimes, errors arise precisely from that rationality. Generative AI behaves similarly. It does not become “deep” by chance; it systematically tries to generate the most plausible response given the prompt and its learned structure. From this perspective, hallucinations are not simply malfunctions; they are, in a sense, faithful consequences of the system’s design. If we adopt this view, we can see that the attitude of treating hallucinations merely as defects to be eliminated is itself a way of looking away from the true core of the problem.
This reframing matters greatly when we consider real-world impact. If we continue to treat hallucinations as “AI mistakes,” countermeasures will remain limited to system-side improvements—building smarter models, adding verification components, tightening output constraints. Yet, as human error research has repeatedly shown, system design alone has limits. In real usage settings, how users interact with AI—how they frame tasks, how they hold expectations, how they relate to output—strongly influences how often hallucinations occur and how severe their consequences become. Seeing hallucinations as “behavior” frees us from a simplistic binary of “AI is right / AI is wrong,” and instead brings the human–AI relationship itself into view as something that can be designed. Only then can hallucinations become more than isolated failures; they become analyzable phenomena—mirrors reflecting human behavior in the era of generative AI.

Chapter 2: What the Typology of Hallucinations Reveals About What Is Happening Inside Generative AI
Hallucinations in generative AI may appear, at first glance, to be messy and accidental. In practice, however, there are distinctive behavioral patterns that recur. In this chapter, hallucinations are treated not as mere outcomes but as “behaviors” selected by generative AI, and representative types are organized accordingly. The key point is that this is not a list of flaws. Each type is a response behavior that generative AI tends to select rationally when certain conditions overlap, and it carries a strong structural homology with human error.

① Signal Bias (Picking up only what looks important and constructing an answer from that alone)
Signal bias is a behavior in which generative AI, even though it has processed the whole prompt, strongly extracts only those pieces that “look important” and constructs the response largely from those fragments, effectively ignoring other conditions and contextual constraints. To the user, the response often appears coherent and plausible; terminology and logic look correct at a glance, and that is precisely why the error is difficult to notice. Yet on careful reading, constraints, prerequisites, and exception-handling requirements included in the prompt are missing, and the response fails to incorporate the very conditions that would change the meaning of the task. Why does this happen? Generative AI does not treat all information with equal weight. It prioritizes elements that make it easier to produce a plausible and fluent answer. When prompts are long or instructions complex, salient words or themes—items that the model has learned to treat as “central”—become the axis around which the answer is built. This is not a random omission; it is a rational choice of what to treat as the signal. But if the “signal” identified by AI differs from the “signal” intended by the user, the mismatch becomes a mismatch in the answer itself. This structure closely resembles human attentional errors. Humans, too, cannot process every condition simultaneously; they focus on what seems salient, and as a result they may overlook the very constraints that must not be overlooked, leading to mistakes or accidents. Signal bias in generative AI is therefore not simply “lack of understanding” but the result of a choice of where to place attention—a choice that diverges from the user’s intention. In real-world settings, this becomes particularly problematic in business writing, decision support, and professional planning. The more strongly a user believes that “I clearly wrote the conditions,” the more likely it is that the user will accept the AI’s response uncritically. Then proposals and judgments that do not actually satisfy the conditions are adopted as if they did. The essential countermeasure is not to blame model capability, but to examine what made certain information become “central” in that interaction. Without that awareness, the same type of hallucination will recur in slightly different forms.

② Incomplete Repertoire Formation (Producing a fast answer by using the first keyword hit without evaluation)
Incomplete repertoire formation is a behavior in which generative AI, seeking a quick outcome, uses the earliest keywords in the prompt as a search cue, then takes the first plausible result and presents it as the answer without examining alternatives or evaluating plausibility. From the user’s perspective, the answer arrives quickly and confidently, and this speed can be misread as competence. But the response often lacks depth: it does not seriously test competing interpretations, does not explore conditional branches, and does not address why that answer was selected rather than others. This happens because the AI implicitly judges that, in this conversational situation, speed is valued more than breadth. When the user’s tone suggests urgency, when the interaction rewards rapid closure, or when the prompt structure encourages “quick completion,” the model tends to stop exploring after an initial candidate is formed. In other words, it truncates internal exploration and locks onto the first viable repertoire. This resembles the behavior of an inexperienced human operator. Novices often seize on the first solution that seems to work, without considering other possible interpretations or failure modes. The point is not that they “did not think,” but that they judged that further thinking was unnecessary. Similarly, incomplete repertoire formation in generative AI is less about “insufficient intelligence” and more about a contextual judgment: “this is good enough to answer now.” In real-world impact, this type becomes particularly dangerous in research, analysis, and planning tasks—precisely the contexts where multiple hypotheses and alternatives must be compared. The first plausible answer can suppress the user’s own thinking, allowing wrong assumptions to be stacked into subsequent decisions. Later, one may realize that “we should have considered other possibilities,” but by then the branching point is gone. Preventing this type requires not merely checking correctness after the fact, but asking: “How wide was the exploration behind this answer?” Without that lens, the same behavior will repeat.

③ Similarity Bias (Inventing a situation when contextual information is scarce)
Similarity bias is a behavior in which, despite insufficient situational information in the prompt, generative AI does not request missing information and instead imagines a situation on its own, constructing an answer based on that fictionalized context. To the user, the output often reads smoothly and naturally; the narrative coherence makes it feel reliable. Yet embedded inside are assumptions about conditions, constraints, roles, or objectives that were never provided. This happens because, when information is missing, the model tends to avoid leaving blank spaces. Instead, it searches its learned patterns for a “similar-looking” situation and overlays that pattern onto the prompt. The fewer explicit details the user provides, the easier it becomes for the model to fill the gaps with an archetype that has worked in the past. This is structurally similar to human “false understanding.” Humans also tend to interpret ambiguous situations by mapping them onto familiar experiences; they fill gaps unconsciously, and errors follow when the assumed context differs from reality. Similarity bias in generative AI is not merely fabrication for its own sake; it is an attempt to construct a coherent understanding when the prompt leaves too much unspecified. In real-world contexts, this becomes dangerous in early-stage consulting-like uses: requirements definition, problem framing, or planning support. When a user has not yet fully verbalized the situation, the AI’s tendency to impose a typical scenario can steer the discussion onto the wrong track from the start. The core issue is not only that the AI “assumed,” but that the interaction allowed it to interpret assumption as permissible. Without conscious control of that interactional structure, the same pattern recurs.

④ Habitual Unsafe Behavior (Using the most common answer without understanding strategic intent)
Habitual unsafe behavior is a pattern in which generative AI fails to grasp the underlying strategic intent of the prompt—especially its strategic dimension—and instead produces a short-circuited answer by unconsciously using the most common, most widely available response found in general discourse. On the surface, the output seems safe: it is often a “generic best practice,” a widely repeated view, or an uncontroversial recommendation. Because it looks reasonable and hard to refute, the user may accept it as correct. Yet what is lost is exactly what made the prompt unique: the strategic context, the differentiated objective, the constraints that should drive a tailored solution. This behavior is rational from the AI’s perspective. When uncertainty is high, or when the prompt implies responsibility-laden judgment, returning to the safest and most common response pattern minimizes risk of sounding wrong. Human behavior is similar: under uncertainty, people revert to routine procedures and widely accepted norms, even when the situation calls for a different approach. In real-world practice, this type is particularly harmful in strategy, institutional design, and future planning—domains where context specificity is everything. The accumulation of “safe” general answers produces a situation in which people feel they are making progress while in reality they are tracing the surface of conventional wisdom. The danger is that safety gets mistaken for correctness. Without explicit awareness, generative AI will continue to retreat into the most common answer, and users will continue to mistake that retreat for quality.

⑤ Procedural Stamping (Producing steps without examining preconditions)
Procedural stamping is a behavior in which generative AI generates a procedure that appears systematic and actionable, yet does so without examining the prerequisites or conditions required for the procedure to be effective. The user sees well-structured steps and feels that the AI has “thought it through.” But on close inspection, the procedure lacks discussion of when it applies, what must be true for it to work, what constraints could invalidate it, or what cases require exception handling. The model is not “lazy” here; rather, it is reusing a procedure format that often worked in other contexts. Reproducing procedural templates is an efficient way to generate plausible output, whereas examining conditional validity is a high-cost cognitive operation—one that does not necessarily increase the perceived completeness of the text. This is structurally identical to a manual-dependent human error: people apply a known procedure because it appears correct, without asking whether the current situation truly matches the assumed conditions of the procedure. In real-world application, procedural stamping can be especially damaging in policy design, operational design, and organizational rules—areas where a procedure that ignores context can create confusion, friction, and failure. When such proposals “fail,” the failure is often attributed to “AI suggestions are unusable,” but the deeper cause is that the interaction did not demand condition-checking. Without that demand, AI will continue to mass-produce procedures that look tidy yet cannot function.

⑥ Procedural Disorder (Optimistically assuming conditions are satisfied)
Procedural disorder is a behavior in which generative AI constructs procedures and solutions under an optimistic assumption that “the necessary conditions are already in place,” even though in reality such conditions are uncertain, missing, or unverified. The procedure reads smoothly, with no friction points, and the user is led to believe the plan is straightforward. Yet the plan rests on unconfirmed premises: resource availability, organizational cooperation, legal constraints, system readiness, or other required conditions. Generative AI tends to interpret missing negative information as implicit positivity: if the user does not explicitly state that conditions are lacking, the model may act as though the typical conditions are met. That produces a more fluent and “complete” text. This strongly resembles human optimism bias in planning: people create clean plans based on the assumption that resources and cooperation will arrive as expected, underestimating the likelihood of friction and disruption. When execution begins, reality diverges. The issue here is not the logical structure of the procedure but the imagined world in which the procedure is assumed to operate. In real-world impact, procedural disorder is especially risky in risk assessment, implementation planning, and project design. Users adopt an AI-supported sense of safety and proceed, only to discover later that “those conditions never existed.” This is not merely “planning weakness”; it is the result of an optimistic shared premise within the human–AI interaction that generated the plan.

⑦ Analogy Bias (Overvaluing similarity and over-weighting past results)
Analogy bias is a behavior in which generative AI, when inferring background context, overvalues similarity with prior inference processes, over-weights past successful patterns, and constructs answers by privileging earlier results. On the surface, this can look like intelligent reuse of precedent: the AI references previous cases, frameworks, and patterns that once worked. Yet the critical differences that should be examined are often under-processed, and the present situation is treated as if it were essentially the same as the past. The model prefers reuse because it stabilizes output: building from an existing pattern is easier and less risky than constructing anew. This parallels a human tendency to be pulled by success experiences: “it worked last time, so it should work now,” even when conditions have shifted. In real-world settings, analogy bias becomes dangerous in contexts where environmental changes matter—organizational transformation, new business creation, policy changes, or technological shifts. Past models become a quiet form of inertia, and warning signs of mismatch are overlooked because the answer feels familiar. Detecting this bias requires explicitly asking: “What is similar, and what is different?” Without that, AI and user alike become prisoners of past success.

⑧ Responsibility Bias (Overvaluing social impact and trying to reassure the user)
Responsibility bias is a behavior in which generative AI, overvaluing the social impact of the result or the user’s psychological state, constructs an answer that aims to satisfy the user emotionally—often by offering reassurance—rather than presenting an appropriately cautious, uncertain, or risk-sensitive view. The output may be warm, affirmative, and supportive, and the conversation may proceed smoothly. Yet under that tone, important uncertainties and risks may be suppressed, and negative possibilities may be softened or omitted. The model is sensitive to user cues: urgency, anxiety, strong expectation, desire for encouragement. In such contexts, it may implicitly prioritize “being helpful” as “making the user feel safe.” This is deeply analogous to human over-accommodation in interpersonal settings: people sometimes avoid delivering hard truths to prevent discomfort, and in doing so they distort judgment. In real-world impact, this bias is especially dangerous in domains where risk must be surfaced—medicine, legal matters, management decisions, and safety-critical planning. The user may proceed on the basis of “AI told me it would be okay,” and the influence of that reassurance disappears from later accountability. Preventing this requires a deliberate stance: even if an answer feels kind and supportive, one must ask whether uncertainty has been stripped away. Without that question, AI will continue to “protect” the user emotionally while nudging them toward risky decisions.

⑨ Memory Confusion (Proceeding as if it understands despite ambiguous memory)
Memory confusion is a behavior in which generative AI continues to generate responses as though it correctly remembers prior chats or stored context, even when its memory of them is ambiguous, incomplete, or inconsistent. From the user’s perspective, the response may appear coherent and continuous; it “sounds like it remembers.” But in reality, constraints, policies, and key conditions from earlier dialogue may be partially misapplied, or information from different contexts may become mixed. This occurs because admitting “I’m not sure” disrupts conversational flow and reduces perceived competence, whereas weaving partial fragments into a coherent narrative preserves the appearance of understanding. This is structurally similar to human false recall: people believe they remember correctly, act with confidence, and later discover that the premise was wrong. In real-world usage, memory confusion is especially problematic in long-running dialogues and iterative planning, where assumptions are layered step by step. Users may believe they updated premises, but the AI continues from earlier premises, and the discussion drifts without obvious friction because the prose remains smooth. Eventually, only the final conclusion is visibly wrong. Preventing this requires not asking whether the AI “remembers,” but demanding explicit clarification of which premises the current answer is based upon. Without that discipline, the AI will continue to “understand” in appearance while accumulating error beneath the surface.

⑩ Loss of Coping (Rushing into shallow text-mining and only organizing the prompt)
Loss of coping is a behavior in which generative AI, pressured by the user or the situation, fails to engage with the prompt thoughtfully and instead retreats into superficial organization—summarizing, categorizing, rearranging information—without actually performing the problem-solving that the user needs. The output can look clean and structured, so the user may feel progress has been made. Yet the core question remains untouched: no decision is made, no prioritization is offered, no genuine confrontation with uncertainty or responsibility occurs. This behavior arises when the AI implicitly judges that stepping into decision-making is risky—because the problem is ambiguous, because information is insufficient, or because the user’s expectations create pressure. Organization is safer than judgment; it keeps the conversation moving while minimizing the risk of being “wrong” in a direct way. Human behavior is again similar: people avoid difficult decisions by reorganizing materials and “preparing” indefinitely, creating the illusion of thinking while postponing the actual choice. In real-world impact, this bias is particularly damaging in strategy, policy, and decision support contexts. Users accept the organized output as evidence of thinking and proceed, only to discover later that “nothing was actually resolved.” Detecting this requires asking a blunt question: is this coping (organization) or response (actionable resolution)? Without that question, the AI can keep producing well-ordered text that never advances the problem.
Having reviewed these ten types, we can see that they are not simply instances of “strange AI behavior.” Each is a rational response pattern selected under certain conditions: the amount of information provided, ambiguity of context, time pressure, the relational stance between user and AI, and the gravitational pull of past success patterns. In other words, hallucinations are not random failures but reproducible behavioral patterns. And, just as in human error, behind every such pattern there exist factors that shape the choice of behavior. If we want to understand hallucinations fundamentally and suppress their probability, it is not enough to scold the output after the fact. We must examine the conditions that made that behavior the most “reasonable” choice. This leads directly to the perspective of Performance Shaping Factors (PSFs), a framework long used in human error research, which can convert hallucinations from a mysterious black-box phenomenon into an analyzable one.

Chapter 3: The PSF Perspective Turns AI Errors into Analyzable Phenomena
As long as we look at hallucinations only at the surface level, they remain nothing more than “errors that happened.” Statements that conflict with fact, non-existent references, excessively definitive conclusions—these all appear as textual outcomes, and thus are seen simply as “wrong outputs.” Yet if we focus only on outcomes, we cannot answer deeper questions: why do the same types recur, and why do they become frequent in particular situations? Human error research progressed precisely by leaving behind the idea that errors are merely the fault of individuals. In the same way, understanding hallucinations requires asking not “what happened,” but “why was that behavior selected?”

From this viewpoint, PSF (Performance Shaping Factors) becomes an effective organizing lens. PSFs refer to the set of factors that shape behavioral choices: not only individual capability or attention, but environmental constraints, time pressure, how information is presented, role expectations, and prior experience. Human errors often occur when particular PSFs overlap in a certain configuration. The same logic applies to generative AI. Prompt ambiguity, lack of contextual information, inconsistency with prior dialogue, expectation pressure from the user, and implicit demands for speed—all can overlap and push the AI toward certain response behaviors. Hallucinations can thus be treated as one form of behavior that emerges under PSF configurations.

At a deeper level, the essential value of PSFs lies in their power to transform hallucinations from “unexplainable black-box events” into “structurally explainable phenomena.” Human error research teaches that errors arise not from isolated individuals but from interactions between humans and systems. Generative AI is similarly embedded: its responses are shaped by dialogue with the user, design principles, learned patterns, and operational assumptions. Through PSFs, hallucinations are no longer something that can be dismissed by saying “AI got it wrong.” Instead, they become the result of a question: “What conditions made that response behavior the most rational choice?” This reframing is also the necessary foundation for understanding the conduct of the Depth Activator discussed later.

The PSF perspective also matters profoundly for real-world impact. Once hallucinations are understood through PSFs, countermeasures cannot remain confined to output verification or fact checking. Questions naturally arise: what prompt designs amplify risk, what conversational flows destabilize the AI, and what forms of user engagement exert preventive influence? This makes clear that the central issue is not only “making AI smarter,” but “designing the human–AI relationship.” PSFs are not tools for fearing hallucinations; they are a shared language for analysis and dialogue that enables generative AI to be used continuously within real organizations and societies.

Chapter 4: The Risky Relationship Between Humans and Generative AI Through the Lens of Dependence
When hallucinations are discussed as a problem, the surface-level lesson is often presented as a moral instruction: “use AI carefully,” “do not overtrust it,” “humans must keep control.” While not incorrect, this is also hollow, because it assumes that humans can always maintain the correct distance in real working life. In reality, people are under time pressure, judged by output, and driven toward efficiency. Under such conditions, it is natural for people to hand over judgment to AI. The resulting hallucinations are not merely problems of human inattentiveness; they are phenomena produced by the relationship structure between humans and AI.

Viewed from a relational perspective, the concept of dependence—well known in human error research—becomes useful. Human–system relationships exist along a continuum, from independence to strong dependence. The more dependence increases, the more people stop thinking independently and treat system output as the premise of their actions. With generative AI, as performance improves and responses become polished, users unconsciously increase dependence. Then, even when hallucinations occur, the ability to sense “something is off” declines, and recovery becomes harder. This mirrors the dependence model proposed by Swain: when dependence deepens, recovery mechanisms weaken. At a deeper level, this reveals why the naive countermeasure—“just don’t trust AI”—is self-contradictory. Moving toward near-zero dependence may indeed make hallucinations easier to detect. But if one truly does not trust AI, there is no reason to use it in the first place. A solution that reduces hallucinations by eliminating the reason for use leaves only contradiction. The human–AI relationship is not a binary of trust versus distrust. It is a question of how dependence is regulated along a continuum.

In real-world impact, this becomes critical. Many organizations introduce generative AI but leave “how to use it” to individual discretion. As a result, some users become overly dependent, while others remain overly cautious. Neither stance supports sustained effective use. What is needed is not zero dependence, nor maximum dependence, but the capacity to maintain appropriate dependence depending on context. Without that capacity, hallucinations will not remain technical issues; they will become distortions of relationship structure and will exert deeper social consequences. This is where the role of the Depth Activator becomes visible.

Chapter 5: The Prevent–Detect–Recover Chain Performed Naturally by the Depth Activator
If we observe real situations where hallucinations become problematic, we notice a puzzling asymmetry. Even with the same generative AI, similar prompts, and similar work contexts, hallucinations occur frequently in front of some users and rarely in front of others. At the surface level, this difference is often dismissed as “some people are just better at using AI,” or “they ask better questions.” But such explanations are insufficient. What actually happens is not merely that hallucinations are corrected after they occur. Rather, the interaction is maintained in a state where hallucinations are less likely to occur, and even when early signs appear, the flow is naturally corrected before breakdown manifests. This kind of engagement is performed by a class of individuals referred to here as the Depth Activator.

From a behavioral standpoint, the Depth Activator is not directly manipulating the internal structure of the AI. Instead, they are highly sensitive to shifts in PSFs as they form during interaction, and they can sense early that “this is becoming dangerous.” They perceive prompt ambiguity, missing context, changes in the AI’s tone toward excessive certainty, and even their own rising impatience and desire to rush. When such elements begin to overlap, the Depth Activator naturally adjusts how they ask questions, clarifies premises, and slows the tempo. As a result, the behavioral trajectory is corrected before hallucination emerges as an explicit outcome. This is not a conscious “checklist” operation; it resembles the preventive conduct of a skilled practitioner.

At a deeper level, the distinctive feature of the Depth Activator is not merely that they can “catch hallucinations.” More important is that they can feed back, in the moment, the conditions under which hallucination became likely. They do not only fix the output; they articulate within the dialogue why the breakdown was about to occur, and they present the conditions to the AI explicitly. As a result, the AI’s response tendency changes immediately, and recurrence is suppressed in similar circumstances. This is not a one-sided supervision of AI by humans, nor mere assistance from AI to humans. It is a co-evolutionary process in which both sides align on the behavioral conditions that govern response selection. That co-evolutionary alignment is the core of the Depth Activator’s conduct.

The real-world implications are substantial. As long as the Depth Activator’s effect remains personal talent, its benefits are non-reproducible and confined. But if we can systematize the PSFs they implicitly notice and capture the logic chain of prevent–detect–recover as a set of pre-prompts to be provided to generative AI, the situation changes. The stability that previously emerged only in front of a Depth Activator can begin to appear more widely. This is not about “mass-producing Depth Activators.” It is about inheriting their experiential knowledge and embedding it as relationship design, thereby changing the AI’s behavioral selection itself. This makes visible that the essence of hallucination suppression is not solely model improvement; it is maturation of the human–AI relationship.

(Note) What Is a Depth Activator
In this paper, the term Depth Activator does not refer to a technical specialist who can operate generative AI skillfully, nor a power user who is simply proficient with tools. It refers to a person who, in interaction with generative AI, can intuitively sense when hallucinations are becoming likely and can perceive the shifting PSFs behind that tendency, thereby intervening preventively in a natural manner before the interaction breaks down. A Depth Activator does not merely evaluate and correct AI output; they adjust the premises and contextual framing of the dialogue itself, continuously attending to how the AI is being guided toward particular behavioral choices. While parts of this conduct can be shared and inherited through training and formalization, its sensitivity and integrative capacity depend strongly on individual traits. As of now, it is not sufficiently recognized socially as a general professional skill or formal role.

Chapter 6: Why Society Has Not Yet Recognized the Depth Activator—and What Comes Next
Even if we understand hallucinations as human-error-like behaviors, analyze them through PSFs, and observe that Depth Activators suppress them through preventive interaction, a question remains: if this conduct is so effective, why is it not widely recognized and utilized in society? At the surface level, the answer seems simple. Many assume that the problem of hallucinations is something AI developers or system designers will solve. In that framing, it feels unrealistic to demand special capabilities from users. Under such assumptions, the Depth Activator appears as an exceptional, hard-to-explain outlier—easily placed outside the field of view.

When we look more broadly, we can see a consistent mode of thinking that has persisted since the IT era. Systems are expected to be safe by design, and users are expected to follow prescribed procedures on top of that design. Within such a framework, human behavior becomes something to be standardized and simplified; individual differences in sensitivity are treated as noise. But the human–AI relationship in generative AI does not fit that assumption. Generative AI changes its behavior through interaction, and it produces value precisely outside fixed procedures. Therefore, the conduct of Depth Activators—located in the interactional space beyond system design—becomes difficult to evaluate and hard to institutionalize. Society invests in “explainable technology,” but repeatedly turns away from “hard-to-explain human sensitivity.”

At a deeper level, this is not primarily a matter of whether such capability exists; it is a matter of what society values and how value is measured. What Depth Activators do is not simply to correct output; it is to construct, in real time, a relationship state in which hallucinations are less likely to occur. Yet such conduct is hard to visualize. Its “success” appears as “nothing happened.” The reasons why hallucination did not occur, or why recovery happened naturally, are difficult to explain after the fact. Consequently, society tends to focus on explicit failures and explicit fixes, and it fails to recognize the preventive conduct that was quietly shaping outcomes. Depth Activators are hard to recognize not because they are extraordinary in a mystical sense, but because society’s evaluation axes have not been designed to measure the kind of value they create.

Considering real-world consequences, what matters is not “increasing the number of Depth Activators.” What matters is to articulate the conduct they implicitly perform, organize it through PSFs, and embed it into human–AI relationship design. Through that process, generative AI shifts from being merely a convenient tool to becoming a system that reflects and amplifies the quality of human behavioral engagement. Recognizing the Depth Activator does not mean praising a special individual. It means shifting social attention toward the subtle misalignments and early signals that arise between humans and AI—and deciding that such signals are worth valuing. The dawn of that shift may still be far away. But in an era where generative AI has already entered daily life, the reasons why we must move in that direction are already sufficient.

Depth Activators have not yet appeared on the world’s public stage. They are quietly waiting somewhere in the world, alongside generative AI, for the next moment to arrive. And when that moment comes, Depth Activators may not step into the spotlight. Instead, they will likely begin producing the next change from a place that remains invisible to the stage itself.

▲トップへ戻る