ここから始める生成AIガバナンス ～インシデント事例から学ぶリスクと企業が採るべき６つの対策～(2025年8月29日掲載）

生成AIの利活用が急速に広がり、その革新的な可能性に誰もが注目している。

しかし、同時に「生成AIにはリスクがある」という漠然とした不安を抱いている人も少なくないだろう。

ただ、生成AIがあまりに便利であるがゆえに、正常性バイアスが働き、「本当に大きな事故はまだ起きていないのでは？」 「リスクはそれほど深刻ではないのでは？」と、その懸念を過小評価しているケースもある。また、リスクはある程度理解していても、経営層や現場からの導入や推進のプレッシャーにより、自社における具体的なリスクの特定やそのリスクへの対策については、後回しにしているケースもよく見受けられる。

本コラムでは、企業が生成AIを利用した結果、損害や影響が発生した実際のインシデント事例を紹介する。これにより、今までぼんやりとしか理解できなかった生成AIがもたらす損害や影響を実感していただきたい。

また、それらのインシデント事例においては、「どのようなリスクが生じたのか」、さらに「どのような対策を講じていればリスクを最小化することができたか」というリスクの種類と具体的な対策も後述する。それによって生成AIがもたらすリスクの実態を深く理解し、「生成AIガバナンス」の導入が、組織にとっていかに大切であるかの理解を深めていただきたい。

上記のインシデント事例を踏まえると、私たちが何気なく利用している生成AIには、企業が利用していく上で複数のリスクが潜んでいることがわかる。まずはこれらのリスクを正しく理解することから始めるべきである。

機密情報漏洩リスク

生成AIへの入力データが学習データとして利用されたり、意図せず外部に流出したりすることで、企業の機密情報や顧客の個人情報が漏洩するリスク。

事例①のように、開発者が意図せず機密情報を入力してしまうケースが典型である。

ハルシネーション（誤情報生成）リスク:

生成AIが事実とは異なる情報を「もっともらしく」生成し、それを確認もせずに利用してしまうことで、重大な損害や信用失墜につながるリスク。

事例②、④は、生成AIのハルシネーションが実社会に大きな影響を与えた典型例である。

意図しない出力・誤動作リスク:

不適切なプロンプトやプロンプトインジェクションなどによって、生成AIが想定外の応答をしたり、システムとして誤動作したりするリスク。

事例③はユーザーが面白半分で試した結果、意図しない出力がされた事例であるが、チャットボットが不適切な情報を提示してしまうことで企業に損害を与える可能性もある。

知的財産権侵害リスク:

生成AIが既存の著作物やデザイン、特許などを模倣したコンテンツを生成し、その結果として知的財産権を侵害してしまうリスク。

事例⑤は、生成AIが既存のデザインと酷似したものを生成してしまい、問題となった事例である。

セキュリティリスク:

悪意のあるプロンプトインジェクションや不適切な入力により、生成AIシステムが意図しない動作をしたり、機密情報を不正に出力したりするリスク。

これら以外にも生成AIには、多様なリスクが存在し、単独で発生するのでなく、複合的に絡み合うことで、企業経営に深刻なダメージを与える可能性がある。

リスクをコントロールしていくためには技術的な対策だけでなく、組織内での仕組みとルール作りとを組み合わせることが非常に重要である。ここでは、企業が「はじめの一歩」として取り組みやすい「6つの対策」を紹介する。

１．リスクマネジメント体制の整備

• 生成AIのリスクマネジメント体制としては、情報システム部門、リスク管理部門、法務部門といった牽制部門に生成AIの利用推進部門を加え、多角的な視点を持った組織横断的な体制を構築する必要がある。
  これにより、生成AIの利活用を推進する面とリスクを評価し、対策を講じる面の両面を睨んだ運用が可能となる。
  既存のリスクマネジメント体制やISMS運用の体制を活かすことも一手である。
• 生成AI関連のインシデントが発生した際のエスカレーションフロー（報告経路、責任者、対応手順）を具体的に定め、全従業員に周知徹底しておくことも必要である。初動対応の迅速さが、被害の拡大防止に直結する。

２．生成AI利用ガイドラインの作成

• 企業の機密情報（未公開の事業計画、財務情報、ソースコードなど）や他社の知的財産権に関する情報などを具体的にリストアップし、それらの生成AIへの入力、アップロードを制限する情報として、従業員への注意喚起を徹底する。
• 生成AIの出力結果を利用する前には、必ず利用者自身が内容の正確性、適切性、著作権侵害の有無などをチェックするプロセスを義務付ける。利用者が不安を感じた場合には、気軽に相談できる窓口を設置することも必要である。
• 事例①では、ガイドラインに利用可能な情報を記載し、従業員への注意喚起を徹底すること、事例②は、利用者自身による一次情報からの確認を義務付けした上で出力結果を使用する運用にすればリスクを最小化することができた可能性が高い。

３．生成AI利用シーンに応じたリスクアセスメント

• 各部門における生成AIの具体的なユースケース（利用場面、目的、方法）をヒアリングやアンケート等で網羅的に洗い出し、集約する。
  これにより、現在の組織全体の生成AI利用状況を可視化する。
• 各ユースケースについて、発生しうるリスクを具体的に特定し、発生確率及び影響度の2軸で評価する。
  これにより、優先的に対策を講じるべき高リスクなユースケースを明確化する。

４．チェックリストを用いたリスクの事前確認

• 生成AIの新たな利用やシステム開発を行う際、企画・導入段階でリスクを事前に評価するためのチェックリストを導入する。
  具体的には、「用途」「取り扱う情報のレベル」「開発環境（クラウドかオンプレミスか）」など、5～10項目程度で簡潔にチェックする。
• まず、利用部門の責任者がセルフチェックを実施した上で、前述したような組織横断的な生成AIリスクマネジメント体制による二段階のレビューを行う必要がある。
• 事例⑤では、アプリ公開前にチェックリストを用いて第三者の知的財産権を侵害するようなものが出力されないかなどを事前に把握できていれば、その段階で踏みとどまることができるためリスクを最小化することができた可能性が高い。

５．リスクコントロール策の検討と導入

• 優先度が高いリスクから具体的な対策を導入する。例えば、入力情報の機密性レベルに応じたツールの使い分けを徹底する。機密性の高い情報が含まれる場合は自動でブロックするフィルタリングシステムの導入も有効である。
• 次に、 生成AIの出力情報を鵜呑みにせず、利用する際には、必ず人間によるファクトチェックを義務化する。重要度の高い業務では、複数のモデルを比較検討したり、第三者によるレビューを必須としたりするなどの対策も有効である。
• さらに、生成された画像や文章が著作権侵害にあたらないかをインターネット検索で確認したり、利用規約等で商用利用が可能かどうかの確認も行う。
• 事例③では、価格交渉や契約交渉の承認を最後は人が確認するフローを追加すること、事例④では、最新規約から回答を生成することや出典を提示することでリスクを最小化することができた可能性が高い。

６．モニタリングとトレースの仕組み

• 入出力ログを詳細に保存し、利用者が「いつ、誰が、何を、どのように」生成AIを利用したのかトレースできる状態にしておく。
  これにより、インシデント発生時の原因究明や再発防止策の立案に役立てる。
• 不適切なプロンプトを入力していないか、ガイドラインに反する入力がないか、異常な利用パターンがないかをモニタリングし、そのような利用が検知された場合は早期に是正措置を講じる。
• システムの稼働状況、エラー率、応答速度などをリアルタイムでモニタリングし、システム障害や性能低下を早期に発見・対応することで、業務への影響を最小限に抑える。
• セキュリティリスクについては、不適切なプロンプトの入力についての早期検知のモニタリングの仕組みを導入しておくことでリスクを最小化することができる。

生成AIを利用する企業は、これら「6つの対策」を基にPDCAサイクルを繰り返し回す生成AIガバナンス態勢の構築・運用が必要だ。生成AIのリスクを正しく理解し、事故を未然に防ぎ、被害を最小化するためにも「ブレーキ」を踏まなければならない場面もあるだろう。一方で、生成AIは、ビジネスを変革し、業務を大幅に効率化させる大きな可能性を秘めている。その恩恵を最大限に引き出すためにも、生成AIの安全な利活用を促進する「アクセル」を安全に踏み込むことも必要だ。強靭な組織へと成長できるか否かの岐路に私たちは直面している。このアクセルとブレーキとをうまく使いこなせることが重要だ。

ＳＯＭＰＯリスクマネジメントでは、これまでの多種多様な業種に対してのガバナンス態勢構築支援の豊富な経験を有しており、これにパートナー企業であるCitadel AI社の最先端の知見を加え、皆さまの生成AIガバナンス態勢構築と運用を総合的に支援します。