背景
2023年のG7広島サミットで発足した広島AIプロセスなどを背景に、各国でAIセーフティに関する議論や体制整備が進展しています。日本においてもAIセーフティ・インスティテュート（AISI）が設置され、国際的な議論に参画しています。本事業は、生成AIの安全・安心な利用に向けた国際ルール作りを日本国内でも推進するため、官民一体となった取り組みを研究開発の側面から支援するものです。
近年、人とAIが協調して判断・行動する場面が増加している中で、AIセーフティをどのように設計・評価・運用するかが共通課題となっています。本事業では、この課題に対し、AIセーフティを評価・運用するための共通基盤の整備を目的とした研究開発が行われました。
今回の主な成果
本事業では、多岐にわたるAIセーフティの課題に対応するため、「設計・評価・運用」の各段階にわたり、ガイドライン、評価手法、テンプレート、評価環境などが幅広く整備されました。
1. マルチモーダルAI品質マネジメントガイドラインの策定
産総研は、画像とテキストを受け取り、主にテキストで応答するマルチモーダルAIを対象に、品質マネジメントの観点およびプロセスを整理したガイドラインを策定しました。マルチモーダルAI特有の基本的評価観点として、クロスモーダル照応能力（異なる形式の情報間で対応関係を見分ける能力）に着目し、この能力を4段階に分類しています。このガイドラインは、マルチモーダルAIの特性を踏まえた安全性・品質確保に向けた共通的な設計・評価の枠組みを示すものです。
具体的な事例として、画像に基づくキャプション自動生成、インフラ老朽化の画像診断、SNSなどにおけるコンテンツモデレーションの三つが取り上げられ、人による判断や監督が関与する場面での留意点や品質マネジメント上の論点が示されています。
2. 企業現場におけるAIの社会実装を支えるガイドライン・事例集の策定
Citadel AIは、生成AIやAIエージェントを実際に開発・運用している企業へのヒアリングを通じて、AIセーフティの原則やガイドラインを現場で実装・運用可能な形に落とし込むための評価観点・評価水準・評価手法を整理しました。技術、プロセス、組織文化の観点から共通して見られるパターンや実践的なノウハウを抽出し、「生成AI実践ガイドと企業事例集」として体系化されています。
抽出されたノウハウは、行政手続きなどに関する情報を中心に、外国人などの言語や制度の理解に一定の配慮を要する利用者を想定したチャットボットとして実装され、公開されました。このチャットボットでは、生成AIによる回答とその根拠を明示するため、自治体が発行・公開している暮らしに役立つ情報が活用されています。
これらの成果は、ガイドラインが示す「あるべき姿」を、企業が実務として実装・運用するための具体的な評価・運用手法として提示するものです。
3. 組織マネジメントと技術評価を接続する実装ガイドと評価テンプレートの整備
コーピーは、ISO/IEC 42001（AIマネジメントシステム規格）に整合した生成AIの安全性評価を実務として実施するための、「AIマネジメントシステムに基づく生成AI安全性評価プロトコルとその実装ガイド」および評価用テンプレートを整備しました。これは分析・テスト・報告の3フェーズからなります。
また、視覚言語モデルを用いた顧客サポートシステムを題材として、レッドチーミング（AIシステムに意図的に攻撃的な入力を行い、安全性上の弱点を発見する評価手法）などによる評価が実施され、その有効性および実務上の論点について検討が行われています。
これらの成果は、組織的なマネジメント要求と技術的な安全性評価とを接続する実践的な枠組みを提供するもので、企業においてAIセーフティを一貫して実施する際の基盤となります。
以下の2点は、医療や日常生活といった実環境におけるAI活用を想定し、人とAIの協調における安全性確保の具体的な考え方や評価・検証手法につながる成果です。
4. Human-AI Teamingにおける意思決定プロセスの安全性確保手法の提示
産総研と琉球大学は共同で、医療現場を想定し、人とAIが協調して判断を行うHuman-AI Teamingにおける安全性の検討を実施しました。具体的には、医療画像診断においてAIと医師の判断が一致しない場合を想定し、どのようなプロセスで最終判断を行うべきかについて分析を行い、合意形成のあり方やリスク回避策を整理しています。
AIが提示すべき追加情報や判断根拠、意思決定を支援するインターフェースのあり方について、医師との共同検討を通じて整理され、人とAIの協調における意思決定プロセスの安全性を確保するための設計指針として体系化されました。
この成果は、人とAIの判断が一致しない状況を前提とした安全性確保の考え方を整理したものであり、Human-AI Teamingにおける実践的なAIセーフティ設計に資するものです。当該成果については、2026年6月に開催予定の「2026年人工知能学会全国大会（第40回）」において公表される予定です。
5. 日常生活領域におけるAIセーフティ評価・検証基盤の構築
産総研は、家庭や介護施設などの日常生活環境においてAIシステムの安全な活用を進めるため、AIセーフティの評価・検証基盤の構築に取り組みました。日常生活向けAIシステムは、生活場面の多様さやプライバシー保護の観点からデータの取得が困難であり、安全性や頑健性（入力データや利用環境に変化があってもAIシステムが性能を大きく損なわずに機能する性質）の評価手法が十分に確立されていないという課題がありました。
この取り組みでは、見守りAIシステムを対象として、人の安全性確保の観点から想定される行動や事象をシナリオとして整理し、AIの安全性評価に必要なデータの収集、生成および検証を可能とする実・仮想融合環境が整備されました。実世界に構築したフィジカルリビングラボなどで取得した実行動データと、仮想空間上のサイバーリビングラボにおけるデータ拡張技術を組み合わせることで、転倒やふらつきなどの実計測が困難な行動を含む、見守りAIの安全性評価に資するデータセットが構築されています。
さらに、見守りAIの社会実装を見据え、安全性評価や検証のあり方に関する技術的・社会的課題について議論を行う場として、「人間中心AIライフテックコンソーシアム（HAIL）」が2026年4月に発足し、6月より活動を開始します。このデータセットは同コンソーシアムにおいて活用される予定です。
今後の予定
本事業では、AIセーフティに係るガイドラインの策定を中核としつつ、企業現場における実装方法論、組織マネジメントと評価を結び付ける実践的手法、人とAIの協調に関する技術的知見、実環境における検証基盤など、性質の異なる様々な成果が得られました。
これらの成果は、多岐にわたるAIセーフティの課題に対し、「設計・評価・運用」の各段階で多面的に取り組むための要素として位置づけられ、広がるAIの利用場面に応じた対策を幅広く実現していくための布石とされています。
今後は、本事業で得られたAIセーフティに関する共通の考え方に加え、具体的な評価・実装手法を、さらに人とAIが協調する社会に向けた実践的なAIセーフティの共通基盤として体系的に整備していく予定です。
本リリースでは代表的な成果が取り上げられていますが、本事業の各研究項目で得られた他の成果については、専用Webページにて紹介されています。
コメント