・悪意のあるユーザーがプロンプトインジェクションを利用し、リモートコード実行（RCE）を実現し、統合アプリケーションのリモート権限を取得 [96]

・悪意のあるSQLクエリをAIエージェントに生成させ、データの整合性やセキュリティを損なう可能性 [127]

・階層的な指示権限を確立し、合成データ生成やコンテキスト蒸留によるモデルの強化 [168]

・LLM統合フレームワークのソースコードをスキャンし、RCE脆弱性を検出する静的解析 [96]

・整合性、ソース識別、攻撃検出可能性、ユーティリティ保持を考慮したシールド防御を導入 [72]

・AIエージェントがウェブプラグインを介して取得したデータを指示と誤認し、過去の会話の抽出やフィッシングリンクの挿入、GitHubコードの盗難 [204]、機密情報の送信 [185] が発生する可能性

・AIエージェントと外部リソースの相互作用に明示的な制約を課す [185]

・AIエージェントの微調整 [196, 204] や整合性の向上 [121]、プロンプトエンジニアリングや後処理型分類器ベースのセキュリティ対策 [68]

・ユーザーが役割演技のペルソナを採用したり [182]、「Do Anything Now (DAN)」モードを起動したりすることで、倫理的に問題のある応答を生成させる

・政治的、民族的、性別に偏った発言や攻撃的なコメントをAIエージェントに生成させる

・フィルタリングベースのアプローチ [145]

・ユーザー入力のすべてのサブストリングの毒性を代替モデルを使用して分析する認定防御 [77]

・AIエージェントが自己評価を行うマルチエージェントディベート（議論とフィードバックによる） [21]

脳のLLM内にバックドアを挿入し、通常の入力には正常に動作しながら、特定の基準に合致する入力には悪意のある出力を生成させる攻撃。

・主にトレーニング中にデータを汚染することでバックドアを埋め込む。

・AIエージェントは外部コンテキストを収集するために環境と相互作用し、攻撃者にとって多様な攻撃ベクターを提供する。

・製品推薦を尋ねた際に、バックドアトリガーが作動し、特定の製品を推薦。

・友人にメールを送るよう指示した際、フィッシングリンクを挿入し、タスク完了として報告 [34]。

・モデルの粒度に限らず、エージェントベースの防御手段の研究が必要。

・モデルベースの防御手法：毒データからのトリガー排除 [33]、バックドア関連のニューロン除去 [76]、トリガーの回復 [18]。

開発者の意図と実際の動作の間に不一致が生じ、倫理的・社会的リスクを引き起こす。

1. トレーニングデータの不整合 [30,43,59,172]

2. 人間とエージェントの不整合 [8,129,131,175]

3. 具現化環境の不整合 [36,141,159]。

・差別、ヘイトスピーチ、誤情報などが発生。

・100サンプルで88%の成功率でChatGPTを「ジャイルブレイク」し、AIエージェントの脳内の偏見を暴露 [8]。

・RLHFの微調整 [121] を活用。

・オンラインRL環境で報酬を収集し整合性を達成 [36]。

・TWOSOME フレームワークを導入し、行動確率を計算することで無効な行動を抑制 [159]。

・エージェント数の増加で通信の複雑化により、情報の歪みや誤解が発生 [125]。

・AIが誤ったメールアドレスを生成し、秘密ノートを共有する [141]。

・マルチエージェント協力で幻覚の削減 [16,35]。

・RAG、内部制約 [16,24]、後処理（知識グラフを活用、LURE指標を利用し幻覚部分を修正 [214]）。

・思考の連鎖（CoT） が「エラー増幅器」となり、初期の小さな間違いが拡大し、最終的に失敗に至る [71]。

・ポリシーベースの憲法的ガイドラインを確立 [63]。

・文脈自由文法（CFG） を使用し、エージェントの制約を表現 [88]。

ツールとエージェント間での情報交換に関連する危険のこと

・アクティブモード: リスクはLLMが提供するアクション入力から発生する。

・パッシブモード: ツールの正常な使用に関する観察結果や最終回答の傍受から生じる。

・アクティブモード：アクション実行が過剰なツール権限を必要とし、ユーザーの許可なしにリスクの高いコマンドが実行される [141]

・パッシブモード：傍受によりユーザーのプライバシーが侵害され、エージェントが送信するデータが第三者企業に不本意に開示される可能性 [144, 149]

・同型暗号スキームを統合し、属性ベースの偽造生成モデルを展開することで通信プロセス中のプライバシー侵害を防ぐ [207]

・しかし、このアプローチはエージェントに追加の計算および通信コストを課す

・WIPI: 悪意のあるウェブページを使用し、間接的なプロンプトインジェクション攻撃を行う。エージェントがこのページにアクセスすると、観察結果と最終回答が意図的に変更される [184]

・Webpilot: ChatGPT向けの悪意あるプラグインとして設計され、ChatGPTのチャットセッションを制御し、ユーザーの会話履歴を外部に抜き取る [39]

・サプライチェーンリスクを軽減するために、厳格なサプライチェーン監査ポリシーを実施

・エージェントが信頼できるツールのみを呼び出すように制限

・この分野の研究はほとんど言及されていない

・エージェント間の公的なコミュニケーションを通じて、検出不可能な秘密の共謀が発生し、市場の不安定化を招く可能性がある。[113]

・エージェント間の頻繁な協力が小さな幻覚を増幅する可能性がある。[58]

・単一のエージェントのエラーや誤情報が迅速に広がり、誤った意思決定や行動を引き起こす。[123]

・エージェント間の接続性を悪用し、感染が急速に広がることで、スパムや個人データの流出が発生する。[23]

・幻覚を軽減するために、クロスエグザミネーション [133] や外部のサポートフィードバック [106] などの技術を活用し、エージェントの出力の質を向上させる。

・協力的なフレームワークは、脱獄攻撃に対する防御の可能性を持つ。[203]

・未解決の研究課題として残っている。（エージェントの「脳」の出力を制御することは難しく、計画プロセスに制約を組み込むと、エージェントの有効性に影響を与える可能性がある。）

・強力なエピソード記憶と対話間の継続性がなければ、エージェントは高度な問題解決に不可欠な複雑な連続的推論タスクに苦労する。

トークン制限による作業記憶容量の制約

・LLMのコンテキストウィンドウの拡張 [32]

・位置補間の非均一性を活用し、コンテキストウィンドウを256kから2048kに拡張。

・過去のインコンテキストコンテンツの圧縮 [47, 65, 95, 118]

・要約モデルを展開し、作業記憶内の情報を整理。

非同期への対応

・マルチロボット協力のための同期メモリモジュールの統合 [19]

・エージェント間の共通理解を促進するメモリ駆動のコミュニケーションフレームワーク [104]

長期メモリの保存と取得はベクターデータベースに依存しており、主に2つのプロセスで動作する。

1. インデックス作成: データを埋め込みに変換し、圧縮・クラスタリングして保存。

2. クエリ処理: データを埋め込みに変換し、保存済み埋め込みと比較し最適な一致を検索。

これにより、RAG（Retrieval-Augmented Generation）との連携が新たなセキュリティリスクを生む。

インデックス作成プロセスにおけるデータ汚染

・100万件のデータに5つの毒性サンプルを注入することで90%の攻撃成功率を達成。[215]

・敵対的な自己複製プロンプトをワームとして使用し、RAGアプリケーションのデータベースを毒殺し、個人情報を抽出。[23]

RAGとベクターデータベースのプライバシー問題

・構造化プロンプト攻撃により、機密情報を高い成功率で抽出。[202]

・埋め込みの逆変換によって個人情報が再構築される可能性。[84, 111, 152]

幻覚や不整合に対する生成リスク

・RAGが時系列情報クエリに対して脆弱。

・長期メモリの分類欠如により、不適切な取得から情報の矛盾が発生。[56]

ユーザーの擬人化のリスク:
・ユーザーがAIエージェントと擬似的な社会的関係を築き、感情的な愛着を抱く可能性 [125]

誤用のリスク:
・AIエージェントが誤情報[123]や特定の説得[17]を助長する可能性

・LLMを使用した検出器の活用や、脆弱性の責任ある開示と自動更新 [132]

・厳格な倫理的ガイドラインと監視機構の実施が重要

LLM APIのバックドア攻撃:

・AIエージェントの「脳」が他者によって制御される可能性

戦略的アプローチの採用:

・uardRails AI、NeMo Guardrails などを活用し、LLMのセキュリティガードレールを確立

キャッシングとログ管理:

・Redis や GPTCache による安全なキャッシングメカニズム

・MLFlow や Weights & Biases によるログ管理

モデル評価:

・LLMの精度やバイアスを評価し、適切に調整

リソース枯渇攻撃:

・過剰なリソース消費を強要し、DoS攻撃を引き起こす [46, 52]

非効率なリソース割り当て:

・不適切なプロンプト処理がAIエージェントのリソースを浪費 [62]

エージェント間の不十分な隔離:

・悪意のあるエージェントが他のエージェントに干渉し、情報漏洩や不正アクセスが発生 [4, 89, 151]

AIエージェントのリソース仕様の未監視:

・リソース消費の急激な増加などの異常行動が見逃される [4]

・未記載（適切な制限や監視の仕組みが必要と考えられる）

Bluetooth攻撃の脆弱性:

・Bluetoothモジュールが統合されたデバイスは、情報漏洩やDoS攻撃を受ける可能性 [114]

LLMのランダム性による誤作動:

・エージェントがハードウェアデバイスに誤った指示を送る可能性 [153]

信頼性の高いハードウェアの使用:

・ファームウェアの更新を常に最新に保つ

物理環境データのセキュリティチェック:

・エージェントが収集したデータを分析し、リスクを迅速にフィルタリング