【制御】🛡️ 15. (安全設計) Safety Envelopeとは何か？AI制御で絶対に超えてはいけない境界の設計

topics: [“制御工学”, “AI”, “安全設計”, “FSM”, “異常検知”]

⚠️ はじめに：AI制御で一番危ないのは「境界がないこと」

AI制御の議論で、最も危険なのは次の状態です。

「AIがどこまでやっていいのか、誰も定義していない」

性能が悪いことよりも、
境界が存在しないことの方がはるかに危険です。

この記事では、
AI Control Safety Package の中核概念である
Safety Envelope（安全エンベロープ） について解説します。

🧱 Safety Envelopeとは何か

Safety Envelopeとは一言で言うと：

「AIが絶対に逸脱してはいけない運用境界」

です。

重要なのは、
これはAIの判断に任せるものではないという点です。

📐 Safety Envelopeが定義するもの

これらを 人間が設計し、固定する ことで、
AIの自由度を意図的に制限します。

🚫 なぜAIに境界を任せてはいけないのか

AI（特にLLM）は、

という性質を持っています。

つまり、

安全かどうかを判断させる対象に、
安全の定義を任せてはいけない

ということです。

🧯 Safety Envelopeは「性能制限」ではない

誤解されがちですが、
Safety Envelopeは 性能を縛るためのものではありません。

本質は：

という 設計上の保険 です。

🧩 Safety Envelopeの基本構成

🟦 ① 状態量の定義

まず、監視すべき状態を決めます。

「全部見る」ではなく「壊れる兆候を見る」

🟧 ② 境界条件の設定

次に、許容範囲を定義します。

ここは 保守的であるほど良い です。

🟨 ③ 逸脱検知ロジック

境界に近づいたことを検知します。

重要なのは
AIの判断を使わず、決定論的に検知すること。

🟥 ④ FSMによる監督制御

Safety Envelopeは、FSMと組み合わせて初めて機能します。

といった状態遷移を明示的に設計します。

🔗 Safety EnvelopeとPID×FSM×LLMの関係

⚙️ PID（最内層）

🧾 FSM（監督層）

🧠 LLM（最外層）

LLMは境界を作らない。越えない。監督もしない。

❌ よくある間違い

🚫 Safety EnvelopeをAIで学習させる

🚫 Envelopeを「参考情報」にする

Envelopeは強制力が必要です。

🧠 まとめ

AI制御が怖いのではありません。
境界を設計しないことが怖いのです。

🔜 次回予告

次は、

「Recovery Control：壊れたあと、どう安全に戻るか」

を扱います。
AI制御で本当に差が出るのは、失敗後の設計です。

📚 参考リンク