OpenAIは動画生成AI「Sora」の提供を開始し、肖像悪用やディープフェイク防止の対策をSystem Cardで公表。安全性向上に向けた取り組みを強化しています。
この文書では、肖像の悪用やディープフェイクの防止が重要な課題として挙げられており、特に実在する人物の写真や動画を用いた動画生成機能は段階的に導入されるとしています。
初期段階では少数のユーザーに限定し、悪用のパターンを監視しつつ安全対策を強化する計画です。
著名人の肖像を含むプロンプトにはフラグを立て、個人名は一般的な属性に置き換えられ、未成年の画像はアップロードできない仕組みが導入されています。
さらに、ヘイトコンテンツ生成などの悪用に対しては、OpenAIのモデレーションAPIでプロンプトを分析し、違反の可能性があるものを拒否するなどの対策が取られます。
動画生成に数秒かかるため、その間に独自のGPTモデルで高精度なチェックも行われます。
また、生成された動画にはC2PAメタデータが埋め込まれ、目に見える透かしが追加されることで、AI生成であることが明示されます。
加えて、OpenAI内部の調査チームが逆検索ツールを構築し、厳格な使用ガイドラインとポリシー違反の報告機能も設けられています。
技術的な問題点としては、物理法則の再現が難しく非現実的な動きが生成されることや、因果関係の理解不足、空間的な指示の誤解、人物や動物の突然の出現などが挙げられています。
OpenAIは、Soraの評価を継続し、ユーザーからのフィードバックを基に肖像の安全性や欺瞞的なコンテンツの改善に努める姿勢を示しています。
参考リンクhttps://news.yahoo.co.jp/articles/abd99cd49401b40e1d2c937825f05c150dbe66b5