数十億パラメータのAIモデルで、たった1つの「スーパーウェイト」を削除すると、テキスト生成能力が完全に崩壊することが発見されました。この重要なパラメータは、モデルの性能に大きな影響を与えます。
この研究は「The Super Weight in Large Language Models」と題され、特に「スーパーウェイト」と呼ばれるこの重要なパラメータに焦点を当てています。
具体的には、MetaのLlama-7Bモデルにおいて、このスーパーウェイトをゼロにすると、モデルは意味のある文章を生成する能力を失い、ゼロショットタスクの精度が大幅に低下しました。
スーパーウェイトを削除した後のモデルは、入力プロンプトに対して意味不明な出力を示し、パープレキシティ（文章の予測困難さを示す指標）が悪化しました。
興味深いことに、スーパーウェイト以外の上位7000個の大きな値を持つパラメータを削除しても、モデルの性能にはほとんど影響がありませんでした。
このスーパーウェイトは「mlp.down_proj」の重みの中に常に存在し、初期層に位置することが特徴です。
また、このスーパーウェイトは「スーパーアクティベーション」と呼ばれる特別に大きな活性化値を生み出し、入力プロンプトに関係なく常に同じ大きさと位置で発生します。
さらに、スーパーウェイトは「the」や「.」「,」といった機能語の出現確率を抑制する効果があり、これを削除すると機能語の出現確率が何倍にも増加します。
この発見は、モデルの圧縮や量子化においても重要な示唆を与え、スーパーウェイトとスーパーアクティベーションを適切に処理することで、単純な量子化手法でも高い性能を維持できる可能性が示されています。
研究チームは、Llama、OLMo、Mistralなどの一般的に入手可能なLLMモデルにおけるスーパーウェイトの位置をインデックスとして公開しています。
参考リンクhttps://news.yahoo.co.jp/articles/c80914d3edbcf55a85459fe487513208de30f1d7
コメントでは、AIのスーパーウェイトが崩壊する理由として、AIの学習プロセスやその影響に関する多様な見解が示されていました。
あるコメントでは、生成AIや大規模言語モデル（LLM）の根本的な仕組みが、対象言語の特性に関連しているという逆説的な証明が提起され、AIが人間の行動をトレースすることが興味深いとされていました。
また、特定のパラメータが学習過程で重要な役割を果たす可能性や、バランスの良いAIを実現するための研究の必要性にも言及されていました。
さらに、AIが今後は人間の補助的な存在から、自立的に判断を下す存在へと進化することが予想され、AIの個性を分析する専門家が社会で重要な役割を果たす可能性が示唆されました。
一方で、AIが社会に不可欠な存在になることで、ハッキングやテロの脅威が増すことへの懸念も表明されていました。
コメントの中には、言語が知識や創造を司るという前提に対する疑問や、脳科学との類似性に関する考察もあり、AIのパラメータの複雑さや冗長性の必要性についても意見が交わされていました。
全体として、AIのスーパーウェイトの崩壊がもたらす影響や、未来におけるAIと人間の関係についての深い考察がなされていたことが印象的でした。
ネットコメントを一部抜粋
対象言語そのものの仕組の根源がそこにある、という逆説的な証明にもなるかなと。
特別な役割を担うパラメータが必ず学習の過程で、そうなるのかが気になるな。
人類はまだこの世界を、1%ですら理解できてないと言われるが、今後はその割合は増えてくかもしれない。
AI無しでは社会が回らなくなる時代になったら、ハッキングの脅威が出てくるだろう。
人間のひらめきが言語で無いように、創発を司るメタな知性の表現体系は無いのでしょうか？