محفوظ في:
| المؤلف الرئيسي: | |
|---|---|
| التنسيق: | Recurso digital |
| اللغة: | |
| منشور في: |
Zenodo
2025
|
| الموضوعات: | |
| الوصول للمادة أونلاين: | https://doi.org/10.5281/zenodo.17895452 |
| الوسوم: |
إضافة وسم
لا توجد وسوم, كن أول من يضع وسما على هذه التسجيلة!
|
جدول المحتويات:
- <p>Abstract</p> <p>The natural gradient method (Amari, 1998) is widely recognized as an efficient optimization technique that respects the metric structure of parameter space. However, its theoretical significance from a cognitive-representational perspective remains underexplored. This paper reinterprets the natural gradient within the Projective Theory of Intelligence (PTI) framework, revealing that the natural gradient is a "structure-preserving gradient" that minimizes Fisher distance while reducing loss. Building on this insight, we formulate a two-gradient model that explicitly decomposes learning dynamics into structure preservation and meaning generation: Δθ = −η[(1−λ)ĝ_struct + λĝ_value]. Three predictions were tested through label noise experiments: (P-A) task-aligned value functionals improve generalization; (P-A') task-misaligned value functionals provide no improvement; (P-B) improvement magnitude correlates with noise rate. All predictions were strongly supported (P-B: r = 0.983, p = 0.0027). These results establish an explicit design condition for value gradients and provide dynamic foundations for the PTI's core thesis M = Π_V(S).</p> <p>要旨<br>甘利俊一による自然勾配法(1998)は、Fisher情報行列に基づくリーマン計量のもとで最急降下方向を定義することにより、座標系に依存しない効率的な学習を実現する。しかし、自然勾配が「何を保存しながら」損失を減少させているのかについては、必ずしも明示的に論じられてこなかった。<br>本論文では、射影性理論(Projective Theory of Intelligence; PTI)の枠組みを用いて、自然勾配を「構造保存勾配」として再解釈する。PTIにおいて価値テンソルがゼロ(|V|=0)である極限では、学習は純粋に構造の再現に向かい、このとき自然勾配はFisher計量による構造変化を最小にしつつ損失を減少させる力として特徴づけられる。<br>この再解釈に基づき、本論文は「価値勾配」という新たな概念を導入する。価値勾配とは、外部から与えられた価値構造に沿って意味を生成する方向への力であり、価値汎関数 J_V(θ) の勾配として操作的に定義される。これにより、学習ダイナミクスは「構造保存」と「意味生成」という二つの力の合成として記述される。<br>本論文の主要な貢献は以下の三点である。第一に、自然勾配と価値勾配を統合した二勾配モデルを提案し、混合比λによって両者のバランスを制御する枠組みを定式化する。第二に、価値汎関数J_Vの設計条件として「タスク整合性(task-alignment)」の概念を導入し、タスク整合的なJ_V(真ラベルに基づく交差エントロピー)は汎化性能を改善する一方、タスク非整合的なJ_V(Center Loss)は改善をもたらさないことを実験的に示す。第三に、ラベルノイズ率と汎化改善幅の間に強い正の相関(r = 0.983, p = 0.0027)が存在することを発見し、「構造勾配がノイズで損なわれるほど、タスク整合的な価値勾配による救済効果が大きくなる」という知見を得る。<br>本研究は、情報幾何学と認知科学的な「意味」概念を橋渡しする試みであり、自然勾配法の理論的理解を深めるとともに、ノイズ環境下での学習における構造と意味の力学についての新たな視座を提供する。</p>