Buchumschlag

Loss Landscape Degeneracy and Stagewise Development in Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hoogland, Jesse, Wang, George, Farrugia-Roberts, Matthew, Carroll, Liam, Wei, Susan, Murfet, Daniel
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Dynamics of Transient Structure in In-Context Linear Regression Transformers
von: Carroll, Liam, et al.
Veröffentlicht: (2025)

Stagewise Reinforcement Learning and the Geometry of the Regret Landscape
von: Elliott, Chris, et al.
Veröffentlicht: (2026)

You Are What You Eat -- AI Alignment Requires Understanding How Data Shapes Structure and Generalisation
von: Lehalleur, Simon Pepin, et al.
Veröffentlicht: (2025)

Differentiation and Specialization of Attention Heads via the Refined Local Learning Coefficient
von: Wang, George, et al.
Veröffentlicht: (2024)

Influence Dynamics and Stagewise Data Attribution
von: Lee, Jin Hwa, et al.
Veröffentlicht: (2025)

Structural Inference: Interpreting Small Language Models with Susceptibilities
von: Baker, Garrett, et al.
Veröffentlicht: (2025)

In-Context Learning with Transformers: Softmax Attention Adapts to Function Lipschitzness
von: Collins, Liam, et al.
Veröffentlicht: (2024)

The Evolving Landscape of LLM- and VLM-Integrated Reinforcement Learning
von: Schoepp, Sheila, et al.
Veröffentlicht: (2025)

LLM Unlearning via Loss Adjustment with Only Forget Data
von: Wang, Yaxuan, et al.
Veröffentlicht: (2024)

Efficient Automated Circuit Discovery in Transformers using Contextual Decomposition
von: Hsu, Aliyah R., et al.
Veröffentlicht: (2024)

Gradient Cuff: Detecting Jailbreak Attacks on Large Language Models by Exploring Refusal Loss Landscapes
von: Hu, Xiaomeng, et al.
Veröffentlicht: (2024)

Loss-to-Loss Prediction: Scaling Laws for All Datasets
von: Brandfonbrener, David, et al.
Veröffentlicht: (2024)

A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints
von: Ahmed, Kareem, et al.
Veröffentlicht: (2023)

Dynamic Universal Approximation Theory: The Basic Theory for Transformer-based Large Language Models
von: Wang, Wei, et al.
Veröffentlicht: (2024)

LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws
von: Mayilvahanan, Prasanna, et al.
Veröffentlicht: (2025)

On the Spatial Structure of Mixture-of-Experts in Transformers
von: Bershatsky, Daniel, et al.
Veröffentlicht: (2025)

How Powerful are Decoder-Only Transformer Neural Models?
von: Roberts, Jesse
Veröffentlicht: (2023)

Decoding the Diversity: A Review of the Indic AI Research Landscape
von: KJ, Sankalp, et al.
Veröffentlicht: (2024)

SignSpeak: Open-Source Time Series Classification for ASL Translation
von: Makkar, Aditya, et al.
Veröffentlicht: (2024)

Seeing Through VisualBERT: A Causal Adventure on Memetic Landscapes
von: Bandyopadhyay, Dibyanayan, et al.
Veröffentlicht: (2024)

On the Effect of Instruction Tuning Loss on Generalization
von: Chatterjee, Anwoy, et al.
Veröffentlicht: (2025)

Do pretrained Transformers Learn In-Context by Gradient Descent?
von: Shen, Lingfeng, et al.
Veröffentlicht: (2023)

Linear Chain Transformation: Expanding Optimization Dynamics for Fine-Tuning Large Language Models
von: Wang, Yulong, et al.
Veröffentlicht: (2024)

Fundamental Limits of Prompt Tuning Transformers: Universality, Capacity and Efficiency
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

Position: The Turing-Completeness of Autoregressive Transformers Relies Heavily on Context Management
von: Cui, Guanyu, et al.
Veröffentlicht: (2026)

The Generalized Turing Test: A Foundation for Comparing Intelligence
von: Mitropolsky, Daniel, et al.
Veröffentlicht: (2026)

Shifting Perspectives: Steering Vectors for Robust Bias Mitigation in LLMs
von: Siddique, Zara, et al.
Veröffentlicht: (2025)

Instruction Fine-Tuning: Does Prompt Loss Matter?
von: Huerta-Enochian, Mathew, et al.
Veröffentlicht: (2024)

Safe-SAIL: Towards a Fine-grained Safety Landscape of Large Language Models via Sparse Autoencoder Interpretation Framework
von: Weng, Jiaqi, et al.
Veröffentlicht: (2025)

A Case Study Exploring the Current Landscape of Synthetic Medical Record Generation with Commercial LLMs
von: Lin, Yihan, et al.
Veröffentlicht: (2025)

Understanding Emergent Abilities of Language Models from the Loss Perspective
von: Du, Zhengxiao, et al.
Veröffentlicht: (2024)

G-Loss: Graph-Guided Fine-Tuning of Language Models
von: Sharma, Aditya, et al.
Veröffentlicht: (2026)

Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies
von: Weng, Benjue
Veröffentlicht: (2024)

TPTT: Transforming Pretrained Transformers into Titans
von: Furfaro, Fabien
Veröffentlicht: (2025)

Fine-Tuning a Time Series Foundation Model with Wasserstein Loss
von: Chernov, Andrei
Veröffentlicht: (2024)

RL + Transformer = A General-Purpose Problem Solver
von: Rentschler, Micah, et al.
Veröffentlicht: (2025)

STAT: Shrinking Transformers After Training
von: Flynn, Megan, et al.
Veröffentlicht: (2024)

Are Transformers Able to Reason by Connecting Separated Knowledge in Training Data?
von: Yin, Yutong, et al.
Veröffentlicht: (2025)

Targeted Visualization of the Backbone of Encoder LLMs
von: Roberts, Isaac, et al.
Veröffentlicht: (2024)

When Distance Distracts: Representation Distance Bias in BT-Loss for Reward Models
von: Xie, Tong, et al.
Veröffentlicht: (2025)