Model Collapse Demystified: The Case of Regression

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Dohmatob, Elvis, Feng, Yunzhen, Kempe, Julia
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification
von: Feng, Yunzhen, et al.
Veröffentlicht: (2024)

A Tale of Tails: Model Collapse as a Change of Scaling Laws
von: Dohmatob, Elvis, et al.
Veröffentlicht: (2024)

Strong Model Collapse
von: Dohmatob, Elvis, et al.
Veröffentlicht: (2024)

Efficient Refusal Ablation in LLM through Optimal Transport
von: Nanfack, Geraldin, et al.
Veröffentlicht: (2026)

Attacking Bayes: On the Adversarial Robustness of Bayesian Neural Networks
von: Feng, Yunzhen, et al.
Veröffentlicht: (2024)

The Pitfalls of Memorization: When Memorization Hurts Generalization
von: Bayat, Reza, et al.
Veröffentlicht: (2024)

Emergent properties with repeated examples
von: Charton, François, et al.
Veröffentlicht: (2024)

Shortcut to Nowhere: Demystifying Deep Spurious Regression
von: Xu, Guanrong, et al.
Veröffentlicht: (2026)

Scaling Laws for Associative Memories
von: Cabannes, Vivien, et al.
Veröffentlicht: (2023)

The Prevalence of Neural Collapse in Neural Multivariate Regression
von: Andriopoulos, George, et al.
Veröffentlicht: (2024)

Improving the Scaling Laws of Synthetic Data with Deliberate Practice
von: Askari-Hemmat, Reyhane, et al.
Veröffentlicht: (2025)

Mission Impossible: A Statistical Perspective on Jailbreaking LLMs
von: Su, Jingtong, et al.
Veröffentlicht: (2024)

From Concepts to Components: Concept-Agnostic Attention Module Discovery in Transformers
von: Su, Jingtong, et al.
Veröffentlicht: (2025)

auto-fpt: Automating Free Probability Theory Calculations for Machine Learning Theory
von: Subramonian, Arjun, et al.
Veröffentlicht: (2025)

PILAF: Optimal Human Preference Sampling for Reward Modeling
von: Feng, Yunzhen, et al.
Veröffentlicht: (2025)

Demystifying the Optimal Fair Classifier in Multi-Class Classification
von: Zhang, Li, et al.
Veröffentlicht: (2026)

Deep Neural Regression Collapse
von: Rangamani, Akshay, et al.
Veröffentlicht: (2026)

Demystifying MuZero Planning: Interpreting the Learned Model
von: Guei, Hung, et al.
Veröffentlicht: (2024)

Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking
von: Pasand, Ali Saheb, et al.
Veröffentlicht: (2025)

HalluGuard: Demystifying Data-Driven and Reasoning-Driven Hallucinations in LLMs
von: Zeng, Xinyue, et al.
Veröffentlicht: (2026)

Don't Waste Mistakes: Leveraging Negative RL-Groups via Confidence Reweighting
von: Feng, Yunzhen, et al.
Veröffentlicht: (2025)

What Characterizes Effective Reasoning? Revisiting Length, Review, and Structure of CoT
von: Feng, Yunzhen, et al.
Veröffentlicht: (2025)

Demystifying the Recency Heuristic in Temporal-Difference Learning
von: Daley, Brett, et al.
Veröffentlicht: (2024)

Embedding Trust: Semantic Isotropy Predicts Nonfactuality in Long-Form Text Generation
von: Bhardwaj, Dhrupad, et al.
Veröffentlicht: (2025)

Demystifying LLM-as-a-Judge: Analytically Tractable Model for Inference-Time Scaling
von: Halder, Indranil, et al.
Veröffentlicht: (2025)

Soft Tokens, Hard Truths
von: Butt, Natasha, et al.
Veröffentlicht: (2025)

Mind the GAP: Improving Robustness to Subpopulation Shifts with Group-Aware Priors
von: Rudner, Tim G. J., et al.
Veröffentlicht: (2024)

Demystifying Embedding Spaces using Large Language Models
von: Tennenholtz, Guy, et al.
Veröffentlicht: (2023)

No Black Box Anymore: Demystifying Clinical Predictive Modeling with Temporal-Feature Cross Attention Mechanism
von: Li, Yubo, et al.
Veröffentlicht: (2025)

Demystifying Data-Driven Probabilistic Medium-Range Weather Forecasting
von: Kossaifi, Jean, et al.
Veröffentlicht: (2026)

Demystifying the Accuracy-Interpretability Trade-Off: A Case Study of Inferring Ratings from Reviews
von: Atrey, Pranjal, et al.
Veröffentlicht: (2025)

Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning
von: Rocamonde, Juan, et al.
Veröffentlicht: (2023)

On the Collapse Errors Induced by the Deterministic Sampler for Diffusion Models
von: Zhang, Yi, et al.
Veröffentlicht: (2025)

Dominating vs. Dominated: Generative Collapse in Diffusion Models
von: Jeong, Hayeon, et al.
Veröffentlicht: (2025)

Iteration Head: A Mechanistic Study of Chain-of-Thought
von: Cabannes, Vivien, et al.
Veröffentlicht: (2024)

Demystifying Chains, Trees, and Graphs of Thoughts
von: Besta, Maciej, et al.
Veröffentlicht: (2024)

SafeMLRM: Demystifying Safety in Multi-modal Large Reasoning Models
von: Fang, Junfeng, et al.
Veröffentlicht: (2025)

Why Less is More (Sometimes): A Theory of Data Curation
von: Dohmatob, Elvis, et al.
Veröffentlicht: (2025)

Preventing Model Collapse via Contraction-Conditioned Neural Filters
von: Han, Zongjian, et al.
Veröffentlicht: (2025)

Stochastic Collapse: How Gradient Noise Attracts SGD Dynamics Towards Simpler Subnetworks
von: Chen, Feng, et al.
Veröffentlicht: (2023)