Language Generation with Replay: A Learning-Theoretic View of Model Collapse

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Racca, Giorgio, Valko, Michal, Sanyal, Amartya
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Learning in an Echo Chamber: Online Learning with Replay Adversary
di: Dmitriev, Daniil, et al.
Pubblicazione: (2025)

Online Learning and Unlearning
di: Hu, Yaxi, et al.
Pubblicazione: (2025)

Bandits on graphs and structures
di: Valko, Michal
Pubblicazione: (2026)

Adaptive graph-based algorithms for conditional anomaly detection and semi-supervised learning
di: Valko, Michal
Pubblicazione: (2026)

On the Growth of Mistakes in Differentially Private Online Learning: A Lower Bound Perspective
di: Dmitriev, Daniil, et al.
Pubblicazione: (2024)

Learning from a single labeled face and a stream of unlabeled data
di: Kveton, Branislav, et al.
Pubblicazione: (2026)

Differentially Private Steering for Large Language Model Alignment
di: Goel, Anmol, et al.
Pubblicazione: (2025)

Less Noise, Same Certificate: Retain Sensitivity for Unlearning
di: Heinzler, Carolin, et al.
Pubblicazione: (2026)

An Iterative Algorithm for Differentially Private $k$-PCA with Adaptive Noise
di: Düngler, Johanna, et al.
Pubblicazione: (2025)

Information-Theoretic Generalization Bounds of Replay-based Continual Learning
di: Wen, Wen, et al.
Pubblicazione: (2025)

Feature importance analysis for patient management decisions
di: Valko, Michal, et al.
Pubblicazione: (2026)

Online combinatorial optimization with stochastic decision sets and adversarial losses
di: Neu, Gergely, et al.
Pubblicazione: (2026)

Distance metric learning for conditional anomaly detection
di: Valko, Michal, et al.
Pubblicazione: (2026)

Revealing graph bandits for maximizing local influence
di: Carpentier, Alexandra, et al.
Pubblicazione: (2026)

Extreme bandits
di: Carpentier, Alexandra, et al.
Pubblicazione: (2026)

Sample Complexity Bounds for Stochastic Shortest Path with a Generative Model
di: Tarbouriech, Jean, et al.
Pubblicazione: (2026)

Learning predictive models for combinations of heterogeneous proteomic data sources
di: Valko, Michal, et al.
Pubblicazione: (2026)

The Role of Learning Algorithms in Collective Action
di: Ben-Dov, Omri, et al.
Pubblicazione: (2024)

Competition is the key: A Game Theoretic Causal Discovery Approach
di: Roy, Amartya, et al.
Pubblicazione: (2025)

LoRA and Privacy: When Random Projections Help (and When They Don't)
di: Hu, Yaxi, et al.
Pubblicazione: (2026)

Adaptive Sampling and Clipping for Private Worst-Case Group Optimization
di: Cairney-Leeming, Max, et al.
Pubblicazione: (2026)

Provable Privacy with Non-Private Pre-Processing
di: Hu, Yaxi, et al.
Pubblicazione: (2024)

Theoretical Insights into Overparameterized Models in Multi-Task and Replay-Based Continual Learning
di: Banayeeanzade, Amin, et al.
Pubblicazione: (2024)

Maximum Entropy Semi-Supervised Inverse Reinforcement Learning
di: Audiffren, Julien, et al.
Pubblicazione: (2026)

Active multiple matrix completion with adaptive confidence sets
di: Locatelli, Andrea, et al.
Pubblicazione: (2026)

Bandits attack function optimization
di: Preux, Philippe, et al.
Pubblicazione: (2026)

Stochastic simultaneous optimistic optimization
di: Valko, Michal, et al.
Pubblicazione: (2026)

Online learning with Erdős-Rényi side-observation graphs
di: Kocák, Tomáš, et al.
Pubblicazione: (2026)

Large-scale semi-supervised learning with online spectral graph sparsification
di: Calandriello, Daniele, et al.
Pubblicazione: (2026)

Adaptive multi-fidelity optimization with fast learning rates
di: Fiegel, Come, et al.
Pubblicazione: (2026)

Analysis of Nystrom method with sequential ridge leverage scores
di: Calandriello, Daniele, et al.
Pubblicazione: (2026)

Bayesian policy gradient and actor-critic algorithms
di: Ghavamzadeh, Mohammad, et al.
Pubblicazione: (2026)

Online learning with noisy side observations
di: Kocák, Tomáš, et al.
Pubblicazione: (2026)

Covariance-adapting algorithm for semi-bandits with application to sparse rewards
di: Perrault, Pierre, et al.
Pubblicazione: (2026)

Pack only the essentials: Adaptive dictionary learning for kernel ridge regression
di: Calandriello, Daniele, et al.
Pubblicazione: (2026)

Protecting against simultaneous data poisoning attacks
di: Alex, Neel, et al.
Pubblicazione: (2024)

Provable unlearning in topic modeling and downstream tasks
di: Wei, Stanley, et al.
Pubblicazione: (2024)

Forgetting in Language Models: Capacity, Optimization, and Self-Generated Replay
di: Marek, Martin, et al.
Pubblicazione: (2026)

When Does Non-Uniform Replay Matter in Reinforcement Learning?
di: Korniak, Michal, et al.
Pubblicazione: (2026)

Black-box optimization of noisy functions with unknown smoothness
di: Grill, Jean-Bastien, et al.
Pubblicazione: (2026)