Buchumschlag

Learning is Forgetting: LLM Training As Lossy Compression

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Conklin, Henry C., Hosking, Tom, Yi-Chern, Tan, Gold, Julian, Cohen, Jonathan D., Griffiths, Thomas L., Bartolo, Max, Goldfarb-Tarrant, Seraphina
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language Information Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MultiContrievers: Analysis of Dense Retrieval Representations
von: Goldfarb-Tarrant, Seraphina, et al.
Veröffentlicht: (2024)

Safer or Luckier? LLMs as Safety Evaluators Are Not Robust to Artifacts
von: Chen, Hongyu, et al.
Veröffentlicht: (2025)

Human Feedback is not Gold Standard
von: Hosking, Tom, et al.
Veröffentlicht: (2023)

Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations
von: Seshadri, Preethi, et al.
Veröffentlicht: (2026)

Small Changes, Large Consequences: Analyzing the Allocational Fairness of LLMs in Hiring Contexts
von: Seshadri, Preethi, et al.
Veröffentlicht: (2025)

Scaling Training Data with Lossy Image Compression
von: Mentzer, Katherine L., et al.
Veröffentlicht: (2024)

Scalpel vs. Hammer: GRPO Amplifies Existing Capabilities, SFT Replaces Them
von: Rajani, Neel, et al.
Veröffentlicht: (2025)

Mix Data or Merge Models? Optimizing for Diverse Multi-Task Learning
von: Aakanksha, et al.
Veröffentlicht: (2024)

Successive Refinement for Lossy Compression of Individual Sequences
von: Merhav, Neri
Veröffentlicht: (2025)

Importance Matching Lemma for Lossy Compression with Side Information
von: Phan, Buu, et al.
Veröffentlicht: (2024)

Universal Rate-Distortion-Classification Representations for Lossy Compression
von: Nguyen, Nam, et al.
Veröffentlicht: (2025)

Exploration-Exploitation Tradeoff in Universal Lossy Compression
von: Weinberger, Nir, et al.
Veröffentlicht: (2025)

Task-Oriented Lossy Compression with Data, Perception, and Classification Constraints
von: Wang, Yuhan, et al.
Veröffentlicht: (2024)

Rejection-Sampled Linear Codes for Lossy Compression and Channel Simulation
von: Zhao, Jianguo, et al.
Veröffentlicht: (2025)

A Theory of Universal Rate-Distortion-Classification Representations for Lossy Compression
von: Nguyen, Nam, et al.
Veröffentlicht: (2025)

Universal Representations for Classification-enhanced Lossy Compression
von: Nguyen, Nam
Veröffentlicht: (2025)

A Framework for Robust Lossy Compression of Heavy-Tailed Sources
von: Ezzeddine, Karim, et al.
Veröffentlicht: (2024)

On Self-Adaptive Perception Loss Function for Sequential Lossy Compression
von: Salehkalaibar, Sadaf, et al.
Veröffentlicht: (2025)

Pointwise Redundancy in One-Shot Lossy Compression via Poisson Functional Representation
von: Li, Cheuk Ting
Veröffentlicht: (2024)

FastqZip: An Improved Reference-Based Genome Sequence Lossy Compression Framework
von: Liu, Yuanjian, et al.
Veröffentlicht: (2024)

Lossy Compression of Individual Sequences Revisited: Fundamental Limits of Finite-State Encoders
von: Merhav, Neri
Veröffentlicht: (2024)

CAMEO: Autocorrelation-Preserving Line Simplification for Lossy Time Series Compression
von: Muñiz-Cuza, Carlos Enrique, et al.
Veröffentlicht: (2025)

Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training
von: Wang, Yuanyi, et al.
Veröffentlicht: (2026)

Cross-Domain Lossy Compression via Constrained Minimum Entropy Coupling
von: Nguyen, Nam, et al.
Veröffentlicht: (2026)

Joint Lossy Compression for a Vector Gaussian Source under Individual Distortion Criteria
von: Chen, Shuao, et al.
Veröffentlicht: (2026)

Joint Data and Semantics Lossy Compression: Nonasymptotic Converse Bounds and Second-Order Asymptotics
von: Yang, Huiyuan, et al.
Veröffentlicht: (2024)

Causal Head Gating: A Framework for Interpreting Roles of Attention Heads in Transformers
von: Nam, Andrew, et al.
Veröffentlicht: (2025)

The Multilingual Alignment Prism: Aligning Global and Local Preferences to Reduce Harm
von: Aakanksha, et al.
Veröffentlicht: (2024)

A Rate-Distortion-Classification Approach for Lossy Image Compression
von: Zhang, Yuefeng
Veröffentlicht: (2024)

A SMART Mnemonic Sounds like "Glue Tonic": Mixing LLMs with Student Feedback to Make Mnemonic Learning Stick
von: Balepur, Nishant, et al.
Veröffentlicht: (2024)

Lossy communication constrains iterated learning
von: Prystawski, Ben, et al.
Veröffentlicht: (2025)

Information Structure in Mappings: An Approach to Learning, Representation, and Generalisation
von: Conklin, Henry
Veröffentlicht: (2025)

Supervised Learning as Lossy Compression: Characterizing Generalization and Sample Complexity via Finite Blocklength Analysis
von: Sugiyama, Kosuke, et al.
Veröffentlicht: (2026)

An Error-Bounded Lossy Compression Method with Bit-Adaptive Quantization for Particle Data
von: Ren, Congrong, et al.
Veröffentlicht: (2024)

Large Language Models Generate Harmful Content Using a Distinct, Unified Mechanism
von: Orgad, Hadas, et al.
Veröffentlicht: (2026)

The Lossy Horizon: Error-Bounded Predictive Coding for Lossy Text Compression (Episode I)
von: Aghanya, Nnamdi, et al.
Veröffentlicht: (2025)

Pool-based Active Learning as Noisy Lossy Compression: Characterizing Label Complexity via Finite Blocklength Analysis
von: Sugiyama, Kosuke, et al.
Veröffentlicht: (2026)

On Finite Blocklength Lossy Source Coding
von: Zhou, Lin, et al.
Veröffentlicht: (2023)

On Distributionally Robust Lossy Source Coding
von: Serra, Giuseppe, et al.
Veröffentlicht: (2025)

Lossy Source Coding with Focal Loss
von: Dytso, Alex, et al.
Veröffentlicht: (2025)