Buchumschlag

Memorizing Long-tail Data Can Help Generalization Through Composition

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Mo, Ma, Haoyang, Ge, Rong
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

How Does Gradient Descent Learn Features -- A Local Analysis for Regularized Two-Layer Neural Networks
von: Zhou, Mo, et al.
Veröffentlicht: (2024)

GSS: Gated Subspace Steering for Selective Memorization Mitigation in LLMs
von: Zhang, Xuanqi, et al.
Veröffentlicht: (2026)

Can Vehicle Motion Planning Generalize to Realistic Long-tail Scenarios?
von: Hallgarten, Marcel, et al.
Veröffentlicht: (2024)

When Can Memorization Improve Fairness?
von: Pepin, Bob, et al.
Veröffentlicht: (2024)

Data Deletion Can Help in Adaptive RL
von: Budhraja, Param, et al.
Veröffentlicht: (2026)

The Pitfalls of Memorization: When Memorization Hurts Generalization
von: Bayat, Reza, et al.
Veröffentlicht: (2024)

Understanding the Impact of Differentially Private Training on Memorization of Long-Tailed Data
von: Zhang, Jiaming, et al.
Veröffentlicht: (2026)

Non-Vacuous Generalization Bounds: Can Rescaling Invariances Help?
von: Rouchouse, Damien, et al.
Veröffentlicht: (2025)

Improved Localized Machine Unlearning Through the Lens of Memorization
von: Torkzadehmahani, Reihaneh, et al.
Veröffentlicht: (2024)

Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test
von: Li, Ziyue, et al.
Veröffentlicht: (2025)

Distilling Long-tailed Datasets
von: Zhao, Zhenghao, et al.
Veröffentlicht: (2024)

Classifying Long-tailed and Label-noise Data via Disentangling and Unlearning
von: Shu, Chen, et al.
Veröffentlicht: (2025)

Towards Heterogeneous Long-tailed Learning: Benchmarking, Metrics, and Toolbox
von: Wang, Haohui, et al.
Veröffentlicht: (2023)

How Much Training Data is Memorized in Overparameterized Autoencoders? An Inverse Problem Perspective on Memorization Evaluation
von: Abitbul, Koren, et al.
Veröffentlicht: (2023)

On the Edge of Memorization in Diffusion Models
von: Buchanan, Sam, et al.
Veröffentlicht: (2025)

Long-tailed Recognition with Model Rebalancing
von: Luo, Jiaan, et al.
Veröffentlicht: (2025)

Prior Aware Memorization: An Efficient Metric for Distinguishing Memorization from Generalization in Large Language Models
von: Tiwari, Trishita, et al.
Veröffentlicht: (2026)

Generalized Categories Discovery for Long-tailed Recognition
von: Li, Ziyun, et al.
Veröffentlicht: (2023)

Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models
von: Dong, Yihong, et al.
Veröffentlicht: (2024)

Generalization-Memorization Machines
von: Wang, Zhen, et al.
Veröffentlicht: (2022)

FedLoGe: Joint Local and Generic Federated Learning under Long-tailed Data
von: Xiao, Zikai, et al.
Veröffentlicht: (2024)

Initialization is Critical to Whether Transformers Fit Composite Functions by Reasoning or Memorizing
von: Zhang, Zhongwang, et al.
Veröffentlicht: (2024)

On the Dynamics & Transferability of Latent Generalization during Memorization
von: Ketha, Simran, et al.
Veröffentlicht: (2026)

Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders
von: Chen, Zhimin, et al.
Veröffentlicht: (2025)

Can Stories Help LLMs Reason? Curating Information Space Through Narrative
von: Javadi, Vahid Sadiri, et al.
Veröffentlicht: (2024)

Conformal Prediction Meets Long-tail Classification
von: Liu, Shuqi, et al.
Veröffentlicht: (2025)

APRIL: Active Partial Rollouts in Reinforcement Learning to Tame Long-tail Generation
von: Zhou, Yuzhen, et al.
Veröffentlicht: (2025)

Understanding and Mitigating Memorization in Diffusion Models for Tabular Data
von: Fang, Zhengyu, et al.
Veröffentlicht: (2024)

From Teacher to Student: Tracking Memorization Through Model Distillation
von: Singh, Simardeep
Veröffentlicht: (2025)

How Far Can Fairness Constraints Help Recover From Biased Data?
von: Sharma, Mohit, et al.
Veröffentlicht: (2023)

LPT++: Efficient Training on Mixture of Long-tailed Experts
von: Dong, Bowen, et al.
Veröffentlicht: (2024)

SolidMark: Evaluating Image Memorization in Generative Models
von: Kriplani, Nicky, et al.
Veröffentlicht: (2025)

Provable Separations between Memorization and Generalization in Diffusion Models
von: Ye, Zeqi, et al.
Veröffentlicht: (2025)

Generalization vs. Memorization in the Presence of Statistical Biases in Transformers
von: Mitros, John
Veröffentlicht: (2024)

A Geometric Framework for Understanding Memorization in Generative Models
von: Ross, Brendan Leigh, et al.
Veröffentlicht: (2024)

Memorization in Self-Supervised Learning Improves Downstream Generalization
von: Wang, Wenhao, et al.
Veröffentlicht: (2024)

Manifold Generalization Provably Proceeds Memorization in Diffusion Models
von: Shen, Zebang, et al.
Veröffentlicht: (2026)

RePCS: Diagnosing Data Memorization in LLM-Powered Retrieval-Augmented Generation
von: Anh, Le Vu, et al.
Veröffentlicht: (2025)

How Do Flow Matching Models Memorize and Generalize in Sample Data Subspaces?
von: Gao, Weiguo, et al.
Veröffentlicht: (2024)

Making Reliable and Flexible Decisions in Long-tailed Classification
von: Li, Bolian, et al.
Veröffentlicht: (2025)