Buchumschlag

A Lightweight Method to Disrupt Memorized Sequences in LLM

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Prashant, Parjanya Prajakta, Ponkshe, Kaustubh, Salimi, Babak
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

KAIROS: Scalable Model-Agnostic Data Valuation
von: Zhu, Jiongli, et al.
Veröffentlicht: (2025)

Fine-Tuning Without Forgetting via Loss-Adaptive Learning Rates
von: Prashant, Parjanya Prajakta, et al.
Veröffentlicht: (2026)

Scalable Out-of-distribution Robustness in the Presence of Unobserved Confounders
von: Prashant, Parjanya, et al.
Veröffentlicht: (2024)

Safety Subspaces are Not Linearly Distinct: A Fine-Tuning Case Study
von: Ponkshe, Kaustubh, et al.
Veröffentlicht: (2025)

ABBA-Adapters: Efficient and Expressive Fine-Tuning of Foundation Models
von: Singhal, Raghav, et al.
Veröffentlicht: (2025)

Initialization using Update Approximation is a Silver Bullet for Extremely Efficient Low-Rank Fine-Tuning
von: Ponkshe, Kaustubh, et al.
Veröffentlicht: (2024)

Fed-SB: A Silver Bullet for Extreme Communication Efficiency and Performance in (Private) Federated LoRA Fine-Tuning
von: Singhal, Raghav, et al.
Veröffentlicht: (2025)

Power Mechanism: Private Tabular Representation Release for Model Agnostic Consumption
von: Vepakomma, Praneeth, et al.
Veröffentlicht: (2025)

Rethinking LLM Memorization through the Lens of Adversarial Compression
von: Schwarzschild, Avi, et al.
Veröffentlicht: (2024)

Hubble: a Model Suite to Advance the Study of LLM Memorization
von: Wei, Johnny Tian-Zheng, et al.
Veröffentlicht: (2025)

WISCA: A Lightweight Model Transition Method to Improve LLM Training via Weight Scaling
von: Li, Jiacheng, et al.
Veröffentlicht: (2025)

A Comparative Analysis of LLM Memorization at Statistical and Internal Levels: Cross-Model Commonalities and Model-Specific Signatures
von: Chen, Bowen, et al.
Veröffentlicht: (2026)

Reason to Rote: Rethinking Memorization in Reasoning
von: Du, Yupei, et al.
Veröffentlicht: (2025)

To Each (Textual Sequence) Its Own: Improving Memorized-Data Unlearning in Large Language Models
von: Barbulescu, George-Octavian, et al.
Veröffentlicht: (2024)

FedEx-LoRA: Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models
von: Singhal, Raghav, et al.
Veröffentlicht: (2024)

From Memorization to Reasoning in the Spectrum of Loss Curvature
von: Merullo, Jack, et al.
Veröffentlicht: (2025)

Demystifying Verbatim Memorization in Large Language Models
von: Huang, Jing, et al.
Veröffentlicht: (2024)

FictionalQA: A Dataset for Studying Memorization and Knowledge Acquisition
von: Kirchenbauer, John, et al.
Veröffentlicht: (2025)

Resolving Intent Ambiguities by Retrieving Discriminative Clarifying Questions
von: Dhole, Kaustubh D.
Veröffentlicht: (2020)

GLiClass: Generalist Lightweight Model for Sequence Classification Tasks
von: Stepanov, Ihor, et al.
Veröffentlicht: (2025)

Memorization in In-Context Learning
von: Golchin, Shahriar, et al.
Veröffentlicht: (2024)

Seeing Justice Clearly: Handwritten Legal Document Translation with OCR and Vision-Language Models
von: Nigam, Shubham Kumar, et al.
Veröffentlicht: (2025)

Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
von: Wang, Fei, et al.
Veröffentlicht: (2025)

Memorization: A Close Look at Books
von: Ma, Iris, et al.
Veröffentlicht: (2025)

StructFormer: Document Structure-based Masked Attention and its Impact on Language Model Pre-Training
von: Ponkshe, Kaustubh, et al.
Veröffentlicht: (2024)

Mitigating Memorization In Language Models
von: Sakarvadia, Mansi, et al.
Veröffentlicht: (2024)

The Geometric Canary: Predicting Steerability and Detecting Drift via Representational Stability
von: Raju, Prashant C.
Veröffentlicht: (2026)

Low-Perplexity LLM-Generated Sequences and Where To Find Them
von: Wuhrmann, Arthur, et al.
Veröffentlicht: (2025)

Elephants Never Forget: Testing Language Models for Memorization of Tabular Data
von: Bordt, Sebastian, et al.
Veröffentlicht: (2024)

A Lightweight LLM Framework for Disaster Humanitarian Information Classification
von: Jinzhen, Han, et al.
Veröffentlicht: (2026)

Learn to Memorize: Optimizing LLM-based Agents with Adaptive Memory Framework
von: Zhang, Zeyu, et al.
Veröffentlicht: (2025)

Dataset Decomposition: Faster LLM Training with Variable Sequence Length Curriculum
von: Pouransari, Hadi, et al.
Veröffentlicht: (2024)

Cram Less to Fit More: Training Data Pruning Improves Memorization of Facts
von: Ye, Jiayuan, et al.
Veröffentlicht: (2026)

Titans: Learning to Memorize at Test Time
von: Behrouz, Ali, et al.
Veröffentlicht: (2024)

Localizing Paragraph Memorization in Language Models
von: Stoehr, Niklas, et al.
Veröffentlicht: (2024)

Memorization Dynamics of Fill-in-the-Middle Pretraining
von: von Arx, Tobias, et al.
Veröffentlicht: (2026)

Detecting Memorization in Large Language Models
von: Slonski, Eduardo
Veröffentlicht: (2024)

ModeSwitch-LLM: A Lightweight Phase-Aware Controller for Cross-Mode LLM Inference on a Single GPU
von: Sunesh, Aman, et al.
Veröffentlicht: (2026)

Robust LLM Unlearning with MUDMAN: Meta-Unlearning with Disruption Masking And Normalization
von: Sondej, Filip, et al.
Veröffentlicht: (2025)

S2 Chunking: A Hybrid Framework for Document Segmentation Through Integrated Spatial and Semantic Analysis
von: Verma, Prashant
Veröffentlicht: (2025)