Buchumschlag

Disentangling the Roles of Representation and Selection in Data Pruning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Du, Yupei, Song, Yingjin, Wong, Hugh Mee, Ignatev, Daniil, Gatt, Albert, Nguyen, Dong
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics
von: Du, Yupei, et al.
Veröffentlicht: (2023)

DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning
von: Ignatev, Daniil, et al.
Veröffentlicht: (2025)

Burn After Reading: Do Multimodal Large Language Models Truly Capture Order of Events in Image Sequences?
von: Song, Yingjin, et al.
Veröffentlicht: (2025)

VAQUUM: Are Vague Quantifiers Grounded in Visual Data?
von: Wong, Hugh Mee, et al.
Veröffentlicht: (2025)

When Models Decide and When They Bind: A Two-Stage Computation for Multiple-Choice Question-Answering
von: Wong, Hugh Mee, et al.
Veröffentlicht: (2026)

Don't Learn, Ground: A Case for Natural Language Inference with Visual Grounding
von: Ignatev, Daniil, et al.
Veröffentlicht: (2025)

From Image Captioning to Visual Storytelling
von: Passadakis, Admitos, et al.
Veröffentlicht: (2025)

Context-aware Visual Storytelling with Visual Prefix Tuning and Contrastive Learning
von: Song, Yingjin, et al.
Veröffentlicht: (2024)

Structured Pruning for Diverse Best-of-N Reasoning Optimization
von: Nguyen, Hieu Trung, et al.
Veröffentlicht: (2025)

Demystifying When Pruning Works via Representation Hierarchies
von: He, Shwai, et al.
Veröffentlicht: (2026)

Disentangling Language Roles in Multilingual LLM Task Execution
von: Zhan, Qishi, et al.
Veröffentlicht: (2026)

Adaptive Layer Selection for Layer-Wise Token Pruning in LLM Inference
von: Taniguchi, Rei, et al.
Veröffentlicht: (2026)

InnerThoughts: Disentangling Representations and Predictions in Large Language Models
von: Chételat, Didier, et al.
Veröffentlicht: (2025)

RAVEL: Evaluating Interpretability Methods on Disentangling Language Model Representations
von: Huang, Jing, et al.
Veröffentlicht: (2024)

You Do Not Fully Utilize Transformer's Representation Capacity
von: Gerasimov, Gleb, et al.
Veröffentlicht: (2025)

Explainable Disentangled Representation Learning for Generalizable Authorship Attribution in the Era of Generative AI
von: Man, Hieu, et al.
Veröffentlicht: (2026)

Dissecting Language Models: Machine Unlearning via Selective Pruning
von: Pochinkov, Nicholas, et al.
Veröffentlicht: (2024)

Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient
von: Gao, Yuan, et al.
Veröffentlicht: (2024)

Reason to Rote: Rethinking Memorization in Reasoning
von: Du, Yupei, et al.
Veröffentlicht: (2025)

Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs
von: Qin, Yijian, et al.
Veröffentlicht: (2023)

Analyze Feature Flow to Enhance Interpretation and Steering in Language Models
von: Laptev, Daniil, et al.
Veröffentlicht: (2025)

Disentangling Logic: The Role of Context in Large Language Model Reasoning Capabilities
von: Hua, Wenyue, et al.
Veröffentlicht: (2024)

Kronecker Factorization Improves Efficiency and Interpretability of Sparse Autoencoders
von: Kurochkin, Vadim, et al.
Veröffentlicht: (2025)

Quantifying Modality Contributions via Disentangling Multimodal Representations
von: Amit, Padegal, et al.
Veröffentlicht: (2025)

Cut Your Losses! Learning to Prune Paths Early for Efficient Parallel Reasoning
von: Bi, Jiaxi, et al.
Veröffentlicht: (2026)

Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations
von: Dong, Zican, et al.
Veröffentlicht: (2025)

Self-Data Distillation for Recovering Quality in Pruned Large Language Models
von: Thangarasa, Vithursan, et al.
Veröffentlicht: (2024)

Language Model-Driven Data Pruning Enables Efficient Active Learning
von: Azeemi, Abdul Hameed, et al.
Veröffentlicht: (2024)

Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference Models
von: Ankner, Zachary, et al.
Veröffentlicht: (2024)

Frustratingly Easy Task-aware Pruning for Large Language Models
von: Tian, Yuanhe, et al.
Veröffentlicht: (2025)

Comparative Analysis of Demonstration Selection Algorithms for LLM In-Context Learning
von: Shu, Dong, et al.
Veröffentlicht: (2024)

UFO-RL: Uncertainty-Focused Optimization for Efficient Reinforcement Learning Data Selection
von: Zhao, Yang, et al.
Veröffentlicht: (2025)

Pruning Weights but Not Truth: Safeguarding Truthfulness While Pruning LLMs
von: Fu, Yao, et al.
Veröffentlicht: (2025)

Is Random Attention Sufficient for Sequence Modeling? Disentangling Trainable Components in the Transformer
von: Dong, Yihe, et al.
Veröffentlicht: (2025)

STUN: Structured-Then-Unstructured Pruning for Scalable MoE Pruning
von: Lee, Jaeseong, et al.
Veröffentlicht: (2024)

Synthetic Eggs in Many Baskets: The Impact of Synthetic Data Diversity on LLM Fine-Tuning
von: Schaffelder, Max, et al.
Veröffentlicht: (2025)

Greedy Information Projection for LLM Data Selection
von: Dong, Victor Ye, et al.
Veröffentlicht: (2026)

Transformers with Selective Access to Early Representations
von: Gunasekaran, Skye, et al.
Veröffentlicht: (2026)

IDEA Prune: An Integrated Enlarge-and-Prune Pipeline in Generative Language Model Pretraining
von: Li, Yixiao, et al.
Veröffentlicht: (2025)

Interpretable Discriminative Text Representations via Agreement and Label Disentanglement
von: Wang, Tong, et al.
Veröffentlicht: (2026)