Buchumschlag

UNDO: Understanding Distillation as Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jain, Kushal, Goyal, Piyushi, Shridhar, Kumar
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

First-Step Advantage: Importance of Starting Right in Multi-Step Math Reasoning
von: Jain, Kushal, et al.
Veröffentlicht: (2023)

Distilling LLMs' Decomposition Abilities into Compact Language Models
von: Tarasov, Denis, et al.
Veröffentlicht: (2024)

Beyond Pattern Recognition: Probing Mental Representations of LMs
von: Miller, Moritz, et al.
Veröffentlicht: (2025)

EMAFusion: A Self-Optimizing System for Seamless LLM Selection and Integration
von: Shah, Soham, et al.
Veröffentlicht: (2025)

The UNDO Flip-Flop: A Controlled Probe for Reversible Semantic State Management in State Space Model
von: Zhou, Hongxu
Veröffentlicht: (2026)

DualDiffusion: A Speculative Decoding Strategy for Masked Diffusion Models
von: Goyal, Satyam, et al.
Veröffentlicht: (2026)

Revisiting NLI: Towards Cost-Effective and Human-Aligned Metrics for Evaluating LLMs in Question Answering
von: Balamurali, Sai Shridhar, et al.
Veröffentlicht: (2025)

Efficacy of Large Language Models in Systematic Reviews
von: Shah, Aaditya, et al.
Veröffentlicht: (2024)

Enhancing Knowledge Distillation for LLMs with Response-Priming Prompting
von: Goyal, Vijay, et al.
Veröffentlicht: (2024)

Updating Parametric Knowledge with Context Distillation Retains Post-Training Capabilities
von: Padmanabhan, Shankar, et al.
Veröffentlicht: (2026)

ERVQA: A Dataset to Benchmark the Readiness of Large Vision Language Models in Hospital Environments
von: Ray, Sourjyadip, et al.
Veröffentlicht: (2024)

Order-Based Pre-training Strategies for Procedural Text Understanding
von: Nandy, Abhilash, et al.
Veröffentlicht: (2024)

Enhancing Low-Resource NMT with a Multilingual Encoder and Knowledge Distillation: A Case Study
von: Roy, Aniruddha, et al.
Veröffentlicht: (2024)

FB-RAG: Improving RAG with Forward and Backward Lookup
von: Chawla, Kushal, et al.
Veröffentlicht: (2025)

Enhancing Grammatical Error Detection using BERT with Cleaned Lang-8 Dataset
von: Nihalani, Rahul, et al.
Veröffentlicht: (2024)

AFD-SLU: Adaptive Feature Distillation for Spoken Language Understanding
von: Xie, Yan, et al.
Veröffentlicht: (2025)

Distilling Fine-grained Sentiment Understanding from Large Language Models
von: Zhang, Yice, et al.
Veröffentlicht: (2024)

DocKD: Knowledge Distillation from LLMs for Open-World Document Understanding Models
von: Kim, Sungnyun, et al.
Veröffentlicht: (2024)

On the Interplay between Positional Encodings, Morphological Complexity, and Word Order Flexibility
von: Tatariya, Kushal, et al.
Veröffentlicht: (2025)

DCRM: A Heuristic to Measure Response Pair Quality in Preference Optimization
von: Huang, Chengyu, et al.
Veröffentlicht: (2025)

Generative Image as Action Models
von: Shridhar, Mohit, et al.
Veröffentlicht: (2024)

VOLTAGE: A Versatile Contrastive Learning based OCR Methodology for ultra low-resource scripts through Auto Glyph Feature Extraction
von: Sharma, Prawaal, et al.
Veröffentlicht: (2025)

A fully automated and scalable Parallel Data Augmentation for Low Resource Languages using Image and Text Analytics
von: Sharma, Prawaal, et al.
Veröffentlicht: (2025)

Neural Diversity Regularizes Hallucinations in Language Models
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2025)

OpenCodeReasoning: Advancing Data Distillation for Competitive Coding
von: Ahmad, Wasi Uddin, et al.
Veröffentlicht: (2025)

Calibrating Large Language Models with Sample Consistency
von: Lyu, Qing, et al.
Veröffentlicht: (2024)

Efficient End-to-End Visual Document Understanding with Rationale Distillation
von: Zhu, Wang, et al.
Veröffentlicht: (2023)

Class Distillation with Mahalanobis Contrast: An Efficient Training Paradigm for Pragmatic Language Understanding Tasks
von: Wang, Chenlu, et al.
Veröffentlicht: (2025)

Towards Understanding and Improving Knowledge Distillation for Neural Machine Translation
von: Zhang, Songming, et al.
Veröffentlicht: (2023)

Multi-Head Attention Is a Multi-Player Game
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2026)

Train It and Forget It: Merge Lists are Unnecessary for BPE Inference in Language Models
von: Sawada, Tomohiro, et al.
Veröffentlicht: (2025)

Pixology: Probing the Linguistic and Visual Capabilities of Pixel-based Language Models
von: Tatariya, Kushal, et al.
Veröffentlicht: (2024)

Investigating Content Planning for Navigating Trade-offs in Knowledge-Grounded Dialogue
von: Chawla, Kushal, et al.
Veröffentlicht: (2024)

Investigating Spatial Attention Bias in Vision-Language Models
von: Chaudhary, Aryan, et al.
Veröffentlicht: (2025)

IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding
von: KJ, Sankalp, et al.
Veröffentlicht: (2025)

Reinforcement Learning vs. Distillation: Understanding Accuracy and Capability in LLM Reasoning
von: Kim, Minwu, et al.
Veröffentlicht: (2025)

Improving Long Text Understanding with Knowledge Distilled from Summarization Model
von: Liu, Yan, et al.
Veröffentlicht: (2024)

Local Prompt Optimization
von: Jain, Yash, et al.
Veröffentlicht: (2025)

Combining On-Policy Optimization and Distillation for Long-Context Reasoning in Large Language Models
von: Ramos, Miguel Moura, et al.
Veröffentlicht: (2026)

Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations
von: Jha, Prince, et al.
Veröffentlicht: (2024)