Buchumschlag

MAGE: All-[MASK] Block Already Knows Where to Look in Diffusion LLM

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kwon, Omin, Kim, Yeonjae, Kim, Doyeon, Kim, Minseo, Park, Yeonhong, Lee, Jae W.
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

NestedFP: High-Performance, Memory-Efficient Dual-Precision Floating Point Support for LLMs
von: Lee, Haeun, et al.
Veröffentlicht: (2025)

DecDEC: A Systems Approach to Advancing Low-Bit LLM Quantization
von: Park, Yeonhong, et al.
Veröffentlicht: (2024)

Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data
von: Kwak, Minseo, et al.
Veröffentlicht: (2026)

SLEB: Streamlining LLMs through Redundancy Verification and Elimination of Transformer Blocks
von: Song, Jiwon, et al.
Veröffentlicht: (2024)

Feature Structure Distillation with Centered Kernel Alignment in BERT Transferring
von: Jung, Hee-Jun, et al.
Veröffentlicht: (2022)

LLMs Are Already Good Tutors: Training-Free Prompt Optimization for Pedagogical Math Tutoring
von: Lee, Unggi, et al.
Veröffentlicht: (2026)

DP-LLM: Runtime Model Adaptation with Dynamic Layer-wise Precision Assignment
von: Kwon, Sangwoo, et al.
Veröffentlicht: (2025)

Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

CDLM: Consistency Diffusion Language Models For Faster Sampling
von: Kim, Minseo, et al.
Veröffentlicht: (2025)

LCSB: Layer-Cyclic Selective Backpropagation for Memory-Efficient On-Device LLM Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

Selective Generation for Controllable Language Models
von: Lee, Minjae, et al.
Veröffentlicht: (2023)

Rare-to-Frequent: Unlocking Compositional Generation Power of Diffusion Models on Rare Concepts with LLM Guidance
von: Park, Dongmin, et al.
Veröffentlicht: (2024)

L4Q: Parameter Efficient Quantization-Aware Fine-Tuning on Large Language Models
von: Jeon, Hyesung, et al.
Veröffentlicht: (2024)

Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models
von: Kim, Minseo, et al.
Veröffentlicht: (2025)

Where Rollouts Begin: Low-Load, High-Leverage First-Token Diversification for RLVR
von: Kim, Soeun, et al.
Veröffentlicht: (2026)

FastKV: Decoupling of Context Reduction and KV Cache Compression for Prefill-Decoding Acceleration
von: Jo, Dongwon, et al.
Veröffentlicht: (2025)

Conditional [MASK] Discrete Diffusion Language Model
von: Koh, Hyukhun, et al.
Veröffentlicht: (2024)

ExLM: Rethinking the Impact of [MASK] Tokens in Masked Language Models
von: Zheng, Kangjie, et al.
Veröffentlicht: (2025)

QUICK: Quantization-aware Interleaving and Conflict-free Kernel for efficient LLM inference
von: Kim, Taesu, et al.
Veröffentlicht: (2024)

References Indeed Matter? Reference-Free Preference Optimization for Conversational Query Reformulation
von: Kim, Doyoung, et al.
Veröffentlicht: (2025)

FlowBot: Inducing LLM Workflows with Bilevel Optimization and Textual Gradients
von: Yu, Hongyeon, et al.
Veröffentlicht: (2026)

Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment
von: Kim, Dongyoung, et al.
Veröffentlicht: (2024)

Adaptive Task Vectors for Large Language Models
von: Kang, Joonseong, et al.
Veröffentlicht: (2025)

Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding
von: Ryu, Hyun, et al.
Veröffentlicht: (2024)

Text Knows What, Tables Know When: Clinical Timeline Reconstruction via Retrieval-Augmented Multimodal Alignment
von: Kumar, Sayantan, et al.
Veröffentlicht: (2026)

The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems
von: Ren, Richard, et al.
Veröffentlicht: (2025)

DropBP: Accelerating Fine-Tuning of Large Language Models by Dropping Backward Propagation
von: Woo, Sunghyeon, et al.
Veröffentlicht: (2024)

ReflAct: World-Grounded Decision Making in LLM Agents via Goal-State Reflection
von: Kim, Jeonghye, et al.
Veröffentlicht: (2025)

Any-Precision LLM: Low-Cost Deployment of Multiple, Different-Sized LLMs
von: Park, Yeonhong, et al.
Veröffentlicht: (2024)

SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling
von: Kim, Dahyun, et al.
Veröffentlicht: (2023)

Measuring the Depth of LLM Unlearning via Activation Patching
von: Lee, Jaeung, et al.
Veröffentlicht: (2026)

EdiText: Controllable Coarse-to-Fine Text Editing with Diffusion Language Models
von: Lee, Che Hyun, et al.
Veröffentlicht: (2025)

Hidden States Know Where Reasoning Diverges: Credit Assignment via Span-Level Wasserstein Distance
von: Chen, Xinzhu, et al.
Veröffentlicht: (2026)

Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
von: Son, Hyegang, et al.
Veröffentlicht: (2024)

Task Diversity Shortens the ICL Plateau
von: Kim, Jaeyeon, et al.
Veröffentlicht: (2024)

DiffListener: Discrete Diffusion Model for Listener Generation
von: Jung, Siyeol, et al.
Veröffentlicht: (2025)

ERD: A Framework for Improving LLM Reasoning for Cognitive Distortion Classification
von: Lim, Sehee, et al.
Veröffentlicht: (2024)

MedRep: Medical Concept Representation for General Electronic Health Record Foundation Models
von: Kim, Junmo, et al.
Veröffentlicht: (2025)

Prefixing Attention Sinks can Mitigate Activation Outliers for Large Language Model Quantization
von: Son, Seungwoo, et al.
Veröffentlicht: (2024)

Enhancing Clinical Efficiency through LLM: Discharge Note Generation for Cardiac Patients
von: Jung, HyoJe, et al.
Veröffentlicht: (2024)