Buchumschlag

Diffusion LLM with Native Variable Generation Lengths: Let [EOS] Lead the Way

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yang, Yicun, Wang, Cong, Wang, Shaobo, Wen, Zichen, Qi, Biqing, Xu, Hanlin, Zhang, Linfeng
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Self Speculative Decoding for Diffusion Large Language Models
von: Gao, Yifeng, et al.
Veröffentlicht: (2025)

Mask Tokens as Prophet: Fine-Grained Cache Eviction for Efficient dLLM Inference
von: Huang, Jianuo, et al.
Veröffentlicht: (2025)

Thinking Inside the Mask: In-Place Prompting in Diffusion LLMs
von: Jin, Xiangqi, et al.
Veröffentlicht: (2025)

dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching
von: Liu, Zhiyuan, et al.
Veröffentlicht: (2025)

$ρ$-$\texttt{EOS}$: Training-free Bidirectional Variable-Length Control for Masked Diffusion LLMs
von: Yang, Jingyi, et al.
Veröffentlicht: (2026)

Data Whisperer: Efficient Data Selection for Task-Specific LLM Fine-Tuning via Few-Shot In-Context Learning
von: Wang, Shaobo, et al.
Veröffentlicht: (2025)

Controlling Summarization Length Through EOS Token Weighting
von: Belligoli, Zeno, et al.
Veröffentlicht: (2025)

Stop Looking for Important Tokens in Multimodal Language Models: Duplication Matters More
von: Wen, Zichen, et al.
Veröffentlicht: (2025)

Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning
von: Wang, Shaobo, et al.
Veröffentlicht: (2025)

The Devil behind the mask: An emergent safety vulnerability of Diffusion LLMs
von: Wen, Zichen, et al.
Veröffentlicht: (2025)

Improving Variable-Length Generation in Diffusion Language Models via Length Regularization
von: Cheng, Zicong, et al.
Veröffentlicht: (2026)

Accelerating Diffusion Large Language Models with SlowFast Sampling: The Three Golden Principles
von: Wei, Qingyan, et al.
Veröffentlicht: (2025)

Diffusion Language Models Are Natively Length-Aware
von: Rossi, Vittorio, et al.
Veröffentlicht: (2026)

Constrained Code Generation with Discrete Diffusion
von: Shao, Lize, et al.
Veröffentlicht: (2026)

LaPA$^2$: Length-Aware Prefix and Prompt Attention Augmentation for Long-Form Controllable Text Generation
von: Yang, Jiabing, et al.
Veröffentlicht: (2025)

Fourier Position Embedding: Enhancing Attention's Periodic Extension for Length Generalization
von: Hua, Ermo, et al.
Veröffentlicht: (2024)

Towards Building Specialized Generalist AI with System 1 and System 2 Fusion
von: Zhang, Kaiyan, et al.
Veröffentlicht: (2024)

DARE: Diffusion Large Language Models Alignment and Reinforcement Executor
von: Yang, Jingyi, et al.
Veröffentlicht: (2026)

Token Pruning in Multimodal Large Language Models: Are We Solving the Right Problem?
von: Wen, Zichen, et al.
Veröffentlicht: (2025)

Socratic-Zero : Bootstrapping Reasoning via Data-Free Agent Co-evolution
von: Wang, Shaobo, et al.
Veröffentlicht: (2025)

Vision-and-Language Navigation Generative Pretrained Transformer
von: Hanlin, Wen
Veröffentlicht: (2024)

Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models
von: Li, Jinsong, et al.
Veröffentlicht: (2025)

FlexDraft: Flexible Speculative Decoding via Attention Tuning and Bonus-Guided Calibration
von: Zhang, Yaojie, et al.
Veröffentlicht: (2026)

Flash-Unified: A Training-Free and Task-Aware Acceleration Framework for Native Unified Models
von: Ke, Junlong, et al.
Veröffentlicht: (2026)

Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data?
von: Wang, Shaobo, et al.
Veröffentlicht: (2025)

Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding
von: Huang, Jianuo, et al.
Veröffentlicht: (2026)

Fast and Slow Generating: An Empirical Study on Large and Small Language Models Collaborative Decoding
von: Zhang, Kaiyan, et al.
Veröffentlicht: (2024)

Length Generalization of Causal Transformers without Position Encoding
von: Wang, Jie, et al.
Veröffentlicht: (2024)

Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling
von: Liu, Runze, et al.
Veröffentlicht: (2025)

Less is More: Mitigating Multimodal Hallucination from an EOS Decision Perspective
von: Yue, Zihao, et al.
Veröffentlicht: (2024)

Adaptive Tool Generation with Models as Tools and Reinforcement Learning
von: Wang, Chenpeng, et al.
Veröffentlicht: (2025)

The Devil is in the EOS: Sequence Training for Detailed Image Captioning
von: Mohamed, Abdelrahman, et al.
Veröffentlicht: (2025)

The Missing Piece in Pre-trained Model Evaluation: Reward-Guided Decoding Unlocks Task-Oriented Behavior Without Parameter Updates
von: Wang, Shaobo, et al.
Veröffentlicht: (2026)

PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length
von: Zhang, Situo, et al.
Veröffentlicht: (2026)

CoGenesis: A Framework Collaborating Large and Small Language Models for Secure Context-Aware Instruction Following
von: Zhang, Kaiyan, et al.
Veröffentlicht: (2024)

A Long Way to Go: Investigating Length Correlations in RLHF
von: Singhal, Prasann, et al.
Veröffentlicht: (2023)

Dataset Decomposition: Faster LLM Training with Variable Sequence Length Curriculum
von: Pouransari, Hadi, et al.
Veröffentlicht: (2024)

Let's Reason Formally: Natural-Formal Hybrid Reasoning Enhances LLM's Math Capability
von: Wang, Ruida, et al.
Veröffentlicht: (2025)

IndustryCode: A Benchmark for Industry Code Generation
von: Zeng, Puyu, et al.
Veröffentlicht: (2026)

Dataset Distillation with Neural Characteristic Function: A Minmax Perspective
von: Wang, Shaobo, et al.
Veröffentlicht: (2025)