Buchumschlag

Simple and Effective Masked Diffusion Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sahoo, Subham Sekhar, Arriola, Marianne, Schiff, Yair, Gokaslan, Aaron, Marroquin, Edgar, Chiu, Justin T, Rush, Alexander, Kuleshov, Volodymyr
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Diffusion Duality
von: Sahoo, Subham Sekhar, et al.
Veröffentlicht: (2025)

Encoder-Decoder Diffusion Language Models for Efficient Training and Inference
von: Arriola, Marianne, et al.
Veröffentlicht: (2025)

Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models
von: Arriola, Marianne, et al.
Veröffentlicht: (2025)

Remasking Discrete Diffusion Models with Inference-Time Scaling
von: Wang, Guanghan, et al.
Veröffentlicht: (2025)

Diffusion Models With Learned Adaptive Noise
von: Sahoo, Subham Sekhar, et al.
Veröffentlicht: (2023)

d2: Improving Reasoning in Diffusion Language Models via Trajectory Likelihood Estimation
von: Wang, Guanghan, et al.
Veröffentlicht: (2025)

Simple Guidance Mechanisms for Discrete Diffusion Models
von: Schiff, Yair, et al.
Veröffentlicht: (2024)

Learn from Your Mistakes: Self-Correcting Masked Diffusion Models
von: Schiff, Yair, et al.
Veröffentlicht: (2026)

Scaling Beyond Masked Diffusion Language Models
von: Sahoo, Subham Sekhar, et al.
Veröffentlicht: (2026)

RanDeS: Randomized Delta Superposition for Multi-Model Compression
von: Zhou, Hangyu, et al.
Veröffentlicht: (2025)

Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling
von: Schiff, Yair, et al.
Veröffentlicht: (2024)

Continuous Diffusion Scales Competitively with Discrete Diffusion for Language
von: Yang, Zhihan, et al.
Veröffentlicht: (2026)

Active Preference Inference using Language Models and Probabilistic Reasoning
von: Piriyakulkij, Wasu Top, et al.
Veröffentlicht: (2023)

The GAN is dead; long live the GAN! A Modern GAN Baseline
von: Huang, Yiwen, et al.
Veröffentlicht: (2025)

Mercury: Ultra-Fast Language Models Based on Diffusion
von: Labs, Inception, et al.
Veröffentlicht: (2025)

The Diffusion Duality, Chapter II: $Ψ$-Samplers
von: Deschenaux, Justin, et al.
Veröffentlicht: (2026)

Diffutron: A Masked Diffusion Language Model for Turkish Language
von: Kocabay, Şuayp Talha, et al.
Veröffentlicht: (2026)

Soft-Masked Diffusion Language Models
von: Hersche, Michael, et al.
Veröffentlicht: (2025)

SimpleStrat: Diversifying Language Model Generation with Stratification
von: Wong, Justin, et al.
Veröffentlicht: (2024)

Promises, Outlooks and Challenges of Diffusion Language Modeling
von: Deschenaux, Justin, et al.
Veröffentlicht: (2024)

Backpropagation through Combinatorial Algorithms: Identity with Projection Works
von: Sahoo, Subham Sekhar, et al.
Veröffentlicht: (2022)

On the Reasoning Abilities of Masked Diffusion Language Models
von: Svete, Anej, et al.
Veröffentlicht: (2025)

SPG: Sandwiched Policy Gradient for Masked Diffusion Language Models
von: Wang, Chenyu, et al.
Veröffentlicht: (2025)

Iterative Mask Filling: An Effective Text Augmentation Method Using Masked Language Modeling
von: Kesgin, Himmet Toprak, et al.
Veröffentlicht: (2024)

No Mean Feat: Simple, Strong Baselines for Context Compression
von: Feldman, Yair, et al.
Veröffentlicht: (2025)

dLLM: Simple Diffusion Language Modeling
von: Zhou, Zhanhui, et al.
Veröffentlicht: (2026)

QuIP#: Even Better LLM Quantization with Hadamard Incoherence and Lattice Codebooks
von: Tseng, Albert, et al.
Veröffentlicht: (2024)

ORBIT: Cost-Effective Dataset Curation for Large Language Model Domain Adaptation with an Astronomy Case Study
von: Modesitt, Eric, et al.
Veröffentlicht: (2024)

It's All in The [MASK]: Simple Instruction-Tuning Enables BERT-like Masked Language Models As Generative Classifiers
von: Clavié, Benjamin, et al.
Veröffentlicht: (2025)

Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models
von: Zhong, Linhao, et al.
Veröffentlicht: (2026)

Understanding and Accelerating the Training of Masked Diffusion Language Models
von: Hong, Chunsan, et al.
Veröffentlicht: (2026)

A Simple and Effective Pruning Approach for Large Language Models
von: Sun, Mingjie, et al.
Veröffentlicht: (2023)

Simple Policy Gradients for Reasoning with Diffusion Language Models
von: Zhan, Anthony
Veröffentlicht: (2025)

Entropy-aware Masking for Masked Language Modeling
von: Srinivasagan, Gokul, et al.
Veröffentlicht: (2026)

QuIP: 2-Bit Quantization of Large Language Models With Guarantees
von: Chee, Jerry, et al.
Veröffentlicht: (2023)

Variational Masked Diffusion Models
von: Zhang, Yichi, et al.
Veröffentlicht: (2025)

Contextual Document Embeddings
von: Morris, John X., et al.
Veröffentlicht: (2024)

Inconsistencies in Masked Language Models
von: Young, Tom, et al.
Veröffentlicht: (2022)

Language Bias in LVLMs: From In-Depth Analysis to Simple and Effective Mitigation
von: Chen, Yangneng, et al.
Veröffentlicht: (2026)

ILRR: Inference-Time Steering Method for Masked Diffusion Language Models
von: Avrahami, Eden, et al.
Veröffentlicht: (2026)