Buchumschlag

Improving Diversity in Language Models: When Temperature Fails, Change the Loss

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Verine, Alexandre, Bronnec, Florian Le, Zheng, Kunhao, Allauzen, Alexandre, Chevaleyre, Yann, Negrevergne, Benjamin
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Exploring Precision and Recall to assess the quality and diversity of LLMs
von: Bronnec, Florian Le, et al.
Veröffentlicht: (2024)

Improving Discriminator Guidance in Diffusion Models
von: Verine, Alexandre, et al.
Veröffentlicht: (2025)

On the expressivity of bi-Lipschitz normalizing flows
von: Verine, Alexandre, et al.
Veröffentlicht: (2021)

Optimal Budgeted Rejection Sampling for Generative Models
von: Verine, Alexandre, et al.
Veröffentlicht: (2023)

Beyond pass@k: Redundancy-Aware RLVR for Multi-Sample Code Generation
von: Florian, Le Bronnec, et al.
Veröffentlicht: (2026)

Equalized Generative Treatment: Matching f-divergences for Fairness in Generative Models
von: Verine, Alexandre, et al.
Veröffentlicht: (2026)

LOCOST: State-Space Models for Long Document Abstractive Summarization
von: Bronnec, Florian Le, et al.
Veröffentlicht: (2024)

Lattice Climber Attack: Adversarial attacks for randomized mixtures of classifiers
von: Gnecco-Heredia, Lucas, et al.
Veröffentlicht: (2025)

Conditional Distribution Quantization in Machine Learning
von: Delattre, Blaise, et al.
Veröffentlicht: (2025)

Extrapolative Weight Averaging Reveals Correctness-Efficiency Frontiers in Code RL
von: Zheng, Kunhao, et al.
Veröffentlicht: (2026)

SCOPE: A Self-supervised Framework for Improving Faithfulness in Conditional Text Generation
von: Duong, Song, et al.
Veröffentlicht: (2025)

Polynomial Mixing for Efficient Self-supervised Speech Encoders
von: Feillet, Eva, et al.
Veröffentlicht: (2026)

Structured-Sparse Attention for Entity Tracking with Subquadratic Sequence Complexity
von: Zhao, Hangyue, et al.
Veröffentlicht: (2026)

Trading Complexity for Expressivity Through Structured Generalized Linear Token Mixing
von: Fagnou, Erwan, et al.
Veröffentlicht: (2026)

Chain and Causal Attention for Efficient Entity Tracking
von: Fagnou, Erwan, et al.
Veröffentlicht: (2024)

What Makes Large Language Models Reason in (Multi-Turn) Code Generation?
von: Zheng, Kunhao, et al.
Veröffentlicht: (2024)

When In-Distribution Gains Fail: Evaluating Weak-to-Strong Reward Models under Preference Shift
von: Le, Khoi, et al.
Veröffentlicht: (2026)

Unveiling the Role of Randomization in Multiclass Adversarial Classification: Insights from Graph Theory
von: Gnecco-Heredia, Lucas, et al.
Veröffentlicht: (2025)

Hidden State Poisoning Attacks against Mamba-based Language Models
von: Mercier, Alexandre Le, et al.
Veröffentlicht: (2026)

Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models
von: Jhaveri, Ayush Rajesh, et al.
Veröffentlicht: (2026)

Language Models Improve When Pretraining Data Matches Target Tasks
von: Mizrahi, David, et al.
Veröffentlicht: (2025)

The Mosaic Memory of Large Language Models
von: Shilov, Igor, et al.
Veröffentlicht: (2024)

Learning To Sample From Diffusion Models Via Inverse Reinforcement Learning
von: Bourdrez, Constant, et al.
Veröffentlicht: (2026)

Does Representation Matter? Exploring Intermediate Layers in Large Language Models
von: Skean, Oscar, et al.
Veröffentlicht: (2024)

When Chain-of-Thought Fails, the Solution Hides in the Hidden States
von: Mehrafarin, Houman, et al.
Veröffentlicht: (2026)

Markov Constraint as Large Language Model Surrogate
von: Bonlarron, Alexandre, et al.
Veröffentlicht: (2024)

Spectral Norm of Convolutional Layers with Circular and Zero Paddings
von: Delattre, Blaise, et al.
Veröffentlicht: (2024)

Ask Again, Then Fail: Large Language Models' Vacillations in Judgment
von: Xie, Qiming, et al.
Veröffentlicht: (2023)

When Should Models Change Their Minds? Contextual Belief Management in Large Language Models
von: Xu, Haoming, et al.
Veröffentlicht: (2026)

Spectral Collapse in Diffusion Inversion
von: Bourriez, Nicolas, et al.
Veröffentlicht: (2026)

When Refusals Fail: Unstable Safety Mechanisms in Long-Context LLM Agents
von: Hadeliya, Tsimur, et al.
Veröffentlicht: (2025)

When LLM Judge Scores Look Good but Best-of-N Decisions Fail
von: Landesberg, Eddie
Veröffentlicht: (2026)

Adapting Decoder-Based Language Models for Diverse Encoder Downstream Tasks
von: Suganthan, Paul, et al.
Veröffentlicht: (2025)

Progressive-Hint Prompting Improves Reasoning in Large Language Models
von: Zheng, Chuanyang, et al.
Veröffentlicht: (2023)

Cut Your Losses in Large-Vocabulary Language Models
von: Wijmans, Erik, et al.
Veröffentlicht: (2024)

Accelerating Large Language Model Inference with Self-Supervised Early Exits
von: Valade, Florian
Veröffentlicht: (2024)

Improving Context-Aware Preference Modeling for Language Models
von: Pitis, Silviu, et al.
Veröffentlicht: (2024)

When Stability Fails: Hidden Failure Modes Of LLMS in Data-Constrained Scientific Decision-Making
von: Riasat, Nazia
Veröffentlicht: (2026)

Policy Improvement using Language Feedback Models
von: Zhong, Victor, et al.
Veröffentlicht: (2024)

When Correct Isn't Usable: Improving Structured Output Reliability in Small Language Models
von: Galeone, Cosimo, et al.
Veröffentlicht: (2026)