Buchumschlag

Entropy in Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Scharringhausen, Marco
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Entropy-Based Decoding for Retrieval-Augmented Large Language Models
von: Qiu, Zexuan, et al.
Veröffentlicht: (2024)

Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models
von: Das, Souvik, et al.
Veröffentlicht: (2024)

Entropy-Based Block Pruning for Efficient Large Language Models
von: Yang, Liangwei, et al.
Veröffentlicht: (2025)

EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling
von: Zhang, Shimao, et al.
Veröffentlicht: (2024)

Entropy2Vec: Crosslingual Language Modeling Entropy as End-to-End Learnable Language Representations
von: Irawan, Patrick Amadeus, et al.
Veröffentlicht: (2025)

Fine-Tuning Large Language Models to Appropriately Abstain with Semantic Entropy
von: Tjandra, Benedict Aaron, et al.
Veröffentlicht: (2024)

Automating Turkish Educational Quiz Generation Using Large Language Models
von: Zeinalipour, Kamyar, et al.
Veröffentlicht: (2024)

Reasoning Capabilities and Invariability of Large Language Models
von: Raganato, Alessandro, et al.
Veröffentlicht: (2025)

Entropy-Based Data Selection for Language Models
von: Li, Hongming, et al.
Veröffentlicht: (2026)

EntropyCache: Decoded Token Entropy Guided KV Caching for Diffusion Language Models
von: Cheong, Minsoo, et al.
Veröffentlicht: (2026)

SLMEval: Entropy-Based Calibration for Human-Aligned Evaluation of Large Language Models
von: Daynauth, Roland, et al.
Veröffentlicht: (2025)

Comparison of Large Language Models for Deployment Requirements
von: Yaman, Alper, et al.
Veröffentlicht: (2025)

Systematic Generalization in Language Models Scales with Information Entropy
von: Wold, Sondre, et al.
Veröffentlicht: (2025)

Improve Decoding Factuality by Token-wise Cross Layer Entropy of Large Language Models
von: Wu, Jialiang, et al.
Veröffentlicht: (2025)

MiLe Loss: a New Entropy-Weighed Loss for Mitigating the Bias of Learning Difficulties in Large Language Models
von: Su, Zhenpeng, et al.
Veröffentlicht: (2023)

Speech Translation with Speech Foundation Models and Large Language Models: What is There and What is Missing?
von: Gaido, Marco, et al.
Veröffentlicht: (2024)

Evalita-LLM: Benchmarking Large Language Models on Italian
von: Magnini, Bernardo, et al.
Veröffentlicht: (2025)

On the Entropy Calibration of Language Models
von: Cao, Steven, et al.
Veröffentlicht: (2025)

Entropy-aware Masking for Masked Language Modeling
von: Srinivasagan, Gokul, et al.
Veröffentlicht: (2026)

Reducing Large Language Model Safety Risks in Women's Health using Semantic Entropy
von: Penny-Dimri, Jahan C., et al.
Veröffentlicht: (2025)

Combining Entropy and Matrix Nuclear Norm for Enhanced Evaluation of Language Models
von: Vo, James
Veröffentlicht: (2024)

Enhancing Ethical Explanations of Large Language Models through Iterative Symbolic Refinement
von: Quan, Xin, et al.
Veröffentlicht: (2024)

Human-Inspired Learning for Large Language Models via Obvious Record and Maximum-Entropy Method Discovery
von: Su, Hong
Veröffentlicht: (2025)

SylloBio-NLI: Evaluating Large Language Models on Biomedical Syllogistic Reasoning
von: Wysocka, Magdalena, et al.
Veröffentlicht: (2024)

Controlling Equational Reasoning in Large Language Models with Prompt Interventions
von: Meadows, Jordan, et al.
Veröffentlicht: (2023)

IntentGPT: Few-shot Intent Discovery with Large Language Models
von: Rodriguez, Juan A., et al.
Veröffentlicht: (2024)

Swordsman: Entropy-Driven Adaptive Block Partition for Efficient Diffusion Language Models
von: Zhang, Yu, et al.
Veröffentlicht: (2026)

ERGO: Entropy-guided Resetting for Generation Optimization in Multi-turn Language Models
von: Khalid, Haziq Mohammad, et al.
Veröffentlicht: (2025)

Inv-Entropy: A Fully Probabilistic Framework for Uncertainty Quantification in Language Models
von: Song, Haoyi, et al.
Veröffentlicht: (2025)

Task-Agnostic Language Model Watermarking via High Entropy Passthrough Layers
von: Masrani, Vaden, et al.
Veröffentlicht: (2024)

Investigating Large Language Models' Linguistic Abilities for Text Preprocessing
von: Braga, Marco, et al.
Veröffentlicht: (2025)

Rethinking Entropy Regularization in Large Reasoning Models
von: Jiang, Yuxian, et al.
Veröffentlicht: (2025)

Token-Level Entropy Reveals Demographic Disparities in Language Models
von: Lee, Messi H. J.
Veröffentlicht: (2025)

A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine
von: Xiao, Hanguang, et al.
Veröffentlicht: (2024)

Comparing Human and Large Language Model Interpretation of Implicit Information
von: De Santis, Antonio, et al.
Veröffentlicht: (2026)

Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data
von: Wang, Jiapeng, et al.
Veröffentlicht: (2025)

Reverse Modeling in Large Language Models
von: Yu, Sicheng, et al.
Veröffentlicht: (2024)

A Superalignment Framework in Autonomous Driving with Large Language Models
von: Kong, Xiangrui, et al.
Veröffentlicht: (2024)

Language Acquisition Device in Large Language Models
von: Mita, Masato, et al.
Veröffentlicht: (2026)

Language Surgery in Multilingual Large Language Models
von: Lopo, Joanito Agili, et al.
Veröffentlicht: (2025)