Buchumschlag

Systematic Generalization in Language Models Scales with Information Entropy

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wold, Sondre, Charpentier, Lucas Georges Gabriel, Simon, Étienne
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

More Room for Language: Investigating the Effect of Retrieval on Language Models
von: Samuel, David, et al.
Veröffentlicht: (2024)

Compositional Generalization with Grounded Language Models
von: Wold, Sondre, et al.
Veröffentlicht: (2024)

Circuit Compositions: Exploring Modular Structures in Transformer-Based Language Models
von: Mondorf, Philipp, et al.
Veröffentlicht: (2024)

Dual-objective Language Models: Training Efficiency Without Overfitting
von: Samuel, David, et al.
Veröffentlicht: (2025)

Estimating Lexical Complexity from Document-Level Distributions
von: Wold, Sondre, et al.
Veröffentlicht: (2024)

Stronger Re-identification Attacks through Reasoning and Aggregation
von: Charpentier, Lucas Georges Gabriel, et al.
Veröffentlicht: (2025)

Re-identification of De-identified Documents with Autoregressive Infilling
von: Charpentier, Lucas Georges Gabriel, et al.
Veröffentlicht: (2025)

GPT or BERT: why not both?
von: Charpentier, Lucas Georges Gabriel, et al.
Veröffentlicht: (2024)

Small Languages, Big Models: A Study of Continual Training on Languages of Norway
von: Samuel, David, et al.
Veröffentlicht: (2024)

Entropy-aware Masking for Masked Language Modeling
von: Srinivasagan, Gokul, et al.
Veröffentlicht: (2026)

SaulLM-54B & SaulLM-141B: Scaling Up Domain Adaptation for the Legal Domain
von: Colombo, Pierre, et al.
Veröffentlicht: (2024)

Entropy in Large Language Models
von: Scharringhausen, Marco
Veröffentlicht: (2026)

Scaling Open-Weight Large Language Models for Hydropower Regulatory Information Extraction: A Systematic Analysis
von: Yoon, Hong-Jun, et al.
Veröffentlicht: (2025)

ERGO: Entropy-guided Resetting for Generation Optimization in Multi-turn Language Models
von: Khalid, Haziq Mohammad, et al.
Veröffentlicht: (2025)

Post-Hoc Understanding of Metaphor Processing in Decoder-Only Language Models via Conditional Scale Entropy
von: Chakrabarti, Lawhori, et al.
Veröffentlicht: (2026)

Entropy2Vec: Crosslingual Language Modeling Entropy as End-to-End Learnable Language Representations
von: Irawan, Patrick Amadeus, et al.
Veröffentlicht: (2025)

A Systematic Evaluation of Large Language Models for Natural Language Generation Tasks
von: Ni, Xuanfan, et al.
Veröffentlicht: (2024)

EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling
von: Zhang, Shimao, et al.
Veröffentlicht: (2024)

Entropy-Based Data Selection for Language Models
von: Li, Hongming, et al.
Veröffentlicht: (2026)

EntropyCache: Decoded Token Entropy Guided KV Caching for Diffusion Language Models
von: Cheong, Minsoo, et al.
Veröffentlicht: (2026)

RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale
von: LaBash, Beck, et al.
Veröffentlicht: (2024)

Language Arithmetics: Towards Systematic Language Neuron Identification and Manipulation
von: Gurgurov, Daniil, et al.
Veröffentlicht: (2025)

Automatic Generation and Evaluation of Reading Comprehension Test Items with Large Language Models
von: Säuberli, Andreas, et al.
Veröffentlicht: (2024)

Entropy-Based Decoding for Retrieval-Augmented Large Language Models
von: Qiu, Zexuan, et al.
Veröffentlicht: (2024)

A General Method for Detecting Information Generated by Large Language Models
von: Mao, Minjia, et al.
Veröffentlicht: (2025)

Emergent Abilities in Reduced-Scale Generative Language Models
von: Muckatira, Sherin, et al.
Veröffentlicht: (2024)

On the Entropy Calibration of Language Models
von: Cao, Steven, et al.
Veröffentlicht: (2025)

Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization
von: Wang, Ru, et al.
Veröffentlicht: (2025)

Merino: Entropy-driven Design for Generative Language Models on IoT Devices
von: Zhao, Youpeng, et al.
Veröffentlicht: (2024)

Generative Large Language Models in Automated Fact-Checking: A Survey
von: Vykopal, Ivan, et al.
Veröffentlicht: (2024)

Information Flow Routes: Automatically Interpreting Language Models at Scale
von: Ferrando, Javier, et al.
Veröffentlicht: (2024)

Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models
von: Das, Souvik, et al.
Veröffentlicht: (2024)

Combining Entropy and Matrix Nuclear Norm for Enhanced Evaluation of Language Models
von: Vo, James
Veröffentlicht: (2024)

Contextual Gradient Flow Modeling for Large Language Model Generalization in Multi-Scale Feature Spaces
von: Quillington, Daphne, et al.
Veröffentlicht: (2025)

Reassessing Large Language Model Boolean Query Generation for Systematic Reviews
von: Wang, Shuai, et al.
Veröffentlicht: (2025)

A Systematic Analysis on the Temporal Generalization of Language Models in Social Media
von: Ushio, Asahi, et al.
Veröffentlicht: (2024)

Large Language Models for Generative Information Extraction: A Survey
von: Xu, Derong, et al.
Veröffentlicht: (2023)

Algorithmic Language Models with Neurally Compiled Libraries
von: Saldyt, Lucas, et al.
Veröffentlicht: (2024)

Calibrating Verbalized Probabilities for Large Language Models
von: Wang, Cheng, et al.
Veröffentlicht: (2024)

Systematic Framework of Application Methods for Large Language Models in Language Sciences
von: Sun, Kun, et al.
Veröffentlicht: (2025)