Buchumschlag

Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ziv, Imry, Lan, Nur, Chemla, Emmanuel
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Large Language Models as Proxies for Theories of Human Linguistic Cognition
von: Ziv, Imry, et al.
Veröffentlicht: (2025)

Bridging the Empirical-Theoretical Gap in Neural Network Formal Language Learning Using Minimum Description Length
von: Lan, Nur, et al.
Veröffentlicht: (2024)

What Makes Two Language Models Think Alike?
von: Salle, Jeanne, et al.
Veröffentlicht: (2024)

A Minimum Description Length Approach to Regularization in Neural Networks
von: Abudy, Matan, et al.
Veröffentlicht: (2025)

Unnatural Languages Are Not Bugs but Features for LLMs
von: Duan, Keyu, et al.
Veröffentlicht: (2025)

No Such Thing as a General Learner: Language models and their dual optimization
von: Chemla, Emmanuel, et al.
Veröffentlicht: (2024)

Shades of Zero: Distinguishing Impossibility from Inconceivability
von: Hu, Jennifer, et al.
Veröffentlicht: (2025)

Improving Spoken Language Modeling with Phoneme Classification: A Simple Fine-tuning Approach
von: Poli, Maxime, et al.
Veröffentlicht: (2024)

Metric Learning Encoding Models: A Multivariate Framework for Interpreting Neural Representations
von: Jalouzot, Louis, et al.
Veröffentlicht: (2024)

Probing Syntax in Large Language Models: Successes and Remaining Challenges
von: Diego-Simón, Pablo J., et al.
Veröffentlicht: (2025)

Polar probe linearly decodes semantic structures from LLMs
von: Diego-Simón, Pablo J., et al.
Veröffentlicht: (2026)

fastabx: A library for efficient computation of ABX discriminability
von: Poli, Maxime, et al.
Veröffentlicht: (2025)

The Impact of Syntactic and Semantic Proximity on Machine Translation with Back-Translation
von: Guerin, Nicolas, et al.
Veröffentlicht: (2024)

A Neural Model for Word Repetition
von: Dager, Daniel, et al.
Veröffentlicht: (2025)

How LLMs Fail to Support Fact-Checking
von: Proma, Adiba Mahbub, et al.
Veröffentlicht: (2025)

The Impossibility of Fair LLMs
von: Anthis, Jacy, et al.
Veröffentlicht: (2024)

Rolling the DICE on Idiomaticity: How LLMs Fail to Grasp Context
von: Mi, Maggie, et al.
Veröffentlicht: (2024)

Mission: Impossible Language Models
von: Kallini, Julie, et al.
Veröffentlicht: (2024)

Learning from Mistakes: Self-correct Adversarial Training for Chinese Unnatural Text Correction
von: Feng, Xuan, et al.
Veröffentlicht: (2024)

Why LLMs Fail at Causal Discovery and How Interventional Agents Escape
von: Roy, Amartya, et al.
Veröffentlicht: (2026)

When Attention Collapses: How Degenerate Layers in LLMs Enable Smaller, Stronger Models
von: Sanyal, Sunny, et al.
Veröffentlicht: (2024)

Why Gaussian Diffusion Models Fail on Discrete Data and How to Prevent It?
von: Shabalin, Alexander, et al.
Veröffentlicht: (2026)

Why We Need World Models for AGI: Where LLMs Fail and How World Models May Outperform
von: Alaswad, Feisal, et al.
Veröffentlicht: (2026)

ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases
von: Zhong, Ziqian, et al.
Veröffentlicht: (2025)

Compositional Bias Control in Large Language Models: Preference Learning Fails, Supervision Succeeds
von: Mahesh, Atij
Veröffentlicht: (2025)

The Validation Gap: A Mechanistic Analysis of How Language Models Compute Arithmetic but Fail to Validate It
von: Bertolazzi, Leonardo, et al.
Veröffentlicht: (2025)

Mission Impossible: A Statistical Perspective on Jailbreaking LLMs
von: Su, Jingtong, et al.
Veröffentlicht: (2024)

Tracking the Limits of Knowledge Propagation: How LLMs Fail at Multi-Step Reasoning with Conflicting Knowledge
von: Feng, Yiyang, et al.
Veröffentlicht: (2026)

Language Models Fail to Introspect About Their Knowledge of Language
von: Song, Siyuan, et al.
Veröffentlicht: (2025)

Lost in the Noise: How Reasoning Models Fail with Contextual Distractors
von: Lee, Seongyun, et al.
Veröffentlicht: (2026)

On the Fundamental Impossibility of Hallucination Control in Large Language Models
von: Karpowicz, Michał P.
Veröffentlicht: (2025)

A polar coordinate system represents syntax in large language models
von: Diego-Simón, Pablo, et al.
Veröffentlicht: (2024)

Large Language Models and Impossible Language Acquisition: "False Promise" or an Overturn of our Current Perspective towards AI
von: Wang, Ziyan, et al.
Veröffentlicht: (2026)

Distinguishing the Knowable from the Unknowable with Language Models
von: Ahdritz, Gustaf, et al.
Veröffentlicht: (2024)

When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs
von: Li, Xiaomin, et al.
Veröffentlicht: (2025)

Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges
von: Ahsan, Hiba, et al.
Veröffentlicht: (2023)

Why Supervised Fine-Tuning Fails to Learn: A Systematic Study of Incomplete Learning in Large Language Models
von: Xue, Chao, et al.
Veröffentlicht: (2026)

From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning
von: Shani, Chen, et al.
Veröffentlicht: (2025)

Mission Impossible: Feedback-Guided Dynamic Interactive Planning for Improving Reasoning on LLMs
von: Yan, Dong, et al.
Veröffentlicht: (2025)

DiscoPhon: Benchmarking the Unsupervised Discovery of Phoneme Inventories With Discrete Speech Units
von: Poli, Maxime, et al.
Veröffentlicht: (2026)