Language Models Struggle to Use Representations Learned In-Context
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Lepori, Michael A., Linzen, Tal, Yuan, Ann, Filippova, Katja |
|---|---|
| Format: | Preprint |
| Publié: |
2026
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Evaluating In-Context Translation with Synchronous Context-Free Grammar Transduction
par: Petty, Jackson, et autres
Publié: (2026)
par: Petty, Jackson, et autres
Publié: (2026)
Beyond the Rosetta Stone: Unification Forces in Generalization Dynamics
par: Blum, Carter, et autres
Publié: (2025)
par: Blum, Carter, et autres
Publié: (2025)
Rapid Word Learning Through Meta In-Context Learning
par: Wang, Wentao, et autres
Publié: (2025)
par: Wang, Wentao, et autres
Publié: (2025)
Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models
par: Qiu, Linlu, et autres
Publié: (2025)
par: Qiu, Linlu, et autres
Publié: (2025)
Between Circuits and Chomsky: Pre-pretraining on Formal Languages Imparts Linguistic Biases
par: Hu, Michael Y., et autres
Publié: (2025)
par: Hu, Michael Y., et autres
Publié: (2025)
Always Learning, Always Mixing: Efficient and Simple Data Mixing All The Time
par: Hu, Michael Y., et autres
Publié: (2026)
par: Hu, Michael Y., et autres
Publié: (2026)
Is This Just Fantasy? Language Model Representations Reflect Human Judgments of Event Plausibility
par: Lepori, Michael A., et autres
Publié: (2025)
par: Lepori, Michael A., et autres
Publié: (2025)
A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models
par: Eisape, Tiwalayo, et autres
Publié: (2023)
par: Eisape, Tiwalayo, et autres
Publié: (2023)
Do Language Models' Words Refer?
par: Mandelkern, Matthew, et autres
Publié: (2023)
par: Mandelkern, Matthew, et autres
Publié: (2023)
Who's asking? User personas and the mechanics of latent misalignment
par: Ghandeharioun, Asma, et autres
Publié: (2024)
par: Ghandeharioun, Asma, et autres
Publié: (2024)
Context Structure Reshapes the Representational Geometry of Language Models
par: Hosseini, Eghbal A., et autres
Publié: (2026)
par: Hosseini, Eghbal A., et autres
Publié: (2026)
Think Before You Lie: How Reasoning Leads to Honesty
par: Yuan, Ann, et autres
Publié: (2026)
par: Yuan, Ann, et autres
Publié: (2026)
When Chain of Thought is Necessary, Language Models Struggle to Evade Monitors
par: Emmons, Scott, et autres
Publié: (2025)
par: Emmons, Scott, et autres
Publié: (2025)
Signatures of human-like processing in Transformer forward passes
par: Hu, Jennifer, et autres
Publié: (2025)
par: Hu, Jennifer, et autres
Publié: (2025)
Why Diffusion Language Models Struggle with Truly Parallel (Non-Autoregressive) Decoding?
par: Li, Pengxiang, et autres
Publié: (2026)
par: Li, Pengxiang, et autres
Publié: (2026)
Uncovering Emergent Physics Representations Learned In-Context by Large Language Models
par: Song, Yeongwoo, et autres
Publié: (2025)
par: Song, Yeongwoo, et autres
Publié: (2025)
Context-level Language Modeling by Learning Predictive Context Embeddings
par: Dai, Beiya, et autres
Publié: (2025)
par: Dai, Beiya, et autres
Publié: (2025)
AMO-Bench: Large Language Models Still Struggle in High School Math Competitions
par: An, Shengnan, et autres
Publié: (2025)
par: An, Shengnan, et autres
Publié: (2025)
How Training Data Shapes the Use of Parametric and In-Context Knowledge in Language Models
par: Kim, Minsung, et autres
Publié: (2025)
par: Kim, Minsung, et autres
Publié: (2025)
Signs of Struggle: Spotting Cognitive Distortions across Language and Register
par: Kuber, Abhishek, et autres
Publié: (2025)
par: Kuber, Abhishek, et autres
Publié: (2025)
Long-context LLMs Struggle with Long In-context Learning
par: Li, Tianle, et autres
Publié: (2024)
par: Li, Tianle, et autres
Publié: (2024)
Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models
par: Xu, Ningyu, et autres
Publié: (2026)
par: Xu, Ningyu, et autres
Publié: (2026)
ContextGuard: Structured Self-Auditing for Context Learning in Language Models
par: Jin, Hongbo, et autres
Publié: (2026)
par: Jin, Hongbo, et autres
Publié: (2026)
Active Use of Latent Constituency Representation in both Humans and Large Language Models
par: Liu, Wei, et autres
Publié: (2024)
par: Liu, Wei, et autres
Publié: (2024)
Leveraging In-Context Learning for Language Model Agents
par: Gupta, Shivanshu, et autres
Publié: (2025)
par: Gupta, Shivanshu, et autres
Publié: (2025)
Transformers Struggle to Learn to Search
par: Saparov, Abulhair, et autres
Publié: (2024)
par: Saparov, Abulhair, et autres
Publié: (2024)
Entailment Semantics Can Be Extracted from an Ideal Language Model
par: Merrill, William, et autres
Publié: (2022)
par: Merrill, William, et autres
Publié: (2022)
All Code, No Thought: Current Language Models Struggle to Reason in Ciphered Language
par: Guo, Shiyuan, et autres
Publié: (2025)
par: Guo, Shiyuan, et autres
Publié: (2025)
Customizing Language Model Responses with Contrastive In-Context Learning
par: Gao, Xiang, et autres
Publié: (2024)
par: Gao, Xiang, et autres
Publié: (2024)
Language Models for Text Classification: Is In-Context Learning Enough?
par: Edwards, Aleksandra, et autres
Publié: (2024)
par: Edwards, Aleksandra, et autres
Publié: (2024)
Residual Context Diffusion Language Models
par: Hu, Yuezhou, et autres
Publié: (2026)
par: Hu, Yuezhou, et autres
Publié: (2026)
Lived Experience Not Found: LLMs Struggle to Align with Experts on Addressing Adverse Drug Reactions from Psychiatric Medication Use
par: Chandra, Mohit, et autres
Publié: (2024)
par: Chandra, Mohit, et autres
Publié: (2024)
In Context Learning and Reasoning for Symbolic Regression with Large Language Models
par: Sharlin, Samiha, et autres
Publié: (2024)
par: Sharlin, Samiha, et autres
Publié: (2024)
Enhancing Robustness of Retrieval-Augmented Language Models with In-Context Learning
par: Park, Seong-Il, et autres
Publié: (2024)
par: Park, Seong-Il, et autres
Publié: (2024)
Large Reasoning Models Struggle to Transfer Parametric Knowledge Across Scripts
par: Bandarkar, Lucas, et autres
Publié: (2026)
par: Bandarkar, Lucas, et autres
Publié: (2026)
ICLR: In-Context Learning of Representations
par: Park, Core Francisco, et autres
Publié: (2024)
par: Park, Core Francisco, et autres
Publié: (2024)
Large Language Models Struggle in Token-Level Clinical Named Entity Recognition
par: Lu, Qiuhao, et autres
Publié: (2024)
par: Lu, Qiuhao, et autres
Publié: (2024)
Revisiting In-Context Learning with Long Context Language Models
par: Baek, Jinheon, et autres
Publié: (2024)
par: Baek, Jinheon, et autres
Publié: (2024)
Steering Multimodal Large Language Models Decoding for Context-Aware Safety
par: Liu, Zheyuan, et autres
Publié: (2025)
par: Liu, Zheyuan, et autres
Publié: (2025)
Pre-Calc: Learning to Use the Calculator Improves Numeracy in Language Models
par: Veerendranath, Vishruth, et autres
Publié: (2024)
par: Veerendranath, Vishruth, et autres
Publié: (2024)
Documents similaires
-
Evaluating In-Context Translation with Synchronous Context-Free Grammar Transduction
par: Petty, Jackson, et autres
Publié: (2026) -
Beyond the Rosetta Stone: Unification Forces in Generalization Dynamics
par: Blum, Carter, et autres
Publié: (2025) -
Rapid Word Learning Through Meta In-Context Learning
par: Wang, Wentao, et autres
Publié: (2025) -
Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models
par: Qiu, Linlu, et autres
Publié: (2025) -
Between Circuits and Chomsky: Pre-pretraining on Formal Languages Imparts Linguistic Biases
par: Hu, Michael Y., et autres
Publié: (2025)