Buchumschlag

Position: Understanding LLMs Requires More Than Statistical Generalization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Reizinger, Patrik, Ujváry, Szilvia, Mészáros, Anna, Kerekes, Anna, Brendel, Wieland, Huszár, Ferenc
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Rule Extrapolation in Language Models: A Study of Compositional Generalization on OOD Prompts
von: Mészáros, Anna, et al.
Veröffentlicht: (2024)

Out-of-distribution Tests Reveal Compositionality in Chess Transformers
von: Mészáros, Anna, et al.
Veröffentlicht: (2025)

Identifiable Exchangeable Mechanisms for Causal Structure and Representation Learning
von: Reizinger, Patrik, et al.
Veröffentlicht: (2024)

Position: An Empirically Grounded Identifiability Theory Will Accelerate Self-Supervised Learning Research
von: Reizinger, Patrik, et al.
Veröffentlicht: (2025)

Estimating Treatment Effects with Independent Component Analysis
von: Reizinger, Patrik, et al.
Veröffentlicht: (2025)

An Interventional Perspective on Identifiability in Gaussian LTI Systems with Independent Component Analysis
von: Rajendran, Goutham, et al.
Veröffentlicht: (2023)

Who Guards the Guardians? The Challenges of Evaluating Identifiability of Learned Representations
von: Joshi, Shruti, et al.
Veröffentlicht: (2026)

Causality is Key for Interpretability Claims to Generalise
von: Joshi, Shruti, et al.
Veröffentlicht: (2026)

Skill Learning via Policy Diversity Yields Identifiable Representations for Reinforcement Learning
von: Reizinger, Patrik, et al.
Veröffentlicht: (2025)

InfoNCE: Identifying the Gap Between Theory and Practice
von: Rusak, Evgenia, et al.
Veröffentlicht: (2024)

Cross-Entropy Is All You Need To Invert the Data Generating Process
von: Reizinger, Patrik, et al.
Veröffentlicht: (2024)

Generation is Required for Data-Efficient Perception
von: Brady, Jack, et al.
Veröffentlicht: (2025)

Learning Beyond Pattern Matching? Assaying Mathematical Understanding in LLMs
von: Guo, Siyuan, et al.
Veröffentlicht: (2024)

Causal de Finetti: On the Identification of Invariant Causal Structure in Exchangeable Data
von: Guo, Siyuan, et al.
Veröffentlicht: (2022)

To smooth a cloud or to pin it down: Guarantees and Insights on Score Matching in Denoising Diffusion Models
von: Vargas, Francisco, et al.
Veröffentlicht: (2023)

Pretraining Frequency Predicts Compositional Generalization of CLIP on Real-World Tasks
von: Wiedemer, Thaddäus, et al.
Veröffentlicht: (2025)

LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws
von: Mayilvahanan, Prasanna, et al.
Veröffentlicht: (2025)

Do Finetti: On Causal Effects for Exchangeable Data
von: Guo, Siyuan, et al.
Veröffentlicht: (2024)

Provable Compositional Generalization for Object-Centric Learning
von: Wiedemer, Thaddäus, et al.
Veröffentlicht: (2023)

From superposition to sparse codes: interpretable representations in neural networks
von: Klindt, David, et al.
Veröffentlicht: (2025)

MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model
von: Mayilvahanan, Prasanna, et al.
Veröffentlicht: (2025)

Beyond the Boundaries of Proximal Policy Optimization
von: Tan, Charlie B., et al.
Veröffentlicht: (2024)

Does CLIP's Generalization Performance Mainly Stem from High Train-Test Similarity?
von: Mayilvahanan, Prasanna, et al.
Veröffentlicht: (2023)

Adversarial Alignment for LLMs Requires Simpler, Reproducible, and More Measurable Objectives
von: Schwinn, Leo, et al.
Veröffentlicht: (2025)

On Prediction-Modelers and Decision-Makers: Why Fairness Requires More Than a Fair Prediction Model
von: Scantamburlo, Teresa, et al.
Veröffentlicht: (2023)

Interaction Asymmetry: A General Principle for Learning Composable Abstractions
von: Brady, Jack, et al.
Veröffentlicht: (2024)

LAION-C: An Out-of-Distribution Benchmark for Web-Scale Vision Models
von: Li, Fanfei, et al.
Veröffentlicht: (2025)

STEP: Structured Training and Evaluation Platform for benchmarking trajectory prediction models
von: Schumann, Julian F., et al.
Veröffentlicht: (2025)

When Models Know More Than They Say: Probing Analogical Reasoning in LLMs
von: McGovern, Hope, et al.
Veröffentlicht: (2026)

DNCs Require More Planning Steps
von: Shamshoum, Yara, et al.
Veröffentlicht: (2024)

From Isolation to Entanglement: When Do Interpretability Methods Identify and Disentangle Known Concepts?
von: Mueller, Aaron, et al.
Veröffentlicht: (2025)

Way More Than the Sum of Their Parts: From Statistical to Structural Mixtures
von: Crutchfield, James P.
Veröffentlicht: (2025)

Why Are Web AI Agents More Vulnerable Than Standalone LLMs? A Security Analysis
von: Chiang, Jeffrey Yang Fan, et al.
Veröffentlicht: (2025)

Towards Understanding Why FixMatch Generalizes Better Than Supervised Learning
von: Li, Jingyang, et al.
Veröffentlicht: (2024)

Multi-Turn Jailbreaks Are Simpler Than They Seem
von: Yang, Xiaoxue, et al.
Veröffentlicht: (2025)

Don't trust your eyes: on the (un)reliability of feature visualizations
von: Geirhos, Robert, et al.
Veröffentlicht: (2023)

ROME: Robust Multi-Modal Density Estimator
von: Mészáros, Anna, et al.
Veröffentlicht: (2024)

The Misclassification Likelihood Matrix: Some Classes Are More Likely To Be Misclassified Than Others
von: Sikar, Daniel, et al.
Veröffentlicht: (2024)

Visual Latents Know More Than They Say: Unsilencing Latent Reasoning in MLLMs
von: Zhang, Xin, et al.
Veröffentlicht: (2026)

Preference is More Than Comparisons: Rethinking Dueling Bandits with Augmented Human Feedback
von: Wang, Shengbo, et al.
Veröffentlicht: (2025)