Buchumschlag

What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Vafa, Keyon, Chang, Peter G., Rambachan, Ashesh, Mullainathan, Sendhil
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Do Large Language Models Perform the Way People Expect? Measuring the Human Generalization Function
von: Vafa, Keyon, et al.
Veröffentlicht: (2024)

Evaluating the World Model Implicit in a Generative Model
von: Vafa, Keyon, et al.
Veröffentlicht: (2024)

What's Producible May Not Be Reachable: Measuring the Steerability of Generative Models
von: Vafa, Keyon, et al.
Veröffentlicht: (2025)

Large Language Models: An Applied Econometric Framework
von: Ludwig, Jens, et al.
Veröffentlicht: (2024)

Potemkin Understanding in Large Language Models
von: Mancoridis, Marina, et al.
Veröffentlicht: (2025)

From Predictive Algorithms to Automatic Generation of Anomalies
von: Mullainathan, Sendhil, et al.
Veröffentlicht: (2024)

Language Generation in the Limit
von: Kleinberg, Jon, et al.
Veröffentlicht: (2024)

Estimating Wage Disparities Using Foundation Models
von: Vafa, Keyon, et al.
Veröffentlicht: (2024)

Eliminating Inductive Bias in Reward Models with Information-Theoretic Guidance
von: Li, Zhuo, et al.
Veröffentlicht: (2025)

Shaping Inductive Bias in Diffusion Models through Frequency-Based Noise Control
von: Jiralerspong, Thomas, et al.
Veröffentlicht: (2025)

HYPER: A Foundation Model for Inductive Link Prediction with Knowledge Hypergraphs
von: Huang, Xingyue, et al.
Veröffentlicht: (2025)

What Structural Inductive Bias Helps Transformers Reason Over Knowledge Graphs? A Study with Tabula RASA
von: Petersen, Jonas, et al.
Veröffentlicht: (2026)

Disentangling Granularity: An Implicit Inductive Bias in Factorized VAEs
von: Chen, Zihao, et al.
Veröffentlicht: (2025)

Soft Geometric Inductive Bias for Object Centric Dynamics
von: Linander, Hampus, et al.
Veröffentlicht: (2025)

Compositional Sparsity as an Inductive Bias for Neural Architecture Design
von: Lin, Hongyu, et al.
Veröffentlicht: (2026)

Structured Diffusion Bridges: Inductive Bias for Denoising Diffusion Bridges
von: Kosman, Eitan, et al.
Veröffentlicht: (2026)

A Relational Inductive Bias for Dimensional Abstraction in Neural Networks
von: Campbell, Declan, et al.
Veröffentlicht: (2024)

Aperiodic and Low-Frequency Spectral Bias in Reconstruction based EEG Foundation Models
von: Kommineni, Aditya, et al.
Veröffentlicht: (2026)

MechPert: Mechanistic Consensus as an Inductive Bias for Unseen Perturbation Prediction
von: Martell, Marc Boubnovski, et al.
Veröffentlicht: (2026)

Critical Thinking: Which Kinds of Complexity Govern Optimal Reasoning Length?
von: Lee, Celine, et al.
Veröffentlicht: (2025)

VectorFit : Adaptive Singular & Bias Vector Fine-Tuning of Pre-trained Foundation Models
von: Hegde, Suhas G, et al.
Veröffentlicht: (2025)

CAREER: A Foundation Model for Labor Sequence Data
von: Vafa, Keyon, et al.
Veröffentlicht: (2022)

On the Inductive Bias of Stacking Towards Improving Reasoning
von: Saunshi, Nikunj, et al.
Veröffentlicht: (2024)

Character-level Tokenizations as Powerful Inductive Biases for RNA Foundational Models
von: Morales-Pastor, Adrián, et al.
Veröffentlicht: (2024)

Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias
von: Li, Chao, et al.
Veröffentlicht: (2025)

Teasing Apart Architecture and Initial Weights as Sources of Inductive Bias in Neural Networks
von: Bencomo, Gianluca, et al.
Veröffentlicht: (2025)

Small Models, Strong Priors: Architectural Inductive Bias for Parameter-Efficient Neural PDE Solvers
von: Sankaran, Shyam, et al.
Veröffentlicht: (2026)

From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers
von: Liu, Ziming, et al.
Veröffentlicht: (2026)

Diffusion Transformers as Open-World Spatiotemporal Foundation Models
von: Yuan, Yuan, et al.
Veröffentlicht: (2024)

Improving World Models using Deep Supervision with Linear Probes
von: Zahorodnii, Andrii
Veröffentlicht: (2025)

Found in the Middle: Calibrating Positional Attention Bias Improves Long Context Utilization
von: Hsieh, Cheng-Yu, et al.
Veröffentlicht: (2024)

Synthetic Data Aided Federated Learning Using Foundation Models
von: Abacha, Fatima, et al.
Veröffentlicht: (2024)

Training the Untrainable: Introducing Inductive Bias via Representational Alignment
von: Subramaniam, Vighnesh, et al.
Veröffentlicht: (2024)

An Attentive Inductive Bias for Sequential Recommendation beyond the Self-Attention
von: Shin, Yehjin, et al.
Veröffentlicht: (2023)

Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding
von: Rambachan, Ashesh, et al.
Veröffentlicht: (2022)

Bidirectional Generation of Structure and Properties Through a Single Molecular Foundation Model
von: Chang, Jinho, et al.
Veröffentlicht: (2022)

Uncovering Bias in Foundation Models: Impact, Testing, Harm, and Mitigation
von: Sun, Shuzhou, et al.
Veröffentlicht: (2025)

Probing the Impact of Scale on Data-Efficient, Generalist Transformer World Models for Atari
von: Kim, Jooyeon
Veröffentlicht: (2026)

Rethinking Distribution Shifts: Empirical Analysis and Inductive Modeling for Tabular Data
von: Wang, Tianyu, et al.
Veröffentlicht: (2023)

Inductive Models for Artificial Intelligence Systems are Insufficient without Good Explanations
von: Habaraduwa, Udesh
Veröffentlicht: (2024)