Buchumschlag

Language Models Need Inductive Biases to Count Inductively

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chang, Yingshan, Bisk, Yonatan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Learning Model Successors
von: Chang, Yingshan, et al.
Veröffentlicht: (2025)

Tools Fail: Detecting Silent Errors in Faulty Tools
von: Sun, Jimin, et al.
Veröffentlicht: (2024)

Inductive Biases for Zero-shot Systematic Generalization in Language-informed Reinforcement Learning
von: Dijujin, Negin Hashemi, et al.
Veröffentlicht: (2025)

Catalytic Role Of Noise And Necessity Of Inductive Biases In The Emergence Of Compositional Communication
von: Kuciński, Łukasz, et al.
Veröffentlicht: (2021)

Hypothesis Search: Inductive Reasoning with Language Models
von: Wang, Ruocheng, et al.
Veröffentlicht: (2023)

Structural Abstraction as an Inductive Bias for Non-Stationary Language Model Training
von: Rahmati, Elnaz, et al.
Veröffentlicht: (2026)

The Role of Deductive and Inductive Reasoning in Large Language Models
von: Cai, Chengkun, et al.
Veröffentlicht: (2024)

Hypothesis Generation and Inductive Inference in Children and Language Models
von: Qin, Jeffrey, et al.
Veröffentlicht: (2026)

Energy Considerations of Large Language Model Inference and Efficiency Optimizations
von: Fernandez, Jared, et al.
Veröffentlicht: (2025)

Energy-Gated Attention and Wavelet Positional Encoding: Complementary Inductive Biases for Transformer Attention
von: Zeris, Athanasios
Veröffentlicht: (2026)

Do Robot Snakes Dream like Electric Sheep? Investigating the Effects of Architectural Inductive Biases on Hallucination
von: Huang, Jerry, et al.
Veröffentlicht: (2024)

How Well Can a Long Sequence Model Model Long Sequences? Comparing Architechtural Inductive Biases on Long-Context Abilities
von: Huang, Jerry
Veröffentlicht: (2024)

Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation
von: Chang, Yingshan, et al.
Veröffentlicht: (2024)

On the Inductive Bias of Stacking Towards Improving Reasoning
von: Saunshi, Nikunj, et al.
Veröffentlicht: (2024)

Looking beyond the next token
von: Thankaraj, Abitha, et al.
Veröffentlicht: (2025)

Mars: Situated Inductive Reasoning in an Open-World Environment
von: Tang, Xiaojuan, et al.
Veröffentlicht: (2024)

Data-Driven Calibration of Prediction Sets in Large Vision-Language Models Based on Inductive Conformal Prediction
von: Ye, Yuanchang, et al.
Veröffentlicht: (2025)

Do We Always Need the Simplicity Bias? Looking for Optimal Inductive Biases in the Wild
von: Teney, Damien, et al.
Veröffentlicht: (2025)

The Good, The Efficient and the Inductive Biases: Exploring Efficiency in Deep Learning Through the Use of Inductive Biases
von: Romero, David W.
Veröffentlicht: (2024)

Training the Untrainable: Introducing Inductive Bias via Representational Alignment
von: Subramaniam, Vighnesh, et al.
Veröffentlicht: (2024)

Inductive Entity Representations from Text via Link Prediction
von: Daza, Daniel, et al.
Veröffentlicht: (2020)

Priors in Time: Missing Inductive Biases for Language Model Interpretability
von: Lubana, Ekdeep Singh, et al.
Veröffentlicht: (2025)

Energy-Gated Attention: Spectral Salience as an Inductive Bias for Transformer Attention
von: Zeris, Athanasios
Veröffentlicht: (2026)

Instilling Inductive Biases with Subnetworks
von: Zhang, Enyan, et al.
Veröffentlicht: (2023)

CodeARC: Benchmarking Reasoning Capabilities of LLM Agents for Inductive Program Synthesis
von: Wei, Anjiang, et al.
Veröffentlicht: (2025)

Stimulus-to-Stimulus Learning in RNNs with Cortical Inductive Biases
von: Vafidis, Pantelis, et al.
Veröffentlicht: (2024)

Self-Regulation and Requesting Interventions
von: Min, So Yeon, et al.
Veröffentlicht: (2025)

S$^2$DN: Learning to Denoise Unconvincing Knowledge for Inductive Knowledge Graph Completion
von: Ma, Tengfei, et al.
Veröffentlicht: (2024)

Causality $\neq$ Decodability, and Vice Versa: Lessons from Interpreting Counting ViTs
von: Huang, Lianghuan, et al.
Veröffentlicht: (2025)

Architectural and Inferential Inductive Biases For Exchangeable Sequence Modeling
von: Mittal, Daksh, et al.
Veröffentlicht: (2025)

Incorporating Inductive Biases to Energy-based Generative Models
von: Li, Yukun, et al.
Veröffentlicht: (2025)

Tripod: Three Complementary Inductive Biases for Disentangled Representation Learning
von: Hsu, Kyle, et al.
Veröffentlicht: (2024)

Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs
von: Betley, Jan, et al.
Veröffentlicht: (2025)

Double Equivariance for Inductive Link Prediction for Both New Nodes and New Relation Types
von: Zhou, Jincheng, et al.
Veröffentlicht: (2023)

Shaping Shared Languages: Human and Large Language Models' Inductive Biases in Emergent Communication
von: Kouwenhoven, Tom, et al.
Veröffentlicht: (2025)

Confronting Reward Overoptimization for Diffusion Models: A Perspective of Inductive and Primacy Biases
von: Zhang, Ziyi, et al.
Veröffentlicht: (2024)

Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs
von: Itzhak, Itay, et al.
Veröffentlicht: (2025)

Leveraging Geometric Visual Illusions as Perceptual Inductive Biases for Vision Models
von: Yang, Haobo, et al.
Veröffentlicht: (2025)

Gradient Localization Improves Lifelong Pretraining of Language Models
von: Fernandez, Jared, et al.
Veröffentlicht: (2024)

Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases
von: Meo, Cristian, et al.
Veröffentlicht: (2024)