Buchumschlag

The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Goldblum, Micah, Finzi, Marc, Rowan, Keefer, Wilson, Andrew Gordon
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Lie Derivative for Measuring Learned Equivariance
von: Gruver, Nate, et al.
Veröffentlicht: (2022)

Compute Better Spent: Replacing Dense Layers with Structured Matrices
von: Qiu, Shikai, et al.
Veröffentlicht: (2024)

Unlocking Tokens as Data Points for Generalization Bounds on Larger Language Models
von: Lotfi, Sanae, et al.
Veröffentlicht: (2024)

Non-Vacuous Generalization Bounds for Large Language Models
von: Lotfi, Sanae, et al.
Veröffentlicht: (2023)

Searching for Efficient Linear Layers over a Continuous Space of Structured Matrices
von: Potapczynski, Andres, et al.
Veröffentlicht: (2024)

Large Language Models Are Zero-Shot Time Series Forecasters
von: Gruver, Nate, et al.
Veröffentlicht: (2023)

Small Batch Size Training for Language Models: When Vanilla SGD Works, and Why Gradient Accumulation Is Wasteful
von: Marek, Martin, et al.
Veröffentlicht: (2025)

Customizing the Inductive Biases of Softmax Attention using Structured Matrices
von: Kuang, Yilun, et al.
Veröffentlicht: (2025)

Just How Flexible are Neural Networks in Practice?
von: Shwartz-Ziv, Ravid, et al.
Veröffentlicht: (2024)

From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence
von: Finzi, Marc, et al.
Veröffentlicht: (2026)

The Good, The Efficient and the Inductive Biases: Exploring Efficiency in Deep Learning Through the Use of Inductive Biases
von: Romero, David W.
Veröffentlicht: (2024)

A No Free Lunch Theorem for Human-AI Collaboration
von: Peng, Kenny, et al.
Veröffentlicht: (2024)

Geometric Inductive Biases of Deep Networks: The Role of Data and Architecture
von: Movahedi, Sajad, et al.
Veröffentlicht: (2024)

Dynamic Delayed Tree Expansion For Improved Multi-Path Speculative Decoding
von: Thomas, Rahul, et al.
Veröffentlicht: (2026)

Separable Power of Classical and Quantum Learning Protocols Through the Lens of No-Free-Lunch Theorem
von: Wang, Xinbiao, et al.
Veröffentlicht: (2024)

Adaptive Retention & Correction: Test-Time Training for Continual Learning
von: Chen, Haoran, et al.
Veröffentlicht: (2024)

Language Models Need Inductive Biases to Count Inductively
von: Chang, Yingshan, et al.
Veröffentlicht: (2024)

Deep Learning is Not So Mysterious or Different
von: Wilson, Andrew Gordon
Veröffentlicht: (2025)

No-Free-Lunch Theories for Tensor-Network Machine Learning Models
von: Wu, Jing-Chuan, et al.
Veröffentlicht: (2024)

Compute-Optimal LLMs Provably Generalize Better With Scale
von: Finzi, Marc, et al.
Veröffentlicht: (2025)

Instilling Inductive Biases with Subnetworks
von: Zhang, Enyan, et al.
Veröffentlicht: (2023)

Knowing What You Know Is Not Enough: Large Language Model Confidences Don't Align With Their Actions
von: Pal, Arka, et al.
Veröffentlicht: (2025)

Demystifying the Hypercomplex: Inductive Biases in Hypercomplex Deep Learning
von: Comminiello, Danilo, et al.
Veröffentlicht: (2024)

vTune: Verifiable Fine-Tuning for LLMs Through Backdooring
von: Zhang, Eva, et al.
Veröffentlicht: (2024)

Lyapunov Stability Learning with Nonlinear Control via Inductive Biases
von: Lu, Yupu, et al.
Veröffentlicht: (2025)

Celo2: Towards Learned Optimization Free Lunch
von: Moudgil, Abhinav, et al.
Veröffentlicht: (2026)

Transformers Are Born Biased: Structural Inductive Biases at Random Initialization and Their Practical Consequences
von: Li, Siquan, et al.
Veröffentlicht: (2026)

Stealing That Free Lunch: Exposing the Limits of Dyna-Style Reinforcement Learning
von: Barkley, Brett, et al.
Veröffentlicht: (2024)

Catalytic Role Of Noise And Necessity Of Inductive Biases In The Emergence Of Compositional Communication
von: Kuciński, Łukasz, et al.
Veröffentlicht: (2021)

Predicting the Performance of Black-box LLMs through Follow-up Queries
von: Sam, Dylan, et al.
Veröffentlicht: (2025)

Theoretical Analysis of Inductive Biases in Deep Convolutional Networks
von: Wang, Zihao, et al.
Veröffentlicht: (2023)

Characterising the Inductive Biases of Neural Networks on Boolean Data
von: Mingard, Chris, et al.
Veröffentlicht: (2025)

Architectural and Inferential Inductive Biases For Exchangeable Sequence Modeling
von: Mittal, Daksh, et al.
Veröffentlicht: (2025)

Incorporating Inductive Biases to Energy-based Generative Models
von: Li, Yukun, et al.
Veröffentlicht: (2025)

Privacy-Preserving Mechanisms Enable Cheap Verifiable Inference of LLMs
von: Pal, Arka, et al.
Veröffentlicht: (2026)

InfoNCE is a Free Lunch for Semantically guided Graph Contrastive Learning
von: Wang, Zixu, et al.
Veröffentlicht: (2025)

Large Language Models Must Be Taught to Know What They Don't Know
von: Kapoor, Sanyam, et al.
Veröffentlicht: (2024)

Geometric Kolmogorov-Arnold Superposition Theorem
von: Alesiani, Francesco, et al.
Veröffentlicht: (2025)

Stimulus-to-Stimulus Learning in RNNs with Cortical Inductive Biases
von: Vafidis, Pantelis, et al.
Veröffentlicht: (2024)

On Training in Imagination
von: Timor, Nadav, et al.
Veröffentlicht: (2026)