Buchumschlag

Test-Time Training Provably Improves Transformers as In-context Learners

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gozeten, Halil Alperen, Ildiz, M. Emrullah, Zhang, Xuechen, Soltanolkotabi, Mahdi, Mondelli, Marco, Oymak, Samet
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

High-dimensional Analysis of Knowledge Distillation: Weak-to-Strong Generalization and Scaling Laws
von: Ildiz, M. Emrullah, et al.
Veröffentlicht: (2024)

Evolutionary Multi-Task Optimization for LLM-Guided Program Discovery
von: Gozeten, Halil Alperen, et al.
Veröffentlicht: (2026)

Learning to Correct: Calibrated Reinforcement Learning for Multi-Attempt Chain-of-Thought
von: Ildiz, Muhammed Emrullah, et al.
Veröffentlicht: (2026)

Continuous Chain of Thought Enables Parallel Exploration and Reasoning
von: Gozeten, Halil Alperen, et al.
Veröffentlicht: (2025)

TimePFN: Effective Multivariate Time Series Forecasting with Synthetic Data
von: Taga, Ege Onur, et al.
Veröffentlicht: (2025)

Attention with Trained Embeddings Provably Selects Important Tokens
von: Wu, Diyuan, et al.
Veröffentlicht: (2025)

Retrieval Augmented Time Series Forecasting
von: Tire, Kutay, et al.
Veröffentlicht: (2024)

From Self-Attention to Markov Models: Unveiling the Dynamics of Generative Transformers
von: Ildiz, M. Emrullah, et al.
Veröffentlicht: (2024)

Mechanics of Next Token Prediction with Self-Attention
von: Li, Yingcong, et al.
Veröffentlicht: (2024)

Latent Chain-of-Thought Improves Structured-Data Transformers
von: Dudley, Carson, et al.
Veröffentlicht: (2026)

On the Power of Convolution Augmented Transformer
von: Li, Mingchen, et al.
Veröffentlicht: (2024)

Full-Batch Gradient Descent Outperforms One-Pass SGD: Sample Complexity Separation in Single-Index Learning
von: Kovačević, Filip, et al.
Veröffentlicht: (2026)

Selective Attention: Enhancing Transformer through Principled Context Control
von: Zhang, Xuechen, et al.
Veröffentlicht: (2024)

Class-attribute Priors: Adapting Optimization to Heterogeneity and Fairness Objective
von: Zhang, Xuechen, et al.
Veröffentlicht: (2024)

On the Generalization Properties of Selective State-Space Models for Filtering Tasks for Unknown Systems
von: Tang, Alex, et al.
Veröffentlicht: (2026)

BREAD: Branched Rollouts from Expert Anchors Bridge SFT & RL for Reasoning
von: Zhang, Xuechen, et al.
Veröffentlicht: (2025)

Making Small Language Models Efficient Reasoners: Intervention, Supervision, Reinforcement
von: Zhang, Xuechen, et al.
Veröffentlicht: (2025)

SmartChunk Retrieval: Query-Aware Chunk Compression with Planning for Efficient Document RAG
von: Zhang, Xuechen, et al.
Veröffentlicht: (2025)

Learning to Bet for Horizon-Aware Anytime-Valid Testing
von: Taga, Ege Onur, et al.
Veröffentlicht: (2026)

VSPO: Vector-Steered Policy Optimization for Behavioral Control
von: Zhang, Xuechen, et al.
Veröffentlicht: (2026)

When and How Unlabeled Data Provably Improve In-Context Learning
von: Li, Yingcong, et al.
Veröffentlicht: (2025)

Wide Neural Networks Trained with Weight Decay Provably Exhibit Neural Collapse
von: Jacot, Arthur, et al.
Veröffentlicht: (2024)

Fine-grained Analysis of In-context Linear Estimation: Data, Architecture, and Beyond
von: Li, Yingcong, et al.
Veröffentlicht: (2024)

Covariance-Aware Transformers for Quadratic Programming and Decision Making
von: Tire, Kutay, et al.
Veröffentlicht: (2026)

Training Dynamics of Softmax Self-Attention: Fast Global Convergence via Preconditioning
von: Goel, Gautam, et al.
Veröffentlicht: (2026)

Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks
von: Collins, Liam, et al.
Veröffentlicht: (2023)

Plug-and-Play Transformer Modules for Test-Time Adaptation
von: Chang, Xiangyu, et al.
Veröffentlicht: (2024)

ATHENA: Adaptive Test-Time Steering for Improving Count Fidelity in Diffusion Models
von: Sepehri, Mohammad Shahab, et al.
Veröffentlicht: (2026)

Can Transformers Learn Optimal Filtering for Unknown Systems?
von: Balim, Haldun, et al.
Veröffentlicht: (2023)

Efficient Contextual LLM Cascades through Budget-Constrained Policy Learning
von: Zhang, Xuechen, et al.
Veröffentlicht: (2024)

Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth
von: Kögler, Kevin, et al.
Veröffentlicht: (2024)

Learning to Recall with Transformers Beyond Orthogonal Embeddings
von: Vural, Nuri Mert, et al.
Veröffentlicht: (2026)

Universal Lower Bounds and Optimal Rates: Achieving Minimax Clustering Error in Sub-Exponential Mixture Models
von: Dreveton, Maximilien, et al.
Veröffentlicht: (2024)

Transformers as Support Vector Machines
von: Tarzanagh, Davoud Ataee, et al.
Veröffentlicht: (2023)

Asymmetric Prompt Weighting for Reinforcement Learning with Verifiable Rewards
von: Heckel, Reinhard, et al.
Veröffentlicht: (2026)

Theoretical Insights into Overparameterized Models in Multi-Task and Replay-Based Continual Learning
von: Banayeeanzade, Amin, et al.
Veröffentlicht: (2024)

Asymptotic Study of In-context Learning with Random Transformers through Equivalent Models
von: Demir, Samet, et al.
Veröffentlicht: (2025)

Gating is Weighting: Understanding Gated Linear Attention through In-context Learning
von: Li, Yingcong, et al.
Veröffentlicht: (2025)

In-Context Learning Under Regime Change
von: Dudley, Carson, et al.
Veröffentlicht: (2026)

Transformers are Universal In-context Learners
von: Furuya, Takashi, et al.
Veröffentlicht: (2024)