Buchumschlag

Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bu, Dake, Huang, Wei, Han, Andi, Nitanda, Atsushi, Wong, Hau-San, Zhang, Qingfu, Suzuki, Taiji
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning
von: Bu, Dake, et al.
Veröffentlicht: (2024)

Provable In-Context Vector Arithmetic via Retrieving Task Concepts
von: Bu, Dake, et al.
Veröffentlicht: (2025)

Post-Training as Reweighting: A Stochastic View of Reasoning Trajectories in Language Models
von: Bu, Dake, et al.
Veröffentlicht: (2025)

DPRM: A Plug-in Doob h transform-induced Token-Ordering Module for Diffusion Language Models
von: Bu, Dake, et al.
Veröffentlicht: (2026)

Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples
von: Bu, Dake, et al.
Veröffentlicht: (2024)

Direct Distributional Optimization for Provable Alignment of Diffusion Models
von: Kawata, Ryotaro, et al.
Veröffentlicht: (2025)

Slowly Annealed Langevin Dynamics: Theory and Applications to Training-Free Guided Generation
von: Nitanda, Atsushi, et al.
Veröffentlicht: (2026)

Towards a Unified Analysis of Neural Networks in Nonparametric Instrumental Variable Regression: Optimization and Generalization
von: Chen, Zonghao, et al.
Veröffentlicht: (2025)

Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds
von: Fu, Guoji, et al.
Veröffentlicht: (2026)

Metastable Dynamics of Chain-of-Thought Reasoning: Provable Benefits of Search, RL and Distillation
von: Kim, Juno, et al.
Veröffentlicht: (2025)

Transformers Provably Solve Parity Efficiently with Chain of Thought
von: Kim, Juno, et al.
Veröffentlicht: (2024)

State Space Models are Provably Comparable to Transformers in Dynamic Token Selection
von: Nishikawa, Naoki, et al.
Veröffentlicht: (2024)

Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine
von: Huang, Wei, et al.
Veröffentlicht: (2026)

Koopman-based generalization bound: New aspect for full-rank weights
von: Hashimoto, Yuka, et al.
Veröffentlicht: (2023)

Learning to Reason with Curriculum I: Provable Benefits of Autocurriculum
von: Rajaraman, Nived, et al.
Veröffentlicht: (2026)

Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel
von: Chen, Yilan, et al.
Veröffentlicht: (2025)

Improved Particle Approximation Error for Mean Field Neural Networks
von: Nitanda, Atsushi
Veröffentlicht: (2024)

Propagation of Chaos for Mean-Field Langevin Dynamics and its Application to Model Ensemble
von: Nitanda, Atsushi, et al.
Veröffentlicht: (2025)

In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning
von: Wakayama, Tomoya, et al.
Veröffentlicht: (2025)

On the Optimization and Generalization of Two-layer Transformers with Sign Gradient Descent
von: Li, Bingrui, et al.
Veröffentlicht: (2024)

On the Comparison between Multi-modal and Single-modal Contrastive Learning
von: Huang, Wei, et al.
Veröffentlicht: (2024)

Uniform convergence of the smooth calibration error and its relationship with functional gradient
von: Futami, Futoshi, et al.
Veröffentlicht: (2025)

Alternating Diffusion for Proximal Sampling with Zeroth Order Queries
von: Takagi, Hirohane, et al.
Veröffentlicht: (2026)

How Does Preconditioning Guide Feature Learning in Deep Neural Networks?
von: Yoshida, Kotaro, et al.
Veröffentlicht: (2025)

Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization
von: Jiang, Jiarui, et al.
Veröffentlicht: (2024)

How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime?
von: Huang, Wei, et al.
Veröffentlicht: (2025)

Transformers as Measure-Theoretic Associative Memory: A Statistical Perspective and Minimax Optimality
von: Kawata, Ryotaro, et al.
Veröffentlicht: (2026)

Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input
von: Takakura, Shokichi, et al.
Veröffentlicht: (2023)

On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD
von: Zhang, Tongcheng, et al.
Veröffentlicht: (2026)

Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape
von: Kim, Juno, et al.
Veröffentlicht: (2024)

Trained Mamba Emulates Online Gradient Descent in In-Context Linear Regression
von: Jiang, Jiarui, et al.
Veröffentlicht: (2025)

Statistical Analysis of the Sinkhorn Iterations for Two-Sample Schrödinger Bridge Estimation
von: Maeda, Ibuki, et al.
Veröffentlicht: (2025)

Mamba Can Learn Low-Dimensional Targets In-Context via Test-Time Feature Learning
von: Oh, Junsoo, et al.
Veröffentlicht: (2025)

Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
von: Bossens, David M., et al.
Veröffentlicht: (2025)

On the Role of Label Noise in the Feature Learning Process
von: Han, Andi, et al.
Veröffentlicht: (2025)

Mixture of Experts Provably Detect and Learn the Latent Cluster Structure in Gradient-Based Learning
von: Kawata, Ryotaro, et al.
Veröffentlicht: (2025)

Transformers are Minimax Optimal Nonparametric In-Context Learners
von: Kim, Juno, et al.
Veröffentlicht: (2024)

Provable Benefits of Sinusoidal Activation for Modular Addition
von: Huang, Tianlong, et al.
Veröffentlicht: (2025)

Deep Two-Way Matrix Reordering for Relational Data Analysis
von: Watanabe, Chihiro, et al.
Veröffentlicht: (2021)

The Mechanism of Weak-to-Strong Generalization: Feature Elicitation from Latent Knowledge
von: Awano, Ryoya, et al.
Veröffentlicht: (2026)