Buchumschlag

Value-Based Deep RL Scales Predictably

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Rybkin, Oleh, Nauman, Michal, Fu, Preston, Snell, Charlie, Abbeel, Pieter, Levine, Sergey, Kumar, Aviral
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Compute-Optimal Scaling for Value-Based Deep RL
von: Fu, Preston, et al.
Veröffentlicht: (2025)

Bigger, Regularized, Categorical: High-Capacity Value Functions are Efficient Multi-Task Learners
von: Nauman, Michal, et al.
Veröffentlicht: (2025)

METRA: Scalable Unsupervised RL with Metric-Aware Abstraction
von: Park, Seohong, et al.
Veröffentlicht: (2023)

floq: Training Critics via Flow-Matching for Scaling Compute in Value-Based RL
von: Agrawalla, Bhavya, et al.
Veröffentlicht: (2025)

Is Value Learning Really the Main Bottleneck in Offline RL?
von: Park, Seohong, et al.
Veröffentlicht: (2024)

Reward-Conditioned Reinforcement Learning
von: Nauman, Michal, et al.
Veröffentlicht: (2026)

Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
von: Snell, Charlie, et al.
Veröffentlicht: (2024)

Video2Policy: Scaling up Manipulation Tasks in Simulation through Internet Videos
von: Ye, Weirui, et al.
Veröffentlicht: (2025)

Scaling Test-Time Compute Without Verification or RL is Suboptimal
von: Setlur, Amrith, et al.
Veröffentlicht: (2025)

Predicting Emergent Capabilities by Finetuning
von: Snell, Charlie, et al.
Veröffentlicht: (2024)

A Stable Whitening Optimizer for Efficient Neural Network Training
von: Frans, Kevin, et al.
Veröffentlicht: (2025)

What Really Matters in Matrix-Whitening Optimizers?
von: Frans, Kevin, et al.
Veröffentlicht: (2025)

Cliqueformer: Model-Based Optimization with Structured Transformers
von: Kuba, Jakub Grudzien, et al.
Veröffentlicht: (2024)

What Does Flow Matching Bring To TD Learning?
von: Agrawalla, Bhavya, et al.
Veröffentlicht: (2026)

Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance
von: Nakamoto, Mitsuhiko, et al.
Veröffentlicht: (2024)

Diffusion Guidance Is a Controllable Policy Improvement Operator
von: Frans, Kevin, et al.
Veröffentlicht: (2025)

When Does Non-Uniform Replay Matter in Reinforcement Learning?
von: Korniak, Michal, et al.
Veröffentlicht: (2026)

Horizon Reduction Makes RL Scalable
von: Park, Seohong, et al.
Veröffentlicht: (2025)

Unsupervised Zero-Shot Reinforcement Learning via Functional Reward Encodings
von: Frans, Kevin, et al.
Veröffentlicht: (2024)

ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL
von: Zhou, Yifei, et al.
Veröffentlicht: (2024)

One Step Diffusion via Shortcut Models
von: Frans, Kevin, et al.
Veröffentlicht: (2024)

Digi-Q: Learning Q-Value Functions for Training Device-Control Agents
von: Bai, Hao, et al.
Veröffentlicht: (2025)

Stop Regressing: Training Value Functions via Classification for Scalable Deep RL
von: Farebrother, Jesse, et al.
Veröffentlicht: (2024)

Functional Graphical Models: Structure Enables Offline Data-Driven Optimization
von: Kuba, Jakub Grudzien, et al.
Veröffentlicht: (2024)

DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning
von: Bai, Hao, et al.
Veröffentlicht: (2024)

Prioritized Generative Replay
von: Wang, Renhao, et al.
Veröffentlicht: (2024)

SOMBRL: Scalable and Optimistic Model-Based RL
von: Sukhija, Bhavya, et al.
Veröffentlicht: (2025)

FastTD3: Simple, Fast, and Capable Reinforcement Learning for Humanoid Control
von: Seo, Younggyo, et al.
Veröffentlicht: (2025)

Transitive RL: Value Learning via Divide and Conquer
von: Park, Seohong, et al.
Veröffentlicht: (2025)

Efficient Online Reinforcement Learning Fine-Tuning Need Not Retain Offline Data
von: Zhou, Zhiyuan, et al.
Veröffentlicht: (2024)

ViVa: Video-Trained Value Functions for Guiding Online RL from Diverse Data
von: Dashora, Nitish, et al.
Veröffentlicht: (2025)

D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning
von: Rafailov, Rafael, et al.
Veröffentlicht: (2024)

Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning
von: Nakamoto, Mitsuhiko, et al.
Veröffentlicht: (2023)

Vision-Language Models Provide Promptable Representations for Reinforcement Learning
von: Chen, William, et al.
Veröffentlicht: (2024)

Privileged Sensing Scaffolds Reinforcement Learning
von: Hu, Edward S., et al.
Veröffentlicht: (2024)

Accelerating Reinforcement Learning with Value-Conditional State Entropy Exploration
von: Kim, Dongyoung, et al.
Veröffentlicht: (2023)

Scalable Offline Model-Based RL with Action Chunks
von: Park, Kwanyoung, et al.
Veröffentlicht: (2025)

Residual Off-Policy RL for Finetuning Behavior Cloning Policies
von: Ankile, Lars, et al.
Veröffentlicht: (2025)

RLAC: Reinforcement Learning with Adversarial Critic for Free-Form Generation Tasks
von: Wu, Mian, et al.
Veröffentlicht: (2025)

Unfamiliar Finetuning Examples Control How Language Models Hallucinate
von: Kang, Katie, et al.
Veröffentlicht: (2024)