Copertina

Understanding and Alleviating Memory Consumption in RLHF for LLMs

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhou, Jin, Yang, Hanmei, Steven, Tang, Xiang, Mingcan, Guan, Hui, Liu, Tongping
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

AdapMTL: Adaptive Pruning Framework for Multitask Learning Model
di: Xiang, Mingcan, et al.
Pubblicazione: (2024)

ProTrain: Efficient LLM Training via Memory-Aware Techniques
di: Yang, Hanmei, et al.
Pubblicazione: (2024)

Towards a Theoretical Understanding to the Generalization of RLHF
di: Li, Zhaochun, et al.
Pubblicazione: (2026)

RLHF Fine-Tuning of LLMs for Alignment with Implicit User Feedback in Conversational Recommenders
di: Yang, Zhongheng, et al.
Pubblicazione: (2025)

Scaler: Efficient and Effective Cross Flow Analysis
di: Steven, et al.
Pubblicazione: (2024)

Understanding Sampler Stochasticity in Training Diffusion Models for RLHF
di: Sheng, Jiayuan, et al.
Pubblicazione: (2025)

Reward-Robust RLHF in LLMs
di: Yan, Yuzi, et al.
Pubblicazione: (2024)

Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO
di: Shi, Ruizhe, et al.
Pubblicazione: (2025)

SNIP: An Adaptive Mixed Precision Framework for Subbyte Large Language Model Training
di: Pan, Yunjie, et al.
Pubblicazione: (2026)

Understanding the Effects of RLHF on LLM Generalisation and Diversity
di: Kirk, Robert, et al.
Pubblicazione: (2023)

Distributionally Robust Token Optimization in RLHF
di: Jin, Yeping, et al.
Pubblicazione: (2026)

Provably Efficient Online RLHF with One-Pass Reward Modeling
di: Li, Long-Fei, et al.
Pubblicazione: (2025)

Distributional Preference Learning: Understanding and Accounting for Hidden Context in RLHF
di: Siththaranjan, Anand, et al.
Pubblicazione: (2023)

Towards Federated RLHF with Aggregated Client Preference for LLMs
di: Wu, Feijie, et al.
Pubblicazione: (2024)

RLHF Workflow: From Reward Modeling to Online RLHF
di: Dong, Hanze, et al.
Pubblicazione: (2024)

Alleviating Over-Smoothing via Aggregation over Compact Manifolds
di: Zhou, Dongzhuoran, et al.
Pubblicazione: (2024)

SharedRep-RLHF: A Shared Representation Approach to RLHF with Diverse Preferences
di: Mukherjee, Arpan, et al.
Pubblicazione: (2025)

Mitigating the Alignment Tax of RLHF
di: Lin, Yong, et al.
Pubblicazione: (2023)

APPA: Adaptive Preference Pluralistic Alignment for Fair Federated RLHF of LLMs
di: Srewa, Mahmoud, et al.
Pubblicazione: (2026)

Policy Optimization in RLHF: The Impact of Out-of-preference Data
di: Li, Ziniu, et al.
Pubblicazione: (2023)

Unifying Stable Optimization and Reference Regularization in RLHF
di: He, Li, et al.
Pubblicazione: (2026)

Generalisation of RLHF under Reward Shift and Clipped KL Regularisation
di: Tang, Kenton, et al.
Pubblicazione: (2026)

OpenRLHF: An Easy-to-use, Scalable and High-performance RLHF Framework
di: Hu, Jian, et al.
Pubblicazione: (2024)

Lowering PyTorch's Memory Consumption for Selective Differentiation
di: Bhatia, Samarth, et al.
Pubblicazione: (2024)

Factored Causal Representation Learning for Robust Reward Modeling in RLHF
di: Yang, Yupei, et al.
Pubblicazione: (2026)

Memory Injection Attacks on LLM Agents via Query-Only Interaction
di: Dong, Shen, et al.
Pubblicazione: (2025)

SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks
di: Lu, Weigang, et al.
Pubblicazione: (2021)

Optimal Design for Reward Modeling in RLHF
di: Scheid, Antoine, et al.
Pubblicazione: (2024)

Enhancing RLHF with Human Gaze Modeling
di: Galliamov, Karim, et al.
Pubblicazione: (2025)

A Shared Low-Rank Adaptation Approach to Personalized RLHF
di: Liu, Renpu, et al.
Pubblicazione: (2025)

Unlearning or Obfuscating? Jogging the Memory of Unlearned LLMs via Benign Relearning
di: Hu, Shengyuan, et al.
Pubblicazione: (2024)

Can LLMs Understand Time Series Anomalies?
di: Zhou, Zihao, et al.
Pubblicazione: (2024)

Memory-Efficient Backpropagation for Fine-Tuning LLMs on Resource-Constrained Mobile Devices
di: Song, Congzheng, et al.
Pubblicazione: (2025)

G-Core: A Simple, Scalable and Balanced RLHF Trainer
di: Wu, Junyu, et al.
Pubblicazione: (2025)

On The Global Convergence Of Online RLHF With Neural Parametrization
di: Gaur, Mudit, et al.
Pubblicazione: (2024)

Explaining and Preventing Alignment Collapse in Iterative RLHF
di: Gauthier, Etienne, et al.
Pubblicazione: (2026)

Offline Constrained RLHF with Multiple Preference Oracles
di: Latham, Brenden, et al.
Pubblicazione: (2026)

Learning a Pessimistic Reward Model in RLHF
di: Xu, Yinglun, et al.
Pubblicazione: (2025)

On a Connection Between Imitation Learning and RLHF
di: Xiao, Teng, et al.
Pubblicazione: (2025)

Does RLHF Scale? Exploring the Impacts From Data, Model, and Method
di: Hou, Zhenyu, et al.
Pubblicazione: (2024)