Buchumschlag

Mitigating Visual Knowledge Forgetting in MLLM Instruction-tuning via Modality-decoupled Gradient Descent

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wu, Junda, Xiong, Yuxin, Li, Xintong, Xia, Yu, Wang, Ruoyu, Wang, Yu, Yu, Tong, Kim, Sungchul, Rossi, Ryan A., Yao, Lina, Shang, Jingbo, McAuley, Julian
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CoMMIT: Coordinated Multimodal Instruction Tuning
von: Li, Xintong, et al.
Veröffentlicht: (2024)

Active Learning for Direct Preference Optimization
von: Kveton, Branislav, et al.
Veröffentlicht: (2025)

AMPS: Adaptive Modality Preference Steering via Functional Entropy
von: Huang, Zihan, et al.
Veröffentlicht: (2026)

OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models
von: Wu, Junda, et al.
Veröffentlicht: (2024)

DICE: Dynamic In-Context Example Selection in LLM Agents via Efficient Knowledge Transfer
von: Wang, Ruoyu, et al.
Veröffentlicht: (2025)

Knowledge-Aware Query Expansion with Large Language Models for Textual and Relational Retrieval
von: Xia, Yu, et al.
Veröffentlicht: (2024)

Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics
von: Yu, Sheldon, et al.
Veröffentlicht: (2025)

Importance Sampling for Multi-Negative Multimodal Direct Preference Optimization
von: Li, Xintong, et al.
Veröffentlicht: (2025)

SAND: Boosting LLM Agents with Self-Taught Action Deliberation
von: Xia, Yu, et al.
Veröffentlicht: (2025)

CTRLS: Chain-of-Thought Reasoning via Latent State-Transition
von: Wu, Junda, et al.
Veröffentlicht: (2025)

Multi-Agent Collaborative Filtering: Orchestrating Users and Items for Agentic Recommendations
von: Xia, Yu, et al.
Veröffentlicht: (2025)

Weakly-supervised VLM-guided Partial Contrastive Learning for Visual Language Navigation
von: Wang, Ruoyu, et al.
Veröffentlicht: (2025)

Visual Prompting in Multimodal Large Language Models: A Survey
von: Wu, Junda, et al.
Veröffentlicht: (2024)

OLIVIA: Online Learning via Inference-time Action Adaptation for Decision Making in LLM ReAct Agents
von: Yu, Sheldon, et al.
Veröffentlicht: (2026)

SceneAlign: Aligning Multimodal Reasoning to Scene Graphs in Complex Visual Scenes
von: Wang, Chuhan, et al.
Veröffentlicht: (2026)

MASS-DPO: Multi-negative Active Sample Selection for Direct Policy Optimization
von: Surana, Rohan, et al.
Veröffentlicht: (2026)

CachePrune: Teaching LLMs What Not to Follow via KV-Cache Editing
von: Wang, Rui, et al.
Veröffentlicht: (2025)

WS-GRPO: Weakly-Supervised Group-Relative Policy Optimization for Rollout-Efficient Reasoning
von: Mundada, Gagan, et al.
Veröffentlicht: (2026)

Skill-R1: Agent Skill Evolution via Reinforcement Learning
von: Vishe, Yash, et al.
Veröffentlicht: (2026)

Listwise Preference Diffusion Optimization for User Behavior Trajectories Prediction
von: Huang, Hongtao, et al.
Veröffentlicht: (2025)

A Survey on Personalized and Pluralistic Preference Alignment in Large Language Models
von: Xie, Zhouhang, et al.
Veröffentlicht: (2025)

Federated Large Language Models: Current Progress and Future Directions
von: Yao, Yuhang, et al.
Veröffentlicht: (2024)

Towards Agentic Recommender Systems in the Era of Multimodal Large Language Models
von: Huang, Chengkai, et al.
Veröffentlicht: (2025)

In-context Ranking Preference Optimization
von: Wu, Junda, et al.
Veröffentlicht: (2025)

Pluralistic Off-policy Evaluation and Alignment
von: Huang, Chengkai, et al.
Veröffentlicht: (2025)

F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking
von: Surana, Rohan, et al.
Veröffentlicht: (2026)

FERA: Uncertainty-Aware Federated Reasoning for Large Language Models
von: Wang, Ruhan, et al.
Veröffentlicht: (2026)

InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment
von: Wang, Jianing, et al.
Veröffentlicht: (2024)

Interactive Visualization Recommendation with Hier-SUCB
von: Hu, Songwen, et al.
Veröffentlicht: (2025)

Evaluating Memory in LLM Agents via Incremental Multi-Turn Interactions
von: Hu, Yuanzhe, et al.
Veröffentlicht: (2025)

Embedding-Informed Adaptive Retrieval-Augmented Generation of Large Language Models
von: Huang, Chengkai, et al.
Veröffentlicht: (2024)

CoRAL: Collaborative Retrieval-Augmented Large Language Models Improve Long-tail Recommendation
von: Wu, Junda, et al.
Veröffentlicht: (2024)

Skill-CMIB: Multimodal Agent Skill for Consistent Action via Conditional Multimodal Information Bottleneck
von: Huang, Zihan, et al.
Veröffentlicht: (2026)

Self-Updatable Large Language Models by Integrating Context into Model Parameters
von: Wang, Yu, et al.
Veröffentlicht: (2024)

Generate, Filter, Control, Replay: A Comprehensive Survey of Rollout Strategies for LLM Reinforcement Learning
von: Surana, Rohan, et al.
Veröffentlicht: (2026)

Evaluation on Entity Matching in Recommender Systems
von: Huang, Zihan, et al.
Veröffentlicht: (2026)

Foundation Models for Recommender Systems: A Survey and New Perspectives
von: Huang, Chengkai, et al.
Veröffentlicht: (2024)

Three central limit theorems for the unbounded excursion component of a Gaussian field
von: McAuley, Michael
Veröffentlicht: (2024)

Children in Custody
von: McAuley, Mary
Veröffentlicht: (2022)

Politics and the Soviet Union / Mary McAuley
von: McAuley, Mary