Buchumschlag

T-REX: Mixture-of-Rank-One-Experts with Semantic-aware Intuition for Multi-task Large Language Model Finetuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Rongyu, Liu, Yijiang, Yang, Huanrui, Zheng, Shenli, Wang, Dan, Du, Yuan, Du, Li, Zhang, Shanghang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models
von: Zhao, Zhongyu, et al.
Veröffentlicht: (2024)

PAT: Pruning-Aware Tuning for Large Language Models
von: Liu, Yijiang, et al.
Veröffentlicht: (2024)

BASE-Q: Bias and Asymmetric Scaling Enhanced Rotational Quantization for Large Language Models
von: He, Liulu, et al.
Veröffentlicht: (2025)

Decomposing the Neurons: Activation Sparsity via Mixture of Experts for Continual Test Time Adaptation
von: Zhang, Rongyu, et al.
Veröffentlicht: (2024)

VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness
von: Zhang, Rongyu, et al.
Veröffentlicht: (2024)

SQAP-VLA: A Synergistic Quantization-Aware Pruning Framework for High-Performance Vision-Language-Action Models
von: Fang, Hengyu, et al.
Veröffentlicht: (2025)

BEVUDA++: Geometric-aware Unsupervised Domain Adaptation for Multi-View 3D Object Detection
von: Zhang, Rongyu, et al.
Veröffentlicht: (2025)

MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation
von: Zhang, Ronyu, et al.
Veröffentlicht: (2026)

FBQuant: FeedBack Quantization for Large Language Models
von: Liu, Yijiang, et al.
Veröffentlicht: (2025)

MoLe-VLA: Dynamic Layer-skipping Vision Language Action Model via Mixture-of-Layers for Efficient Robot Manipulation
von: Zhang, Rongyu, et al.
Veröffentlicht: (2025)

RepCaM++: Exploring Transparent Visual Prompt With Inference-Time Re-Parameterization for Neural Video Delivery
von: Zhang, Rongyu, et al.
Veröffentlicht: (2025)

Fisher-aware Quantization for DETR Detectors with Critical-category Objectives
von: Yang, Huanrui, et al.
Veröffentlicht: (2024)

Cluster-Driven Expert Pruning for Mixture-of-Experts Large Language Models
von: Guo, Hongcheng, et al.
Veröffentlicht: (2025)

Key-Embedded Privacy for Decentralized AI in Biomedical Omics
von: Zhang, Rongyu, et al.
Veröffentlicht: (2026)

Mixture of Experts in Large Language Models
von: Zhang, Danyang, et al.
Veröffentlicht: (2025)

Proximity QA: Unleashing the Power of Multi-Modal Large Language Models for Spatial Proximity Analysis
von: Li, Jianing, et al.
Veröffentlicht: (2024)

Finetuning Large Language Model for Personalized Ranking
von: Bai, Zhuoxi, et al.
Veröffentlicht: (2024)

Unveiling Super Experts in Mixture-of-Experts Large Language Models
von: Su, Zunhai, et al.
Veröffentlicht: (2025)

WM-MoE: Weather-aware Multi-scale Mixture-of-Experts for Blind Adverse Weather Removal
von: Luo, Yulin, et al.
Veröffentlicht: (2023)

Quant Experts: Token-aware Adaptive Error Reconstruction with Mixture of Experts for Large Vision-Language Models Quantization
von: Jia, Chenwei, et al.
Veröffentlicht: (2026)

D-REX: A Benchmark for Detecting Deceptive Reasoning in Large Language Models
von: Krishna, Satyapriya, et al.
Veröffentlicht: (2025)

MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning
von: Zhang, Jingfan, et al.
Veröffentlicht: (2024)

Bayesian Mixture of Experts For Large Language Models
von: Dialameh, Maryam, et al.
Veröffentlicht: (2025)

SAFER: Sharpness Aware layer-selective Finetuning for Enhanced Robustness in vision transformers
von: Gopal, Bhavna, et al.
Veröffentlicht: (2025)

A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models
von: Sun, Mengyang, et al.
Veröffentlicht: (2025)

Mixture of Experts for Network Optimization: A Large Language Model-enabled Approach
von: Du, Hongyang, et al.
Veröffentlicht: (2024)

Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning
von: Zhao, Ziyu, et al.
Veröffentlicht: (2025)

Multi-Task Dense Prediction via Mixture of Low-Rank Experts
von: Yang, Yuqi, et al.
Veröffentlicht: (2024)

Remote Sensing Large Vision-Language Model: Semantic-augmented Multi-level Alignment and Semantic-aware Expert Modeling
von: Park, Sungjune, et al.
Veröffentlicht: (2025)

Mixture of Length and Pruning Experts for Knowledge Graphs Reasoning
von: Du, Enjun, et al.
Veröffentlicht: (2025)

Mixture-of-Prompt-Experts for Multi-modal Semantic Understanding
von: Wu, Zichen, et al.
Veröffentlicht: (2024)

Split-Ensemble: Efficient OOD-aware Ensemble via Task and Model Splitting
von: Chen, Anthony, et al.
Veröffentlicht: (2023)

Lifelong Knowledge Editing for Vision Language Models with Low-Rank Mixture-of-Experts
von: Chen, Qizhou, et al.
Veröffentlicht: (2024)

Generative AI Agents with Large Language Model for Satellite Networks via a Mixture of Experts Transmission
von: Zhang, Ruichen, et al.
Veröffentlicht: (2024)

EEGMamba: Bidirectional State Space Model with Mixture of Experts for EEG Multi-task Classification
von: Gui, Yiyu, et al.
Veröffentlicht: (2024)

Unveiling Hidden Collaboration within Mixture-of-Experts in Large Language Models
von: Tang, Yuanbo, et al.
Veröffentlicht: (2025)

Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging
von: Shen, Li, et al.
Veröffentlicht: (2024)

Probing Semantic Routing in Large Mixture-of-Expert Models
von: Olson, Matthew Lyle, et al.
Veröffentlicht: (2025)

MoE-LLaVA: Mixture of Experts for Large Vision-Language Models
von: Lin, Bin, et al.
Veröffentlicht: (2024)

SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models
von: Tang, Anke, et al.
Veröffentlicht: (2024)