Buchumschlag

Flextron: Many-in-One Flexible Large Language Model

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cai, Ruisi, Muralidharan, Saurav, Heinrich, Greg, Yin, Hongxu, Wang, Zhangyang, Kautz, Jan, Molchanov, Pavlo
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models
von: Fang, Gongfan, et al.
Veröffentlicht: (2024)

Compact Language Models via Pruning and Knowledge Distillation
von: Muralidharan, Saurav, et al.
Veröffentlicht: (2024)

X-VILA: Cross-Modality Alignment for Large Language Model
von: Ye, Hanrong, et al.
Veröffentlicht: (2024)

FasterViT: Fast Vision Transformers with Hierarchical Attention
von: Hatamizadeh, Ali, et al.
Veröffentlicht: (2023)

Minifinetuning: Low-Data Generation Domain Adaptation through Corrective Self-Distillation
von: Belcak, Peter, et al.
Veröffentlicht: (2025)

X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation
von: Sreenivas, Sharath Turuvekere, et al.
Veröffentlicht: (2026)

Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs
von: Taghibakhshi, Ali, et al.
Veröffentlicht: (2025)

LoCoCo: Dropping In Convolutions for Long Context Compression
von: Cai, Ruisi, et al.
Veröffentlicht: (2024)

LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models
von: Shi, Dachuan, et al.
Veröffentlicht: (2025)

AM-RADIO: Agglomerative Vision Foundation Model -- Reduce All Domains Into One
von: Ranzinger, Mike, et al.
Veröffentlicht: (2023)

DLER: Doing Length pEnalty Right - Incentivizing More Intelligence per Token via Reinforcement Learning
von: Liu, Shih-Yang, et al.
Veröffentlicht: (2025)

FlexGS: Train Once, Deploy Everywhere with Many-in-One Flexible 3D Gaussian Splatting
von: Liu, Hengyu, et al.
Veröffentlicht: (2025)

Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding
von: Zhu, Jiajun, et al.
Veröffentlicht: (2025)

GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization
von: Liu, Shih-Yang, et al.
Veröffentlicht: (2026)

BroRL: Scaling Reinforcement Learning via Broadened Exploration
von: Hu, Jian, et al.
Veröffentlicht: (2025)

Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design
von: Cai, Ruisi, et al.
Veröffentlicht: (2024)

Adaptive Sharpness-Aware Pruning for Robust Sparse Networks
von: Bair, Anna, et al.
Veröffentlicht: (2023)

ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge
von: Wang, Zhilin, et al.
Veröffentlicht: (2025)

ToolOrchestra: Elevating Intelligence via Efficient Model and Tool Orchestration
von: Su, Hongjin, et al.
Veröffentlicht: (2025)

Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed
von: Fu, Yonggan, et al.
Veröffentlicht: (2025)

$R^2$-dLLM: Accelerating Diffusion Large Language Models via Spatio-Temporal Redundancy Reduction
von: Du, Zhenbang, et al.
Veröffentlicht: (2026)

Hymba: A Hybrid-head Architecture for Small Language Models
von: Dong, Xin, et al.
Veröffentlicht: (2024)

Out of One, Many: Using Language Models to Simulate Human Samples
von: Argyle, Lisa P., et al.
Veröffentlicht: (2022)

The UNDO Flip-Flop: A Controlled Probe for Reversible Semantic State Management in State Space Model
von: Zhou, Hongxu
Veröffentlicht: (2026)

Entropy-Regularized Process Reward Model
von: Zhang, Hanning, et al.
Veröffentlicht: (2024)

Star Elastic: Many-in-One Reasoning LLMs with Efficient Budget Control
von: Taghibakhshi, Ali, et al.
Veröffentlicht: (2026)

Robust and Secure Code Watermarking for Large Language Models via ML/Crypto Codesign
von: Zhang, Ruisi, et al.
Veröffentlicht: (2025)

A deeper look at depth pruning of LLMs
von: Siddiqui, Shoaib Ahmed, et al.
Veröffentlicht: (2024)

RADIOv2.5: Improved Baselines for Agglomerative Vision Foundation Models
von: Heinrich, Greg, et al.
Veröffentlicht: (2024)

From Distributional to Overton Pluralism: Investigating Large Language Model Alignment
von: Lake, Thom, et al.
Veröffentlicht: (2024)

Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild
von: Zhao, Xinyu, et al.
Veröffentlicht: (2024)

LLM Pruning and Distillation in Practice: The Minitron Approach
von: Sreenivas, Sharath Turuvekere, et al.
Veröffentlicht: (2024)

Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments
von: Li, Jiaxi, et al.
Veröffentlicht: (2025)

Advancing Weight and Channel Sparsification with Enhanced Saliency
von: Sun, Xinglong, et al.
Veröffentlicht: (2025)

Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models
von: Huo, Mingjia, et al.
Veröffentlicht: (2024)

Many Minds from One Model: Bayesian-Inspired Transformers for Population Diversity
von: Yang, Diji, et al.
Veröffentlicht: (2025)

PHI-S: Distribution Balancing for Label-Free Multi-Teacher Distillation
von: Ranzinger, Mike, et al.
Veröffentlicht: (2024)

Promote, Suppress, Iterate: How Language Models Answer One-to-Many Factual Queries
von: Yan, Tianyi Lorena, et al.
Veröffentlicht: (2025)

Gated Delta Networks: Improving Mamba2 with Delta Rule
von: Yang, Songlin, et al.
Veröffentlicht: (2024)

MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models
von: Pandit, Shrey, et al.
Veröffentlicht: (2025)