Buchumschlag

LESA: Learnable LLM Layer Scaling-Up

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yang, Yifei, Cao, Zouying, Ma, Xinbei, Yao, Yao, Qin, Libo, Chen, Zhi, Zhao, Hai
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing
von: Yang, Yifei, et al.
Veröffentlicht: (2024)

LaCo: Large Language Model Pruning via Layer Collapse
von: Yang, Yifei, et al.
Veröffentlicht: (2024)

PGPO: Enhancing Agent Reasoning via Pseudocode-style Planning Guided Preference Optimization
von: Cao, Zouying, et al.
Veröffentlicht: (2025)

FBI-LLM: Scaling Up Fully Binarized LLMs from Scratch via Autoregressive Distillation
von: Ma, Liqun, et al.
Veröffentlicht: (2024)

Optimizing Decoding Paths in Masked Diffusion Models by Quantifying Uncertainty
von: Chen, Ziyu, et al.
Veröffentlicht: (2025)

Inverse Reinforcement Learning with Dynamic Reward Scaling for LLM Alignment
von: Cheng, Ruoxi, et al.
Veröffentlicht: (2025)

Wide-Horizon Thinking and Simulation-Based Evaluation for Real-World LLM Planning with Multifaceted Constraints
von: Yang, Dongjie, et al.
Veröffentlicht: (2025)

Plan-over-Graph: Towards Parallelable LLM Agent Schedule
von: Zhang, Shiqi, et al.
Veröffentlicht: (2025)

DRESSing Up LLM: Efficient Stylized Question-Answering via Style Subspace Editing
von: Ma, Xinyu, et al.
Veröffentlicht: (2025)

From Pruning to Grafting: Dynamic Knowledge Redistribution via Learnable Layer Fusion
von: Pei, Zehua, et al.
Veröffentlicht: (2024)

MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models
von: Fang, Gongfan, et al.
Veröffentlicht: (2024)

Scaling LLM Multi-turn RL with End-to-end Summarization-based Context Management
von: Lu, Miao, et al.
Veröffentlicht: (2025)

Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning
von: Zhou, Zhi, et al.
Veröffentlicht: (2025)

DLO: Dynamic Layer Operation for Efficient Vertical Scaling of LLMs
von: Tan, Zhen, et al.
Veröffentlicht: (2024)

Graph-of-Causal Evolution: Challenging Chain-of-Model for Reasoning
von: Wang, Libo
Veröffentlicht: (2025)

Wormhole Memory: A Rubik's Cube for Cross-Dialogue Retrieval
von: Wang, Libo
Veröffentlicht: (2025)

LLaDA2.0: Scaling Up Diffusion Language Models to 100B
von: Bie, Tiwei, et al.
Veröffentlicht: (2025)

MaskPrune: Mask-based LLM Pruning for Layer-wise Uniform Structures
von: Qin, Jiayu, et al.
Veröffentlicht: (2025)

ButterflyQuant: Ultra-low-bit LLM Quantization through Learnable Orthogonal Butterfly Transforms
von: Xu, Bingxin, et al.
Veröffentlicht: (2025)

Cooking Up Creativity: Enhancing LLM Creativity through Structured Recombination
von: Mizrahi, Moran, et al.
Veröffentlicht: (2025)

A Toolbox, Not a Hammer -- Multi-TAG: Scaling Math Reasoning with Multi-Tool Aggregation
von: Yao, Bohan, et al.
Veröffentlicht: (2025)

Learning to Reason at the Frontier of Learnability
von: Foster, Thomas, et al.
Veröffentlicht: (2025)

KVTuner: Sensitivity-Aware Layer-Wise Mixed-Precision KV Cache Quantization for Efficient and Nearly Lossless LLM Inference
von: Li, Xing, et al.
Veröffentlicht: (2025)

Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training
von: Liu, Mingjie, et al.
Veröffentlicht: (2025)

AgentEvolver: Towards Efficient Self-Evolving Agent System
von: Zhai, Yunpeng, et al.
Veröffentlicht: (2025)

Learnable Privacy Neurons Localization in Language Models
von: Chen, Ruizhe, et al.
Veröffentlicht: (2024)

Grow Up and Merge: Scaling Strategies for Efficient Language Adaptation
von: Glocker, Kevin, et al.
Veröffentlicht: (2025)

Every Response Counts: Quantifying Uncertainty of LLM-based Multi-Agent Systems through Tensor Decomposition
von: Chen, Tiejin, et al.
Veröffentlicht: (2026)

SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling
von: Kim, Dahyun, et al.
Veröffentlicht: (2023)

LeanK: Learnable K Cache Channel Pruning for Efficient Decoding
von: Zhang, Yike, et al.
Veröffentlicht: (2025)

Adaptive Layer Selection for Layer-Wise Token Pruning in LLM Inference
von: Taniguchi, Rei, et al.
Veröffentlicht: (2026)

Measuring and Reducing LLM Hallucination without Gold-Standard Answers
von: Wei, Jiaheng, et al.
Veröffentlicht: (2024)

DreamPRM-Code: Function-as-Step Process Reward Model with Label Correction for LLM Coding
von: Zhang, Ruiyi, et al.
Veröffentlicht: (2025)

DeepSeek LLM: Scaling Open-Source Language Models with Longtermism
von: DeepSeek-AI, et al.
Veröffentlicht: (2024)

Rethinking the Role of Prompting Strategies in LLM Test-Time Scaling: A Perspective of Probability Theory
von: Liu, Yexiang, et al.
Veröffentlicht: (2025)

On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning
von: Zhang, Yifan, et al.
Veröffentlicht: (2025)

Rhetorical Questions in LLM Representations: A Linear Probing Study
von: Yao, Louie Hong, et al.
Veröffentlicht: (2026)

Dr.LLM: Dynamic Layer Routing in LLMs
von: Heakl, Ahmed, et al.
Veröffentlicht: (2025)

Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs
von: Ling Team, et al.
Veröffentlicht: (2025)

TruthFlow: Truthful LLM Generation via Representation Flow Correction
von: Wang, Hanyu, et al.
Veröffentlicht: (2025)