Buchumschlag

A Multi-Level Framework for Accelerating Training Transformer Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zou, Longwei, Zhang, Han, Deng, Yangdong
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CQIL: Inference Latency Optimization with Concurrent Computation of Quasi-Independent Layers
von: Zou, Longwei, et al.
Veröffentlicht: (2024)

BiLLM: Pushing the Limit of Post-Training Quantization for LLMs
von: Huang, Wei, et al.
Veröffentlicht: (2024)

An Adaptive Placement and Parallelism Framework for Accelerating RLHF Training
von: Xiao, Youshao, et al.
Veröffentlicht: (2023)

MONA: Muon Optimizer with Nesterov Acceleration for Scalable Language Model Training
von: Li, Jiacheng, et al.
Veröffentlicht: (2026)

InstCache: A Predictive Cache for LLM Serving
von: Zou, Longwei, et al.
Veröffentlicht: (2024)

A Human-Like Reasoning Framework for Multi-Phases Planning Task with Large Language Models
von: Xie, Chengxing, et al.
Veröffentlicht: (2024)

Sequence-Level Leakage Risk of Training Data in Large Language Models
von: Tiwari, Trishita, et al.
Veröffentlicht: (2024)

Early Transformers: A study on Efficient Training of Transformer Models through Early-Bird Lottery Tickets
von: Cheekati, Shravan
Veröffentlicht: (2024)

SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models
von: Huang, Wei, et al.
Veröffentlicht: (2024)

Development of Pre-Trained Transformer-based Models for the Nepali Language
von: Thapa, Prajwal, et al.
Veröffentlicht: (2024)

BlockFFN: Towards End-Side Acceleration-Friendly Mixture-of-Experts with Chunk-Level Activation Sparsity
von: Song, Chenyang, et al.
Veröffentlicht: (2025)

DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models
von: Liang, Hao, et al.
Veröffentlicht: (2026)

Two is better than one: A Collapse-free Multi-Reward RLIF Training Framework
von: Joarder, Shourov, et al.
Veröffentlicht: (2026)

How does Multi-Task Training Affect Transformer In-Context Capabilities? Investigations with Function Classes
von: Bhasin, Harmon, et al.
Veröffentlicht: (2024)

A Comparative Analysis of LLM Memorization at Statistical and Internal Levels: Cross-Model Commonalities and Model-Specific Signatures
von: Chen, Bowen, et al.
Veröffentlicht: (2026)

Understanding and Accelerating the Training of Masked Diffusion Language Models
von: Hong, Chunsan, et al.
Veröffentlicht: (2026)

PolarQuant: Leveraging Polar Transformation for Efficient Key Cache Quantization and Decoding Acceleration
von: Wu, Songhao, et al.
Veröffentlicht: (2025)

MultiGPrompt for Multi-Task Pre-Training and Prompting on Graphs
von: Yu, Xingtong, et al.
Veröffentlicht: (2023)

Breaking Symmetry When Training Transformers
von: Zuo, Chunsheng, et al.
Veröffentlicht: (2024)

Toward Automated Regulatory Decision-Making: Trustworthy Medical Device Risk Classification with Multimodal Transformers and Self-Training
von: Han, Yu, et al.
Veröffentlicht: (2025)

Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
von: Deng, Difan, et al.
Veröffentlicht: (2026)

Orchestrating Dual-Boundaries: An Arithmetic Intensity Inspired Acceleration Framework for Diffusion Language Models
von: Wei, Linye, et al.
Veröffentlicht: (2025)

Thinking into the Future: Latent Lookahead Training for Transformers
von: Noci, Lorenzo, et al.
Veröffentlicht: (2026)

Learning and Forgetting Unsafe Examples in Large Language Models
von: Zhao, Jiachen, et al.
Veröffentlicht: (2023)

Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding
von: Iso, Hayate, et al.
Veröffentlicht: (2026)

Retrieval Backward Attention without Additional Training: Enhance Embeddings of Large Language Models via Repetition
von: Duan, Yifei, et al.
Veröffentlicht: (2025)

Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained Language Models
von: Ozyurt, Yilmazcan, et al.
Veröffentlicht: (2023)

On Mesa-Optimization in Autoregressively Trained Transformers: Emergence and Capability
von: Zheng, Chenyu, et al.
Veröffentlicht: (2024)

Gated Linear Attention Transformers with Hardware-Efficient Training
von: Yang, Songlin, et al.
Veröffentlicht: (2023)

HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance
von: Zhang, Hao, et al.
Veröffentlicht: (2025)

dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching
von: Liu, Zhiyuan, et al.
Veröffentlicht: (2025)

Pre-Trained Policy Discriminators are General Reward Models
von: Dou, Shihan, et al.
Veröffentlicht: (2025)

MAMUT: A Novel Framework for Modifying Mathematical Formulas for the Generation of Specialized Datasets for Language Model Training
von: Drechsel, Jonathan, et al.
Veröffentlicht: (2025)

Accelerating Training Speed of Tiny Recursive Models with Curriculum Guided Adaptive Recursion
von: Qasim, Kaleem Ullah, et al.
Veröffentlicht: (2025)

Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis
von: Li, Hongkang, et al.
Veröffentlicht: (2024)

Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization
von: Amin, Hasan, et al.
Veröffentlicht: (2026)

Ladder: A Model-Agnostic Framework Boosting LLM-based Machine Translation to the Next Level
von: Feng, Zhaopeng, et al.
Veröffentlicht: (2024)

Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts
von: Wang, Haoxiang, et al.
Veröffentlicht: (2024)

360-LLaMA-Factory: Plug & Play Sequence Parallelism for Long Post-Training
von: Zou, Haosheng, et al.
Veröffentlicht: (2025)

A Symbolic Framework for Evaluating Mathematical Reasoning and Generalisation with Transformers
von: Meadows, Jordan, et al.
Veröffentlicht: (2023)