Buchumschlag

STEP: Staged Parameter-Efficient Pre-training for Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yano, Kazuki, Ito, Takumi, Suzuki, Jun
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning
von: Yano, Kazuki, et al.
Veröffentlicht: (2026)

Efficient Construction of Model Family through Progressive Training Using Model Expansion
von: Yano, Kazuki, et al.
Veröffentlicht: (2025)

Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling
von: Yano, Kazuki, et al.
Veröffentlicht: (2026)

Spike No More: Stabilizing the Pre-training of Large Language Models
von: Takase, Sho, et al.
Veröffentlicht: (2023)

TimeMachine-bench: A Benchmark for Evaluating Model Capabilities in Repository-Level Migration Tasks
von: Fujii, Ryo, et al.
Veröffentlicht: (2026)

Layerwise Importance Analysis of Feed-Forward Networks in Transformer-based Language Models
von: Ikeda, Wataru, et al.
Veröffentlicht: (2025)

Reference-free Evaluation Metrics for Text Generation: A Survey
von: Ito, Takumi, et al.
Veröffentlicht: (2025)

Efficient Continual Pre-training for Building Domain Specific Large Language Models
von: Xie, Yong, et al.
Veröffentlicht: (2023)

Model Merging in Pre-training of Large Language Models
von: Li, Yunshui, et al.
Veröffentlicht: (2025)

Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models
von: Chen, Yuyan, et al.
Veröffentlicht: (2024)

TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models
von: Yan, Junbing, et al.
Veröffentlicht: (2024)

Towards Effective and Efficient Continual Pre-training of Large Language Models
von: Chen, Jie, et al.
Veröffentlicht: (2024)

Suppressing Final Layer Hidden State Jumps in Transformer Pretraining
von: Shibata, Keigo, et al.
Veröffentlicht: (2026)

Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings
von: Sharma, Kartik, et al.
Veröffentlicht: (2025)

Embedding-to-Prefix: Parameter-Efficient Personalization for Pre-Trained Large Language Models
von: Huber, Bernd, et al.
Veröffentlicht: (2025)

Efficient Language Adaptive Pre-training: Extending State-of-the-Art Large Language Models for Polish
von: Ruciński, Szymon
Veröffentlicht: (2024)

OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration
von: Wang, Shaobo, et al.
Veröffentlicht: (2026)

Cross-layer Attention Sharing for Pre-trained Large Language Models
von: Mu, Yongyu, et al.
Veröffentlicht: (2024)

Examining Forgetting in Continual Pre-training of Aligned Large Language Models
von: Li, Chen-An, et al.
Veröffentlicht: (2024)

HLAT: High-quality Large Language Model Pre-trained on AWS Trainium
von: Fan, Haozheng, et al.
Veröffentlicht: (2024)

Pre-trained Large Language Models for Financial Sentiment Analysis
von: Luo, Wei, et al.
Veröffentlicht: (2024)

On Entity Identification in Language Models
von: Sakata, Masaki, et al.
Veröffentlicht: (2025)

Rethinking 1-bit Optimization Leveraging Pre-trained Large Language Models
von: Tu, Zhijun, et al.
Veröffentlicht: (2025)

MediSwift: Efficient Sparse Pre-trained Biomedical Language Models
von: Thangarasa, Vithursan, et al.
Veröffentlicht: (2024)

Linear Representations of Hierarchical Concepts in Language Models
von: Sakata, Masaki, et al.
Veröffentlicht: (2026)

DataMan: Data Manager for Pre-training Large Language Models
von: Peng, Ru, et al.
Veröffentlicht: (2025)

Understanding Data Temporality Impact on Large Language Models Pre-training
von: Pilchen, Hippolyte, et al.
Veröffentlicht: (2026)

SongSage: A Large Musical Language Model with Lyric Generative Pre-training
von: Guo, Jiani, et al.
Veröffentlicht: (2026)

DocMamba: Efficient Document Pre-training with State Space Model
von: Hu, Pengfei, et al.
Veröffentlicht: (2024)

Metadata Conditioning Accelerates Language Model Pre-training
von: Gao, Tianyu, et al.
Veröffentlicht: (2025)

Evaluating Discourse Cohesion in Pre-trained Language Models
von: He, Jie, et al.
Veröffentlicht: (2025)

Development of Cognitive Intelligence in Pre-trained Language Models
von: Shah, Raj Sanjay, et al.
Veröffentlicht: (2024)

Efficient Data Learning for Open Information Extraction with Pre-trained Language Models
von: Fan, Zhiyuan, et al.
Veröffentlicht: (2023)

Acquiring Bidirectionality via Large and Small Language Models
von: Goto, Takumi, et al.
Veröffentlicht: (2024)

Machine Unlearning of Pre-trained Large Language Models
von: Yao, Jin, et al.
Veröffentlicht: (2024)

Pruning Multilingual Large Language Models for Multilingual Inference
von: Kim, Hwichan, et al.
Veröffentlicht: (2024)

Fine-tuning Pre-trained Language Models for Few-shot Intent Detection: Supervised Pre-training and Isotropization
von: Zhang, Haode, et al.
Veröffentlicht: (2022)

How Ready Are Generative Pre-trained Large Language Models for Explaining Bengali Grammatical Errors?
von: Maity, Subhankar, et al.
Veröffentlicht: (2024)

Pre-trained Large Language Models Use Fourier Features to Compute Addition
von: Zhou, Tianyi, et al.
Veröffentlicht: (2024)

Pre-training Distillation for Large Language Models: A Design Space Exploration
von: Peng, Hao, et al.
Veröffentlicht: (2024)