Buchumschlag

MediSwift: Efficient Sparse Pre-trained Biomedical Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Thangarasa, Vithursan, Salem, Mahmoud, Saxena, Shreyas, Leong, Kevin, Hestness, Joel, Lie, Sean
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Sparse-IFT: Sparse Iso-FLOP Transformations for Maximizing Training Efficiency
von: Thangarasa, Vithursan, et al.
Veröffentlicht: (2023)

Self-Data Distillation for Recovering Quality in Pruned Large Language Models
von: Thangarasa, Vithursan, et al.
Veröffentlicht: (2024)

TapOut: A Bandit-Based Approach to Dynamic Speculative Decoding
von: Sridhar, Aditya, et al.
Veröffentlicht: (2025)

MASSV: Multimodal Adaptation and Self-Data Distillation for Speculative Decoding of Vision-Language Models
von: Ganesan, Mugilan, et al.
Veröffentlicht: (2025)

SD$^2$: Self-Distilled Sparse Drafters
von: Lasby, Mike, et al.
Veröffentlicht: (2025)

REAP the Experts: Why Pruning Prevails for One-Shot MoE compression
von: Lasby, Mike, et al.
Veröffentlicht: (2025)

Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training
von: Bergsma, Shane, et al.
Veröffentlicht: (2025)

Sparse maximal update parameterization: A holistic approach to sparse training dynamics
von: Dey, Nolan, et al.
Veröffentlicht: (2024)

Predicting Training Re-evaluation Curves Enables Effective Data Curriculums for LLMs
von: Bergsma, Shane, et al.
Veröffentlicht: (2025)

Enhancing One-shot Pruned Pre-trained Language Models through Sparse-Dense-Sparse Mechanism
von: Li, Guanchen, et al.
Veröffentlicht: (2024)

Sparse is Enough in Fine-tuning Pre-trained Large Language Models
von: Song, Weixi, et al.
Veröffentlicht: (2023)

Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings
von: Sharma, Kartik, et al.
Veröffentlicht: (2025)

Efficient Continual Pre-training of LLMs for Low-resource Languages
von: Nag, Arijit, et al.
Veröffentlicht: (2024)

Scaling with Collapse: Efficient and Predictable Training of LLM Families
von: Bergsma, Shane, et al.
Veröffentlicht: (2025)

Model Merging in Pre-training of Large Language Models
von: Li, Yunshui, et al.
Veröffentlicht: (2025)

GAPMAP: Mapping Scientific Knowledge Gaps in Biomedical Literature Using Large Language Models
von: Salem, Nourah M, et al.
Veröffentlicht: (2025)

DEPT: Decoupled Embeddings for Pre-training Language Models
von: Iacob, Alex, et al.
Veröffentlicht: (2024)

Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models
von: Chen, Yuyan, et al.
Veröffentlicht: (2024)

Making Pre-trained Language Models Great on Tabular Prediction
von: Yan, Jiahuan, et al.
Veröffentlicht: (2024)

Exploiting Vocabulary Frequency Imbalance in Language Model Pre-training
von: Chung, Woojin, et al.
Veröffentlicht: (2025)

BioCoref: Benchmarking Biomedical Coreference Resolution with LLMs
von: Salem, Nourah M, et al.
Veröffentlicht: (2025)

Communication Efficient LLM Pre-training with SparseLoCo
von: Sarfi, Amir, et al.
Veröffentlicht: (2025)

PaPaformer: Language Model from Pre-trained Parallel Paths
von: Tapaninaho, Joonas, et al.
Veröffentlicht: (2025)

Learn or Recall? Revisiting Incremental Learning with Pre-trained Language Models
von: Zheng, Junhao, et al.
Veröffentlicht: (2023)

SparseEval: Efficient Evaluation of Large Language Models by Sparse Optimization
von: Zhang, Taolin, et al.
Veröffentlicht: (2026)

Improving Pre-trained Language Model Sensitivity via Mask Specific losses: A case study on Biomedical NER
von: Abaho, Micheal, et al.
Veröffentlicht: (2024)

Investigating Data Contamination for Pre-training Language Models
von: Jiang, Minhao, et al.
Veröffentlicht: (2024)

Aligning Pre-trained Models for Spoken Language Translation
von: Sedláček, Šimon, et al.
Veröffentlicht: (2024)

Sequence-to-Sequence Spanish Pre-trained Language Models
von: Araujo, Vladimir, et al.
Veröffentlicht: (2023)

PhoneLM:an Efficient and Capable Small Language Model Family through Principled Pre-training
von: Yi, Rongjie, et al.
Veröffentlicht: (2024)

Fine-Tuning Pre-trained Language Models to Detect In-Game Trash Talks
von: Fesalbon, Daniel, et al.
Veröffentlicht: (2024)

Pre-trained Large Language Models Use Fourier Features to Compute Addition
von: Zhou, Tianyi, et al.
Veröffentlicht: (2024)

HLAT: High-quality Large Language Model Pre-trained on AWS Trainium
von: Fan, Haozheng, et al.
Veröffentlicht: (2024)

Structural Pruning of Pre-trained Language Models via Neural Architecture Search
von: Klein, Aaron, et al.
Veröffentlicht: (2024)

MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models
von: Zhang, Ying, et al.
Veröffentlicht: (2024)

Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training
von: Zhong, Zexuan, et al.
Veröffentlicht: (2024)

Obliviate: Efficient Unmemorization for Protecting Intellectual Property in Large Language Models
von: Russinovich, Mark, et al.
Veröffentlicht: (2025)

Evaluating the Effectiveness of Pre-trained Language Models in Predicting the Helpfulness of Online Product Reviews
von: Boluki, Ali, et al.
Veröffentlicht: (2023)

A Context-Aware Approach for Enhancing Data Imputation with Pre-trained Language Models
von: Hayat, Ahatsham, et al.
Veröffentlicht: (2024)

Integrating Pre-trained Language Model into Neural Machine Translation
von: Hwang, Soon-Jae, et al.
Veröffentlicht: (2023)