Buchumschlag

Standing on the Shoulders of Giants: Rethinking EEG Foundation Model Pretraining via Multi-Teacher Distillation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Chenqi, Liu, Yu, Zhang, Shuo, Denison, Timothy, Zhu, Tingting
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Survey of Few-Shot Learning for Biomedical Time Series
von: Li, Chenqi, et al.
Veröffentlicht: (2024)

AnchorInv: Few-Shot Class-Incremental Learning of Physiological Signals via Representation Space Guided Inversion
von: Li, Chenqi, et al.
Veröffentlicht: (2024)

Intelligent Go-Explore: Standing on the Shoulders of Giant Foundation Models
von: Lu, Cong, et al.
Veröffentlicht: (2024)

Standing on the Shoulders of Giants: Stabilized Knowledge Distillation for Cross--Language Code Clone Detection
von: Khajezade, Mohamad, et al.
Veröffentlicht: (2026)

BioX-Bridge: Model Bridging for Unsupervised Cross-Modal Knowledge Transfer across Biosignals
von: Li, Chenqi, et al.
Veröffentlicht: (2025)

Strong Teacher Not Needed? On Distillation in LLM Pretraining
von: Lu, Taiming, et al.
Veröffentlicht: (2026)

DLink: Distilling Layer-wise and Dominant Knowledge from EEG Foundation Models
von: Wang, Jingyuan, et al.
Veröffentlicht: (2026)

Large Cognition Model: Towards Pretrained EEG Foundation Model
von: Chen, Chi-Sheng, et al.
Veröffentlicht: (2025)

EEG-DLite: Dataset Distillation for Efficient Large EEG Model Training
von: Tang, Yuting, et al.
Veröffentlicht: (2025)

Why does Knowledge Distillation Work? Rethink its Attention and Fidelity Mechanism
von: Guo, Chenqi, et al.
Veröffentlicht: (2024)

Model Merging via Multi-Teacher Knowledge Distillation
von: Dalili, Seyed Arshan, et al.
Veröffentlicht: (2025)

PRISM: Exploring Heterogeneous Pretrained EEG Foundation Model Transfer to Clinical Differential Diagnosis
von: Lahiri, Jeet Bandhu, et al.
Veröffentlicht: (2026)

NeuroTTT: Bridging Pretraining-Downstream Task Misalignment in EEG Foundation Models via Test-Time Training
von: Wang, Suli, et al.
Veröffentlicht: (2025)

On Giant's Shoulders: Effortless Weak to Strong by Dynamic Logits Fusion
von: Fan, Chenghao, et al.
Veröffentlicht: (2024)

Diffusion-Guided Pretraining for Brain Graph Foundation Models
von: Wei, Xinxu, et al.
Veröffentlicht: (2026)

LEAF: Language-EEG Aligned Foundation Model for Brain-Computer Interfaces
von: Jiang, Muyun, et al.
Veröffentlicht: (2025)

CodeBrain: Bridging Decoupled Tokenizer and Multi-Scale Architecture for EEG Foundation Model
von: Ma, Jingying, et al.
Veröffentlicht: (2025)

Sparse Optimization for Transfer Learning: A L0-Regularized Framework for Multi-Source Domain Adaptation
von: Gong, Chenqi, et al.
Veröffentlicht: (2025)

REVE: A Foundation Model for EEG -- Adapting to Any Setup with Large-Scale Pretraining on 25,000 Subjects
von: Ouahidi, Yassine El, et al.
Veröffentlicht: (2025)

Multi-Teacher Knowledge Distillation via Teacher-Informed Mixture Priors
von: Fang, Luyang, et al.
Veröffentlicht: (2026)

Rethinking the Intermediate Features in Adversarial Attacks: Misleading Robotic Models via Adversarial Distillation
von: Zhao, Ke, et al.
Veröffentlicht: (2024)

PPG-Distill: Efficient Photoplethysmography Signals Analysis via Foundation Model Distillation
von: Ni, Juntong, et al.
Veröffentlicht: (2025)

Pretraining a Foundation Model for Small-Molecule Natural Products
von: Ding, Yuheng, et al.
Veröffentlicht: (2025)

Data-Efficient Symbolic Regression via Foundation Model Distillation
von: Ying, Wangyang, et al.
Veröffentlicht: (2025)

See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition
von: Si, Chongjie, et al.
Veröffentlicht: (2024)

Rethinking Federated Graph Foundation Models: A Graph-Language Alignment-based Approach
von: Zhu, Yinlin, et al.
Veröffentlicht: (2026)

NovoMolGen: Rethinking Molecular Language Model Pretraining
von: Chitsaz, Kamran, et al.
Veröffentlicht: (2025)

Self-supervised Pretraining for Decision Foundation Model: Formulation, Pipeline and Challenges
von: Liu, Xiaoqian, et al.
Veröffentlicht: (2023)

Towards Generation-Efficient Uncertainty Estimation in Large Language Models
von: Zhu, Mingcheng, et al.
Veröffentlicht: (2026)

STEP: Scientific Time-Series Encoder Pretraining via Cross-Domain Distillation
von: Zhang, Chen, et al.
Veröffentlicht: (2026)

EEG Foundation Models: Progresses, Benchmarking, and Open Problems
von: Liu, Dingkun, et al.
Veröffentlicht: (2026)

TaxDistill: Improving Metagenomic Taxonomic Annotation via Distilled Genomic Foundation Models
von: Ye, Rongye, et al.
Veröffentlicht: (2026)

From Coefficients to Directions: Rethinking Model Merging with Directional Alignment
von: Chen, Zhikang, et al.
Veröffentlicht: (2025)

Find Your Optimal Teacher: Personalized Data Synthesis via Router-Guided Multi-Teacher Distillation
von: Zhang, Hengyuan, et al.
Veröffentlicht: (2025)

Foundation Model-oriented Robustness: Robust Image Model Evaluation with Pretrained Models
von: Zhang, Peiyan, et al.
Veröffentlicht: (2023)

Hashing-Baseline: Rethinking Hashing in the Age of Pretrained Models
von: Moummad, Ilyass, et al.
Veröffentlicht: (2025)

Locking Pretrained Weights via Deep Low-Rank Residual Distillation
von: Sakamoto, Keitaro, et al.
Veröffentlicht: (2026)

RecBase: Generative Foundation Model Pretraining for Zero-Shot Recommendation
von: Zhou, Sashuai, et al.
Veröffentlicht: (2025)

EEG-Bench: A Benchmark for EEG Foundation Models in Clinical Applications
von: Kastrati, Ard, et al.
Veröffentlicht: (2025)

Distilling Time Series Foundation Models for Efficient Forecasting
von: Li, Yuqi, et al.
Veröffentlicht: (2026)