Combatting Dimensional Collapse in LLM Pre-Training Data via Diversified File Selection

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Fan, Ziqing, Du, Siyuan, Hu, Shengchao, Wang, Pingjie, Shen, Li, Zhang, Ya, Tao, Dacheng, Wang, Yanfeng
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning
von: Hu, Shengchao, et al.
Veröffentlicht: (2024)

Reconstruct the Pruned Model without Any Retraining
von: Wang, Pingjie, et al.
Veröffentlicht: (2024)

Q-value Regularized Transformer for Offline Reinforcement Learning
von: Hu, Shengchao, et al.
Veröffentlicht: (2024)

Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning
von: Fan, Ziqing, et al.
Veröffentlicht: (2024)

Diversified Batch Selection for Training Acceleration
von: Hong, Feng, et al.
Veröffentlicht: (2024)

Continual Task Learning through Adaptive Policy Self-Composition
von: Hu, Shengchao, et al.
Veröffentlicht: (2024)

Learning Multi-Agent Communication from Graph Modeling Perspective
von: Hu, Shengchao, et al.
Veröffentlicht: (2024)

Communication Learning in Multi-Agent Systems from Graph Modeling Perspective
von: Hu, Shengchao, et al.
Veröffentlicht: (2024)

Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization
von: Hu, Shengchao, et al.
Veröffentlicht: (2024)

Joint Selection for Large-Scale Pre-Training Data via Policy Gradient-based Mask Learning
von: Fan, Ziqing, et al.
Veröffentlicht: (2025)

Selecting Auxiliary Data via Neural Tangent Kernels for Low-Resource Domains
von: Wang, Pingjie, et al.
Veröffentlicht: (2025)

SeWA: Selective Weight Average via Probabilistic Masking
von: Wang, Peng, et al.
Veröffentlicht: (2025)

Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization
von: Fan, Ziqing, et al.
Veröffentlicht: (2024)

Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping
von: Fan, Ziqing, et al.
Veröffentlicht: (2024)

Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning
von: Ma, Guozheng, et al.
Veröffentlicht: (2025)

Federated Learning with Bilateral Curation for Partially Class-Disjoint Data
von: Fan, Ziqing, et al.
Veröffentlicht: (2024)

Domain-Inspired Sharpness-Aware Minimization Under Domain Shifts
von: Zhang, Ruipeng, et al.
Veröffentlicht: (2024)

LLM Data Selection and Utilization via Dynamic Bi-level Optimization
von: Yu, Yang, et al.
Veröffentlicht: (2025)

A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops
von: Fu, Shi, et al.
Veröffentlicht: (2025)

Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models
von: Wei, Yongxian, et al.
Veröffentlicht: (2024)

Solving Continual Offline RL through Selective Weights Activation on Aligned Spaces
von: Hu, Jifeng, et al.
Veröffentlicht: (2024)

SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models
von: Tang, Anke, et al.
Veröffentlicht: (2024)

Adaptive Defense against Harmful Fine-Tuning for Large Language Models via Bayesian Data Scheduler
von: Hu, Zixuan, et al.
Veröffentlicht: (2025)

Offline Behavioral Data Selection
von: Lei, Shiye, et al.
Veröffentlicht: (2025)

FOAM: Blocked State Folding for Memory-Efficient LLM Training
von: Wen, Ziqing, et al.
Veröffentlicht: (2025)

Near-Oracle KV Selection via Pre-hoc Sparsity for Long-Context Inference
von: Gao, Yifei, et al.
Veröffentlicht: (2026)

From Data to Action: Charting A Data-Driven Path to Combat Antimicrobial Resistance
von: Fu, Qian, et al.
Veröffentlicht: (2025)

OpenFedLLM: Training Large Language Models on Decentralized Private Data via Federated Learning
von: Ye, Rui, et al.
Veröffentlicht: (2024)

M2K-VDG: Model-Adaptive Multimodal Knowledge Anchor Enhanced Video-grounded Dialogue Generation
von: Liu, Hongcheng, et al.
Veröffentlicht: (2024)

RAD: Towards Trustworthy Retrieval-Augmented Multi-modal Clinical Diagnosis
von: Li, Haolin, et al.
Veröffentlicht: (2025)

Analytic Energy-Guided Policy Optimization for Offline Reinforcement Learning
von: Hu, Jifeng, et al.
Veröffentlicht: (2025)

On exploring the potential of quantum auto-encoder for learning quantum systems
von: Du, Yuxuan, et al.
Veröffentlicht: (2021)

Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs
von: Hu, Zixuan, et al.
Veröffentlicht: (2024)

Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages
von: Ma, Guozheng, et al.
Veröffentlicht: (2023)

Preventing Dimensional Collapse in Self-Supervised Learning via Orthogonality Regularization
von: He, Junlin, et al.
Veröffentlicht: (2024)

FREE: Faster and Better Data-Free Meta-Learning
von: Wei, Yongxian, et al.
Veröffentlicht: (2024)

Accelerating LLM Pre-Training through Flat-Direction Dynamics Enhancement
von: Zhu, Shuchen, et al.
Veröffentlicht: (2026)

Scaling Adversarial Training via Data Selection
von: Ye, Youran, et al.
Veröffentlicht: (2025)

Rethinking Data Curation in LLM Training: Online Reweighting Offers Better Generalization than Offline Methods
von: Zhao, Wanru, et al.
Veröffentlicht: (2026)

TimeGuard: Channel-wise Pool Training for Backdoor Defense in Time Series Forecasting
von: Nguyen, Quang Duc, et al.
Veröffentlicht: (2026)