Buchumschlag

SimReg: Achieving Higher Performance in the Pretraining via Embedding Similarity Regularization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sun, Yan, Wang, Guoxia, Zeng, Jinle, Yang, JiaBin, Li, Shuai, Shen, Li, Tao, Dacheng, Yu, DianHai, Wang, Haifeng
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

RRAttention: Dynamic Block Sparse Attention via Per-Head Round-Robin Shifts for Long-Context Inference
von: Liu, Siran, et al.
Veröffentlicht: (2026)

AdaGC: Improving Training Stability for Large Language Model Pretraining
von: Wang, Guoxia, et al.
Veröffentlicht: (2025)

FlashMask: Efficient and Rich Mask Extension of FlashAttention
von: Wang, Guoxia, et al.
Veröffentlicht: (2024)

SeWA: Selective Weight Average via Probabilistic Masking
von: Wang, Peng, et al.
Veröffentlicht: (2025)

CoRegOVCD: Consistency-Regularized Open-Vocabulary Change Detection
von: Tang, Weidong, et al.
Veröffentlicht: (2026)

Low-Precision Training of Large Language Models: Methods, Challenges, and Opportunities
von: Hao, Zhiwei, et al.
Veröffentlicht: (2025)

EquiReg: Equivariance Regularized Diffusion for Inverse Problems
von: Tolooshams, Bahareh, et al.
Veröffentlicht: (2025)

Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models
von: Wei, Yongxian, et al.
Veröffentlicht: (2024)

Q-value Regularized Transformer for Offline Reinforcement Learning
von: Hu, Shengchao, et al.
Veröffentlicht: (2024)

Interpretable and Perceptually-Aligned Music Similarity with Pretrained Embeddings
von: Vohra, Arhan, et al.
Veröffentlicht: (2026)

Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape
von: Sun, Yan, et al.
Veröffentlicht: (2023)

The Association Between Geriatric Nutritional Risk Index and Readmission Within Six Months in Elderly Heart Failure Patients: A Retrospective Cohort Study
von: Guoxia Dong, et al.
Veröffentlicht: (2024)

Tree-Regularized Tabular Embeddings
von: Li, Xuan, et al.
Veröffentlicht: (2024)

FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators
von: Wang, Haiping, et al.
Veröffentlicht: (2023)

DSP-Reg: Domain-Sensitive Parameter Regularization for Robust Domain Generalization
von: Han, Xudong, et al.
Veröffentlicht: (2026)

OOP: Object-Oriented Programming Evaluation Benchmark for Large Language Models
von: Wang, Shuai, et al.
Veröffentlicht: (2024)

mPLM-Sim: Better Cross-Lingual Similarity and Transfer in Multilingual Pretrained Language Models
von: Lin, Peiqin, et al.
Veröffentlicht: (2023)

SelfReg-UNet: Self-Regularized UNet for Medical Image Segmentation
von: Zhu, Wenhui, et al.
Veröffentlicht: (2024)

BCH and LCD cyclic codes of length $n=λ(q^m+1)$ over finite fields
von: Liu, Jinle, et al.
Veröffentlicht: (2026)

Cyclotomic System and their Arithmetic
von: Zhu, Li, et al.
Veröffentlicht: (2024)

Explicit Representatives and Sizes of Cyclotomic Cosets and their Application to Cyclic Codes over Finite Fields
von: Zhu, Li, et al.
Veröffentlicht: (2024)

TextReg: Mitigating Prompt Distributional Overfitting via Regularized Text-Space Optimization
von: Fu, Lucheng, et al.
Veröffentlicht: (2026)

A-FedPD: Aligning Dual-Drift is All Federated Primal-Dual Learning Needs
von: Sun, Yan, et al.
Veröffentlicht: (2024)

Rethinking the Personalized Relaxed Initialization in the Federated Learning: Consistency and Generalization
von: Shen, Li, et al.
Veröffentlicht: (2026)

Towards Understanding Generalization and Stability Gaps between Centralized and Decentralized Federated Learning
von: Sun, Yan, et al.
Veröffentlicht: (2023)

Reg-DPO: SFT-Regularized Direct Preference Optimization with GT-Pair for Improving Video Generation
von: Du, Jie, et al.
Veröffentlicht: (2025)

ID-Sim: An Identity-Focused Similarity Metric
von: Chae, Julia, et al.
Veröffentlicht: (2026)

GlyphPrinter: Region-Grouped Direct Preference Optimization for Glyph-Accurate Visual Text Rendering
von: Shuai, Xincheng, et al.
Veröffentlicht: (2026)

Speech Separation with Pretrained Frontend to Minimize Domain Mismatch
von: Wang, Wupeng, et al.
Veröffentlicht: (2024)

Efficient Differentiable Causal Discovery via Reliable Super-Structure Learning
von: Ma, Pingchuan, et al.
Veröffentlicht: (2026)

An Empirical Study on Improving SimCLR's Nonlinear Projection Head using Pretrained Autoencoder Embeddings
von: Schliebitz, Andreas, et al.
Veröffentlicht: (2024)

$\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding
von: Wang, Shuai, et al.
Veröffentlicht: (2024)

SinSim: Sinkhorn-Regularized SimCLR
von: Sepanj, M. Hadi, et al.
Veröffentlicht: (2025)

SimCert: Probabilistic Certification for Behavioral Similarity in Deep Neural Network Compression
von: Li, Jingyang, et al.
Veröffentlicht: (2026)

AlgoSimBench: Identifying Algorithmically Similar Problems for Competitive Programming
von: Li, Jierui, et al.
Veröffentlicht: (2025)

D$^2$GS: Dense Depth Regularization for LiDAR-free Urban Scene Reconstruction
von: Xia, Kejing, et al.
Veröffentlicht: (2025)

Towards Modality-agnostic Label-efficient Segmentation with Entropy-Regularized Distribution Alignment
von: Tang, Liyao, et al.
Veröffentlicht: (2024)

Causal Self-supervised Pretrained Frontend with Predictive Code for Speech Separation
von: Wang, Wupeng, et al.
Veröffentlicht: (2025)

A Recipe for Efficient Sim-to-Real Transfer in Manipulation with Online Imitation-Pretrained World Models
von: Wang, Yilin, et al.
Veröffentlicht: (2025)

Compressing and Interpreting Word Embeddings with Latent Space Regularization and Interactive Semantics Probing
von: Li, Haoyu, et al.
Veröffentlicht: (2024)