Buchumschlag

Representation Convergence: Mutual Distillation is Secretly a Form of Regularization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xie, Zhengpeng, Cao, Jiahang, Wang, Changwei, Yang, Fan, Hutter, Marco, Zhang, Qiang, Zhang, Jianxiong, Xu, Renjing
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Simple Policy Optimization
von: Xie, Zhengpeng, et al.
Veröffentlicht: (2024)

A Dual-Agent Adversarial Framework for Robust Generalization in Deep Reinforcement Learning
von: Xie, Zhengpeng, et al.
Veröffentlicht: (2025)

MoSA: Motion-constrained Stress Adaptation for Mitigating Real-to-Sim Gap in Continuum Dynamics via Learning Residual Anisotropy
von: Wang, Jiaxu, et al.
Veröffentlicht: (2026)

MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
von: Xie, Zhitian, et al.
Veröffentlicht: (2024)

Mutual Information Regularized Offline Reinforcement Learning
von: Ma, Xiao, et al.
Veröffentlicht: (2022)

Robust Multi-Agent Reinforcement Learning by Mutual Information Regularization
von: Li, Simin, et al.
Veröffentlicht: (2023)

Reinforcement Learning with Generalizable Gaussian Splatting
von: Wang, Jiaxu, et al.
Veröffentlicht: (2024)

Graph is a Natural Regularization: Revisiting Vector Quantization for Graph Representation Learning
von: Zhai, Zian, et al.
Veröffentlicht: (2025)

Adaptive Regularization of Representation Rank as an Implicit Constraint of Bellman Equation
von: He, Qiang, et al.
Veröffentlicht: (2024)

Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization
von: Yu, Xin, et al.
Veröffentlicht: (2026)

Quantile Geometry Regularization for Distributional Reinforcement Learning
von: Zhang, Zhaofan, et al.
Veröffentlicht: (2026)

DeepStock: Reinforcement Learning with Policy Regularizations for Inventory Management
von: Xie, Yaqi, et al.
Veröffentlicht: (2026)

Representation Learning with Mutual Influence of Modalities for Node Classification in Multi-Modal Heterogeneous Networks
von: Li, Jiafan, et al.
Veröffentlicht: (2025)

Enhancing Time Series Forecasting via Logic-Inspired Regularization
von: Zhang, Jianqi, et al.
Veröffentlicht: (2025)

The Scaling Law for LoRA Base on Mutual Information Upper Bound
von: Zhang, Jing, et al.
Veröffentlicht: (2025)

Flora: Low-Rank Adapters Are Secretly Gradient Compressors
von: Hao, Yongchang, et al.
Veröffentlicht: (2024)

From Generalist to Specialist Representation
von: Zheng, Yujia, et al.
Veröffentlicht: (2026)

Learning to Open and Traverse Doors with a Legged Manipulator
von: Zhang, Mike, et al.
Veröffentlicht: (2024)

Shifting Attention to Relevance: Towards the Predictive Uncertainty Quantification of Free-Form Large Language Models
von: Duan, Jinhao, et al.
Veröffentlicht: (2023)

Distilled Protein Backbone Generation
von: Xie, Liyang, et al.
Veröffentlicht: (2025)

Convergent Linear Representations of Emergent Misalignment
von: Soligo, Anna, et al.
Veröffentlicht: (2025)

Convergent World Representations and Divergent Tasks
von: Park, Core Francisco
Veröffentlicht: (2026)

Behavior-Regularized Diffusion Policy Optimization for Offline Reinforcement Learning
von: Gao, Chen-Xiao, et al.
Veröffentlicht: (2025)

Rényi Divergence Deep Mutual Learning
von: Huang, Weipeng, et al.
Veröffentlicht: (2022)

PPC-GPT: Federated Task-Specific Compression of Large Language Models via Pruning and Chain-of-Thought Distillation
von: Fan, Tao, et al.
Veröffentlicht: (2025)

Linear $Q$-Learning Does Not Diverge in $L^2$: Convergence Rates to a Bounded Set
von: Liu, Xinyu, et al.
Veröffentlicht: (2025)

Fairness in Survival Analysis: A Novel Conditional Mutual Information Augmentation Approach
von: Xie, Tianyang, et al.
Veröffentlicht: (2025)

Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information
von: Shen, Guobin, et al.
Veröffentlicht: (2026)

Adaptive Guidance for Local Training in Heterogeneous Federated Learning
von: Zhang, Jianqing, et al.
Veröffentlicht: (2024)

DeepCell: Self-Supervised Multiview Fusion for Circuit Representation Learning
von: Shi, Zhengyuan, et al.
Veröffentlicht: (2025)

Enhancing Modality Representation and Alignment for Multimodal Cold-start Active Learning
von: Shen, Meng, et al.
Veröffentlicht: (2024)

Using large language models for embodied planning introduces systematic safety risks
von: Zhang, Tao, et al.
Veröffentlicht: (2026)

Fully Spiking Neural Network for Legged Robots
von: Jiang, Xiaoyang, et al.
Veröffentlicht: (2023)

Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics
von: Li, Chenhao, et al.
Veröffentlicht: (2025)

Uncertainty-Aware Robotic World Model Makes Offline Model-Based Reinforcement Learning Work on Real Robots
von: Li, Chenhao, et al.
Veröffentlicht: (2025)

Bridging the Gap: Enabling Soft Actor Critic for High Performance Legged Locomotion
von: Sabatini, Gianluca, et al.
Veröffentlicht: (2026)

Stabilizing Information Flow Entropy: Regularization for Safe and Interpretable Autonomous Driving Perception
von: Yang, Haobo, et al.
Veröffentlicht: (2025)

Context Distillation as Latent Memory Management
von: Zheng, Ziyang, et al.
Veröffentlicht: (2026)

Large-Small Model Collaborative Framework for Federated Continual Learning
von: Yu, Hao, et al.
Veröffentlicht: (2025)

BIRD: Behavior Induction via Representation-structure Distillation
von: Pogoncheff, Galen, et al.
Veröffentlicht: (2025)