Buchumschlag

Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Chao, Zhou, Changhua, Chen, Jia
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Relational Inductive Bias for Dimensional Abstraction in Neural Networks
von: Campbell, Declan, et al.
Veröffentlicht: (2024)

Learning Rule-Induced Subgraph Representations for Inductive Relation Prediction
von: Liu, Tianyu, et al.
Veröffentlicht: (2024)

Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing
von: Li, Gengsheng, et al.
Veröffentlicht: (2026)

Distilling Multi-Scale Knowledge for Event Temporal Relation Extraction
von: Yao, Hao-Ren, et al.
Veröffentlicht: (2022)

Disentangling Granularity: An Implicit Inductive Bias in Factorized VAEs
von: Chen, Zihao, et al.
Veröffentlicht: (2025)

Multi-Teacher Knowledge Distillation via Teacher-Informed Mixture Priors
von: Fang, Luyang, et al.
Veröffentlicht: (2026)

REMEDI: Relative Feature Enhanced Meta-Learning with Distillation for Imbalanced Prediction
von: Liu, Fei, et al.
Veröffentlicht: (2025)

Robust Knowledge Distillation Based on Feature Variance Against Backdoored Teacher Model
von: Chen, Jinyin, et al.
Veröffentlicht: (2024)

NGRPO: Negative-enhanced Group Relative Policy Optimization
von: Nan, Gongrui, et al.
Veröffentlicht: (2025)

Model Merging via Multi-Teacher Knowledge Distillation
von: Dalili, Seyed Arshan, et al.
Veröffentlicht: (2025)

Double Equivariance for Inductive Link Prediction for Both New Nodes and New Relation Types
von: Zhou, Jincheng, et al.
Veröffentlicht: (2023)

Eliminating Inductive Bias in Reward Models with Information-Theoretic Guidance
von: Li, Zhuo, et al.
Veröffentlicht: (2025)

Soft Geometric Inductive Bias for Object Centric Dynamics
von: Linander, Hampus, et al.
Veröffentlicht: (2025)

Compositional Sparsity as an Inductive Bias for Neural Architecture Design
von: Lin, Hongyu, et al.
Veröffentlicht: (2026)

Toward Student-Oriented Teacher Network Training For Knowledge Distillation
von: Dong, Chengyu, et al.
Veröffentlicht: (2022)

What Structural Inductive Bias Helps Transformers Reason Over Knowledge Graphs? A Study with Tabula RASA
von: Petersen, Jonas, et al.
Veröffentlicht: (2026)

Structured Diffusion Bridges: Inductive Bias for Denoising Diffusion Bridges
von: Kosman, Eitan, et al.
Veröffentlicht: (2026)

Generalizing Teacher Networks for Effective Knowledge Distillation Across Student Architectures
von: Binici, Kuluhan, et al.
Veröffentlicht: (2024)

S$^2$DN: Learning to Denoise Unconvincing Knowledge for Inductive Knowledge Graph Completion
von: Ma, Tengfei, et al.
Veröffentlicht: (2024)

Efficient and Robust Knowledge Distillation from A Stronger Teacher Based on Correlation Matching
von: Niu, Wenqi, et al.
Veröffentlicht: (2024)

Context-Aware Adapter Tuning for Few-Shot Relation Learning in Knowledge Graphs
von: Liu, Ran, et al.
Veröffentlicht: (2024)

SMART: Relation-Aware Learning of Geometric Representations for Knowledge Graphs
von: Amouzouvi, Kossi, et al.
Veröffentlicht: (2025)

Representation Learning on Hyper-Relational and Numeric Knowledge Graphs with Transformers
von: Chung, Chanyoung, et al.
Veröffentlicht: (2023)

Temporal Inductive Path Neural Network for Temporal Knowledge Graph Reasoning
von: Dong, Hao, et al.
Veröffentlicht: (2023)

Temporal Knowledge Graph Completion with Time-sensitive Relations in Hypercomplex Space
von: Cai, Li, et al.
Veröffentlicht: (2024)

MechPert: Mechanistic Consensus as an Inductive Bias for Unseen Perturbation Prediction
von: Martell, Marc Boubnovski, et al.
Veröffentlicht: (2026)

CLIP-Embed-KD: Computationally Efficient Knowledge Distillation Using Embeddings as Teachers
von: Nair, Lakshmi
Veröffentlicht: (2024)

On the Inductive Bias of Stacking Towards Improving Reasoning
von: Saunshi, Nikunj, et al.
Veröffentlicht: (2024)

FedMTFI: Feature Importance Based Optimized Multi Teacher Knowledge Distillation in Heterogeneous Federated Learning Environment
von: Shadin, Nazmus Shakib, et al.
Veröffentlicht: (2026)

IB-GRPO: Aligning LLM-based Learning Path Recommendation with Educational Objectives via Indicator-Based Group Relative Policy Optimization
von: Wang, Shuai, et al.
Veröffentlicht: (2026)

Relative Counterfactual Contrastive Learning for Mitigating Pretrained Stance Bias in Stance Detection
von: Zhang, Jiarui, et al.
Veröffentlicht: (2024)

Shaping Inductive Bias in Diffusion Models through Frequency-Based Noise Control
von: Jiralerspong, Thomas, et al.
Veröffentlicht: (2025)

Teasing Apart Architecture and Initial Weights as Sources of Inductive Bias in Neural Networks
von: Bencomo, Gianluca, et al.
Veröffentlicht: (2025)

Relative Bias: A Comparative Framework for Quantifying Bias in LLMs
von: Arbabi, Alireza, et al.
Veröffentlicht: (2025)

Learning Attention-based Representations from Multiple Patterns for Relation Prediction in Knowledge Graphs
von: Lourenço, Vítor, et al.
Veröffentlicht: (2022)

Inductive Moment Matching
von: Zhou, Linqi, et al.
Veröffentlicht: (2025)

Online Adversarial Knowledge Distillation for Graph Neural Networks
von: Wang, Can, et al.
Veröffentlicht: (2021)

Knowledge Distillation in Wide Neural Networks: Risk Bound, Data Efficiency and Imperfect Teacher
von: Ji, Guangda, et al.
Veröffentlicht: (2020)

AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering
von: Cai, Yuzhu, et al.
Veröffentlicht: (2026)

EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization
von: Han, Kevin, et al.
Veröffentlicht: (2026)