Buchumschlag

Understanding the Mechanisms of Fast Hyperparameter Transfer

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ghosh, Nikhil, Wu, Denny, Bietti, Alberto
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

GSM-Agent: Understanding Agentic Reasoning Using Controllable Environments
von: Zhu, Hanlin, et al.
Veröffentlicht: (2025)

Learning Associative Memories with Gradient Descent
von: Cabannes, Vivien, et al.
Veröffentlicht: (2024)

BAnG: Bidirectional Anchored Generation for Conditional RNA Design
von: Klypa, Roman, et al.
Veröffentlicht: (2025)

Multimodal Alignment and Preference Optimization for Zero-Shot Conditional RNA Generation
von: Klypa, Roman, et al.
Veröffentlicht: (2026)

Distributional Associations vs In-Context Reasoning: A Study of Feed-forward and Attention Layers
von: Chen, Lei, et al.
Veröffentlicht: (2024)

Completed Hyperparameter Transfer across Modules, Width, Depth, Batch and Duration
von: Mlodozeniec, Bruno, et al.
Veröffentlicht: (2025)

ORTHOBO: Orthogonal Bayesian Hyperparameter Optimization
von: Schröder, Maresa, et al.
Veröffentlicht: (2026)

Hyperparameters in Score-Based Membership Inference Attacks
von: Pradhan, Gauri, et al.
Veröffentlicht: (2025)

Hyperparameter Optimization via Interacting with Probabilistic Circuits
von: Seng, Jonas, et al.
Veröffentlicht: (2025)

Sequential Policy Gradient for Adaptive Hyperparameter Optimization
von: Li, Zheng, et al.
Veröffentlicht: (2025)

Combining Automated Optimisation of Hyperparameters and Reward Shape
von: Dierkes, Julian, et al.
Veröffentlicht: (2024)

Using Large Language Models for Hyperparameter Optimization
von: Zhang, Michael R., et al.
Veröffentlicht: (2023)

Calibrated Dataset Condensation for Faster Hyperparameter Search
von: Ding, Mucong, et al.
Veröffentlicht: (2024)

Quantifying Hyperparameter Transfer and the Importance of Embedding Layer Learning Rate
von: Kalra, Dayal Singh, et al.
Veröffentlicht: (2026)

A Unified Hyperparameter Optimization Pipeline for Transformer-Based Time Series Forecasting Models
von: Xu, Jingjing, et al.
Veröffentlicht: (2025)

Metastable Dynamics of Chain-of-Thought Reasoning: Provable Benefits of Search, RL and Distillation
von: Kim, Juno, et al.
Veröffentlicht: (2025)

A Method for Evaluating Hyperparameter Sensitivity in Reinforcement Learning
von: Adkins, Jacob, et al.
Veröffentlicht: (2024)

Hyperparameter Importance Analysis for Multi-Objective AutoML
von: Theodorakopoulos, Daphne, et al.
Veröffentlicht: (2024)

Hyperparameter Trajectory Inference with Conditional Lagrangian Optimal Transport
von: Amad, Harry, et al.
Veröffentlicht: (2026)

Understanding Transferable Representation Learning and Zero-shot Transfer in CLIP
von: Chen, Zixiang, et al.
Veröffentlicht: (2023)

HyperSHAP: Shapley Values and Interactions for Explaining Hyperparameter Optimization
von: Wever, Marcel, et al.
Veröffentlicht: (2025)

Frozen Layers: Memory-efficient Many-fidelity Hyperparameter Optimization
von: Carstensen, Timur, et al.
Veröffentlicht: (2025)

A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization
von: Zhang, Jiazhao, et al.
Veröffentlicht: (2024)

Beware of the Batch Size: Hyperparameter Bias in Evaluating LoRA
von: Lee, Sangyoon, et al.
Veröffentlicht: (2026)

Physics Steering: Causal Control of Cross-Domain Concepts in a Physics Foundation Model
von: Fear, Rio Alexa, et al.
Veröffentlicht: (2025)

Relative Policy-Transition Optimization for Fast Policy Transfer
von: Xu, Jiawei, et al.
Veröffentlicht: (2022)

A Method for Fast Autonomy Transfer in Reinforcement Learning
von: Sahabandu, Dinuka, et al.
Veröffentlicht: (2024)

The Impact of Initialization on LoRA Finetuning Dynamics
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

Understanding Model Ensemble in Transferable Adversarial Attack
von: Yao, Wei, et al.
Veröffentlicht: (2024)

Hyperparameter Optimisation with Practical Interpretability and Explanation Methods in Probabilistic Curriculum Learning
von: Salt, Llewyn, et al.
Veröffentlicht: (2025)

Conditional PED-ANOVA: Hyperparameter Importance in Hierarchical & Dynamic Search Spaces
von: Baba, Kaito, et al.
Veröffentlicht: (2026)

Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning
von: Giovanelli, Joseph, et al.
Veröffentlicht: (2023)

ULTHO: Ultra-Lightweight yet Efficient Hyperparameter Optimization in Deep Reinforcement Learning
von: Yuan, Mingqi, et al.
Veröffentlicht: (2025)

Exploring the impact of Optimised Hyperparameters on Bi-LSTM-based Contextual Anomaly Detector
von: Toor, Aafan Ahmad, et al.
Veröffentlicht: (2025)

Assessing Simplification Levels in Neural Networks: The Impact of Hyperparameter Configurations on Complexity and Sensitivity
von: Guan, Huixin
Veröffentlicht: (2024)

Integrating Hyperparameter Search into Model-Free AutoML with Context-Free Grammars
von: Vázquez, Hernán Ceferino, et al.
Veröffentlicht: (2024)

Default Machine Learning Hyperparameters Do Not Provide Informative Initialization for Bayesian Optimization
von: Prieto, Nicolás Villagrán, et al.
Veröffentlicht: (2026)

Self-Tuning Sparse Attention: Multi-Fidelity Hyperparameter Optimization for Transformer Acceleration
von: Dev, Arundhathi, et al.
Veröffentlicht: (2026)

Learning to Recall with Transformers Beyond Orthogonal Embeddings
von: Vural, Nuri Mert, et al.
Veröffentlicht: (2026)