Buchumschlag

Warmstarting for Scaling Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mallik, Neeratyoy, Janowski, Maciej, Hog, Johannes, Rakotoarison, Herilalaina, Klein, Aaron, Grabocka, Josif, Hutter, Frank
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

When is Warmstarting Effective for Scaling Language Models?
von: Mallik, Neeratyoy, et al.
Veröffentlicht: (2026)

In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization
von: Rakotoarison, Herilalaina, et al.
Veröffentlicht: (2024)

Fast Benchmarking of Asynchronous Multi-Fidelity Optimization on Zero-Cost Benchmarks
von: Watanabe, Shuhei, et al.
Veröffentlicht: (2024)

Frozen Layers: Memory-efficient Many-fidelity Hyperparameter Optimization
von: Carstensen, Timur, et al.
Veröffentlicht: (2025)

Ensembling Finetuned Language Models for Text Classification
von: Arango, Sebastian Pineda, et al.
Veröffentlicht: (2024)

Hierarchical Transformers are Efficient Meta-Reinforcement Learners
von: Shala, Gresa, et al.
Veröffentlicht: (2024)

Regularized Neural Ensemblers
von: Arango, Sebastian Pineda, et al.
Veröffentlicht: (2024)

An Open-Source Training Dataset for Foundation Models for Black-box Optimization
von: Klein, Aaron, et al.
Veröffentlicht: (2026)

Tabular Data: Is Deep Learning all you need?
von: Zabërgja, Guri, et al.
Veröffentlicht: (2024)

Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How
von: Arango, Sebastian Pineda, et al.
Veröffentlicht: (2023)

Transformers Can Do Bayesian Inference
von: Müller, Samuel, et al.
Veröffentlicht: (2021)

HW-GPT-Bench: Hardware-Aware Architecture Benchmark for Language Models
von: Sukthanker, Rhea Sanjay, et al.
Veröffentlicht: (2024)

LMEMs for post-hoc analysis of HPO Benchmarking
von: Geburek, Anton, et al.
Veröffentlicht: (2024)

Large Language Models Engineer Too Many Simple Features For Tabular Data
von: Küken, Jaris, et al.
Veröffentlicht: (2024)

Improving LLM-based Global Optimization with Search Space Partitioning
von: Schwanke, Andrej, et al.
Veröffentlicht: (2025)

Interpretable Mesomorphic Networks for Tabular Data
von: Kadra, Arlind, et al.
Veröffentlicht: (2023)

How Usable is Automated Feature Engineering for Tabular Data?
von: Schäfer, Bastian, et al.
Veröffentlicht: (2025)

nanoTabPFN: A Lightweight and Educational Reimplementation of TabPFN
von: Pfefferle, Alexander, et al.
Veröffentlicht: (2025)

Multi-objective Differentiable Neural Architecture Search
von: Sukthanker, Rhea Sanjay, et al.
Veröffentlicht: (2024)

Isotuning With Applications To Scale-Free Online Learning
von: Orseau, Laurent, et al.
Veröffentlicht: (2021)

c-TPE: Tree-structured Parzen Estimator with Inequality Constraints for Expensive Hyperparameter Optimization
von: Watanabe, Shuhei, et al.
Veröffentlicht: (2022)

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models
von: Defazio, Aaron
Veröffentlicht: (2026)

Position: Foundation Models for Tabular Data within Systemic Contexts Need Grounding
von: Klein, Tassilo, et al.
Veröffentlicht: (2025)

Efficient Search for Customized Activation Functions with Gradient Descent
von: Strack, Lukas, et al.
Veröffentlicht: (2024)

Don't Waste Your Time: Early Stopping Cross-Validation
von: Bergman, Edward, et al.
Veröffentlicht: (2024)

EquiTabPFN: A Target-Permutation Equivariant Prior Fitted Networks
von: Arbel, Michael, et al.
Veröffentlicht: (2025)

Agentic NL2SQL to Reduce Computational Costs
von: Jehle, Dominik, et al.
Veröffentlicht: (2025)

One-shot World Models Using a Transformer Trained on a Synthetic Prior
von: Ferreira, Fabio, et al.
Veröffentlicht: (2024)

State Soup: In-Context Skill Learning, Retrieval and Mixing
von: Pióro, Maciej, et al.
Veröffentlicht: (2024)

Mamba4Cast: Efficient Zero-Shot Time Series Forecasting with State Space Models
von: Bhethanabhotla, Sathya Kamesh, et al.
Veröffentlicht: (2024)

Speeding Up Multi-Objective Hyperparameter Optimization by Task Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator
von: Watanabe, Shuhei, et al.
Veröffentlicht: (2022)

Learning to Order: Task Sequencing as In-Context Optimization
von: Kobiolka, Jan, et al.
Veröffentlicht: (2026)

End-to-End Compression for Tabular Foundation Models
von: Zabërgja, Guri, et al.
Veröffentlicht: (2026)

Weight-Entanglement Meets Gradient-Based Neural Architecture Search
von: Sukthanker, Rhea Sanjay, et al.
Veröffentlicht: (2023)

Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks
von: Lee, Dongwoo, et al.
Veröffentlicht: (2025)

Levin Tree Search with Context Models
von: Orseau, Laurent, et al.
Veröffentlicht: (2023)

Tuning LLM Judge Design Decisions for 1/1000 of the Cost
von: Salinas, David, et al.
Veröffentlicht: (2025)

How Alignment Routes: Localizing, Scaling, and Controlling Policy Circuits in Language Models
von: Frank, Gregory N.
Veröffentlicht: (2026)

Fast Optimizer Benchmark
von: Blauth, Simon, et al.
Veröffentlicht: (2024)

TempoPFN: Synthetic Pre-training of Linear RNNs for Zero-shot Time Series Forecasting
von: Moroshan, Vladyslav, et al.
Veröffentlicht: (2025)