Copertina

FOSI: Hybrid First and Second Order Optimization

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Sivan, Hadar, Gabel, Moshe, Schuster, Assaf
Natura:	Preprint
Pubblicazione:	2023
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

FUSE: First-Order and Second-Order Unified SynthEsis in Stochastic Optimization
di: Jiang, Zhanhong, et al.
Pubblicazione: (2025)

Simultaneous Training of First- and Second-Order Optimizers in Population-Based Reinforcement Learning
di: Pfeiffer, Felix, et al.
Pubblicazione: (2024)

Learning from Historical Activations in Graph Neural Networks
di: Galron, Yaniv, et al.
Pubblicazione: (2026)

Don't Lag, RAG: Training-Free Adversarial Detection Using RAG
di: Kazoom, Roie, et al.
Pubblicazione: (2025)

Second Order Methods for Bandit Optimization and Control
di: Suggala, Arun, et al.
Pubblicazione: (2024)

Second-Order Forward-Mode Automatic Differentiation for Optimization
di: Cobb, Adam D., et al.
Pubblicazione: (2024)

DNCs Require More Planning Steps
di: Shamshoum, Yara, et al.
Pubblicazione: (2024)

Second-Order, First-Class: A Composable Stack for Curvature-Aware Training
di: Korbit, Mikalai, et al.
Pubblicazione: (2026)

Saliency Maps are Ambiguous: Analysis of Logical Relations on First and Second Order Attributions
di: Schwenke, Leonid, et al.
Pubblicazione: (2025)

Comparing BFGS and OGR for Second-Order Optimization
di: Przybysz, Adrian, et al.
Pubblicazione: (2025)

On the Parameterization of Second-Order Optimization Effective Towards the Infinite Width
di: Ishikawa, Satoki, et al.
Pubblicazione: (2023)

Hybrid Decentralized Optimization: Leveraging Both First- and Zeroth-Order Optimizers for Faster Convergence
di: Ansaripour, Matin, et al.
Pubblicazione: (2022)

A Split-Client Approach to Second-Order Optimization
di: Chayti, El Mahdi, et al.
Pubblicazione: (2025)

Second-Order Fine-Tuning without Pain for LLMs:A Hessian Informed Zeroth-Order Optimizer
di: Zhao, Yanjun, et al.
Pubblicazione: (2024)

CompAct: Compressed Activations for Memory-Efficient LLM Training
di: Shamshoum, Yara, et al.
Pubblicazione: (2024)

POP: Prior-Fitted First-Order Optimization Policies
di: Kobiolka, Jan, et al.
Pubblicazione: (2026)

A Fully First-Order Layer for Differentiable Optimization
di: Zhao, Zihao, et al.
Pubblicazione: (2025)

Fast Deep Hedging with Second-Order Optimization
di: Mueller, Konrad, et al.
Pubblicazione: (2024)

QKV Projections Require a Fraction of Their Memory
di: Khalaf, Malik, et al.
Pubblicazione: (2025)

First and Second Order Approximations to Stochastic Gradient Descent Methods with Momentum Terms
di: Lu, Eric
Pubblicazione: (2025)

Finding Differentially Private Second Order Stationary Points in Stochastic Minimax Optimization
di: Xu, Difei, et al.
Pubblicazione: (2026)

Second-Order Convergence in Private Stochastic Non-Convex Optimization
di: Tao, Youming, et al.
Pubblicazione: (2025)

SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning
di: Jia, Jinghan, et al.
Pubblicazione: (2024)

Strategically-Robust Learning Algorithms for Bidding in First-Price Auctions
di: Kumar, Rachitesh, et al.
Pubblicazione: (2024)

The Minimax Rate of Second-Order Calibration
di: Ciosek, Kamil, et al.
Pubblicazione: (2026)

AdaFisher: Adaptive Second Order Optimization via Fisher Information
di: Gomes, Damien Martins, et al.
Pubblicazione: (2024)

Near-Optimal Distributed Minimax Optimization under the Second-Order Similarity
di: Zhou, Qihao, et al.
Pubblicazione: (2024)

Who Said Neural Networks Aren't Linear?
di: Berman, Nimrod, et al.
Pubblicazione: (2025)

Fully First-Order Algorithms for Online Bilevel Optimization
di: Jia, Tingkai, et al.
Pubblicazione: (2026)

On the Complexity of First-Order Methods in Stochastic Bilevel Optimization
di: Kwon, Jeongyeol, et al.
Pubblicazione: (2024)

First-Order Methods for Linearly Constrained Bilevel Optimization
di: Kornowski, Guy, et al.
Pubblicazione: (2024)

A Study of Condition Numbers for First-Order Optimization
di: Guille-Escuret, Charles, et al.
Pubblicazione: (2020)

Improving Deep Tabular Learning
di: Sarafian, Sivan, et al.
Pubblicazione: (2025)

Runtime-Orchestrated Second-Order Optimization for Scalable LLM Training
di: Lu, Yishun, et al.
Pubblicazione: (2026)

The Power of Second Order Methods for Sequence Preconditioning
di: Marsden, Annie, et al.
Pubblicazione: (2026)

The Potential of Second-Order Optimization for LLMs: A Study with Full Gauss-Newton
di: Abreu, Natalie, et al.
Pubblicazione: (2025)

RanSOM: Second-Order Momentum with Randomized Scaling for Constrained and Unconstrained Optimization
di: Chayti, El Mahdi
Pubblicazione: (2026)

Mitigating Task-Order Sensitivity and Forgetting via Hierarchical Second-Order Consolidation
di: Nag, Protik, et al.
Pubblicazione: (2026)

Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data
di: Zhang, Yuanqiao, et al.
Pubblicazione: (2026)

Preserving Deep Representations In One-Shot Pruning: A Hessian-Free Second-Order Optimization Framework
di: Lucas, Ryan, et al.
Pubblicazione: (2024)