Buchumschlag

Fast and Slow Gradient Approximation for Binary Neural Network Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Xinquan, Gao, Junqi, Qi, Biqing, Li, Dong, Luo, Yiang, Li, Fangyuan, Li, Pengfei
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Online DPO: Online Direct Preference Optimization with Fast-Slow Chasing
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

Less is More: Efficient Model Merging with Binary Task Switch
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

Interactive Continual Learning: Fast and Slow Thinking
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

WIST: Web-Grounded Iterative Self-Play Tree for Domain-Targeted Reasoning Improvement
von: Li, Fangyuan, et al.
Veröffentlicht: (2026)

An Efficient Memory Module for Graph Few-Shot Class-Incremental Learning
von: Li, Dong, et al.
Veröffentlicht: (2024)

Bohdi: Heterogeneous LLM Fusion with Automatic Data Exploration
von: Gao, Junqi, et al.
Veröffentlicht: (2025)

Exploring Adversarial Robustness of Deep State Space Models
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

SMR: State Memory Replay for Long Sequence Modeling
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

PDAC: Efficient Coreset Selection for Continual Learning via Probability Density Awareness
von: Gao, Junqi, et al.
Veröffentlicht: (2025)

Perturbation Towards Easy Samples Improves Targeted Adversarial Transferability
von: Gao, Junqi, et al.
Veröffentlicht: (2024)

Evolution of Thought: Diverse and High-Quality Reasoning via Multi-Objective Optimization
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

Enhancing Adversarial Transferability via Information Bottleneck Constraints
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

SURGE: Surrogate Gradient Adaptation in Binary Neural Networks
von: Huang, Haoyu, et al.
Veröffentlicht: (2026)

Auto-FlexSwitch: Efficient Dynamic Model Merging via Learnable Task Vector Compression
von: Gao, Junqi, et al.
Veröffentlicht: (2026)

Boolean-aware Boolean Circuit Classification: A Comprehensive Study on Graph Neural Network
von: Ni, Liwei, et al.
Veröffentlicht: (2024)

Accelerating Diffusion Large Language Models with SlowFast Sampling: The Three Golden Principles
von: Wei, Qingyan, et al.
Veröffentlicht: (2025)

Dichotomy of Feature Learning and Unlearning: Fast-Slow Analysis on Neural Networks with Stochastic Gradient Descent
von: Imai, Shota, et al.
Veröffentlicht: (2026)

SR-CIS: Self-Reflective Incremental System with Decoupled Memory and Reasoning
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

What Happened in LLMs Layers when Trained for Fast vs. Slow Thinking: A Gradient Perspective
von: Li, Ming, et al.
Veröffentlicht: (2024)

Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks
von: Li, Kevin, et al.
Veröffentlicht: (2024)

Dynamic Bayesian Optimization Framework for Instruction Tuning in Partial Differential Equation Discovery
von: Qu, Junqi, et al.
Veröffentlicht: (2025)

MARTI-MARS$^2$: Scaling Multi-Agent Self-Search via Reinforcement Learning for Code Generation
von: Wang, Shijie, et al.
Veröffentlicht: (2026)

Investigating Deep Watermark Security: An Adversarial Transferability Perspective
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

CBNN: 3-Party Secure Framework for Customized Binary Neural Networks Inference
von: Dong, Benchang, et al.
Veröffentlicht: (2024)

Signal-Adaptive Trust Regions for Gradient-Free Optimization of Recurrent Spiking Neural Networks
von: Li, Jinhao, et al.
Veröffentlicht: (2026)

A New Convergence Analysis of Plug-and-Play Proximal Gradient Descent Under Prior Mismatch
von: Xu, Guixian, et al.
Veröffentlicht: (2026)

Enhancing Deep Learning with Optimized Gradient Descent: Bridging Numerical Methods and Neural Network Training
von: Ma, Yuhan, et al.
Veröffentlicht: (2024)

Simulating, Fast and Slow: Learning Policies for Black-Box Optimization
von: Massoli, Fabio Valerio, et al.
Veröffentlicht: (2024)

PhysicsCorrect: A Training-Free Approach for Stable Neural PDE Simulations
von: Huang, Xinquan, et al.
Veröffentlicht: (2025)

DiBA: Diagonal and Binary Matrix Approximation for Neural Network Weight Compression
von: Ono, Nobutaka
Veröffentlicht: (2026)

Adversarial Attacks on Fairness of Graph Neural Networks
von: Zhang, Binchi, et al.
Veröffentlicht: (2023)

ImplicitRDP: An End-to-End Visual-Force Diffusion Policy with Structural Slow-Fast Learning
von: Chen, Wendi, et al.
Veröffentlicht: (2025)

Fast Decentralized Gradient Tracking for Federated Minimax Optimization with Local Updates
von: Li, Chris Junchi
Veröffentlicht: (2024)

Slow-Fast Policy Optimization: Reposition-Before-Update for LLM Reasoning
von: Wang, Ziyan, et al.
Veröffentlicht: (2025)

Combinatorial Optimization with Automated Graph Neural Networks
von: Liu, Yang, et al.
Veröffentlicht: (2024)

MPAT: Building Robust Deep Neural Networks against Textual Adversarial Attacks
von: Zhang, Fangyuan, et al.
Veröffentlicht: (2024)

Riemannian Optimization on Relaxed Indicator Matrix Manifold
von: Yuan, Jinghui, et al.
Veröffentlicht: (2025)

Dispelling the Curse of Singularities in Neural Network Optimizations
von: Cao, Hengjie, et al.
Veröffentlicht: (2026)

Inverse Approximation Theory for Nonlinear Recurrent Neural Networks
von: Wang, Shida, et al.
Veröffentlicht: (2023)

Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks
von: Li, Binghui, et al.
Veröffentlicht: (2024)