Buchumschlag

Advancing the Understanding of Fixed Point Iterations in Deep Neural Networks: A Detailed Analytical Study

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ke, Yekun, Li, Xiaoyu, Liang, Yingyu, Shi, Zhenmei, Song, Zhao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Numerical Analysis
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Circuit Complexity Bounds for Visual Autoregressive Model
von: Ke, Yekun, et al.
Veröffentlicht: (2025)

Curse of Attention: A Kernel-Based Perspective for Why Transformers Fail to Generalize on Time Series Forecasting and Beyond
von: Ke, Yekun, et al.
Veröffentlicht: (2024)

Provable Differentially Private Computation of the Cross-Attention Mechanism
von: Ke, Yekun, et al.
Veröffentlicht: (2024)

Visual Autoregressive Transformers Must Use $Ω(n^2 d)$ Memory
von: Cao, Yang, et al.
Veröffentlicht: (2025)

On Computational Limits and Provably Efficient Criteria of Visual Autoregressive Models: A Fine-Grained Complexity Analysis
von: Ke, Yekun, et al.
Veröffentlicht: (2025)

Core-Halo Decomposition: Decentralizing Large-Scale Fixed-Point Problems
von: Haixiang, et al.
Veröffentlicht: (2026)

On the Computational Capability of Graph Neural Networks: A Circuit Complexity Bound Perspective
von: Li, Xiaoyu, et al.
Veröffentlicht: (2025)

IFNSO: Iteration-Free Newton-Schulz Orthogonalization
von: Hu, Chen, et al.
Veröffentlicht: (2026)

Quasi-Framelets: Robust Graph Neural Networks via Adaptive Framelet Convolution
von: Yang, Mengxi, et al.
Veröffentlicht: (2022)

On Computational Limits of FlowAR Models: Expressivity and Efficiency
von: Cao, Yang, et al.
Veröffentlicht: (2025)

Learning to Discover Iterative Spectral Algorithms
von: Liu, Zihang, et al.
Veröffentlicht: (2026)

Bypassing the Exponential Dependency: Looped Transformers Efficiently Learn In-context by Multi-step Gradient Descent
von: Chen, Bo, et al.
Veröffentlicht: (2024)

A Tighter Complexity Analysis of SparseGPT
von: Li, Xiaoyu, et al.
Veröffentlicht: (2024)

Solving PDEs With Deep Neural Nets under General Boundary Conditions
von: Zhang, Chenggong
Veröffentlicht: (2025)

Quasi-Random Physics-informed Neural Networks
von: Yu, Tianchi, et al.
Veröffentlicht: (2025)

Quantum Neural Network Restatement of Markov Jump Process
von: Zarezadeh, Z., et al.
Veröffentlicht: (2025)

A Dimensionality Reduction Approach for Convolutional Neural Networks
von: Meneghetti, Laura, et al.
Veröffentlicht: (2021)

ELM-DeepONets: Backpropagation-Free Training of Deep Operator Networks via Extreme Learning Machines
von: Son, Hwijae
Veröffentlicht: (2025)

Learning from Integral Losses in Physics Informed Neural Networks
von: Saleh, Ehsan, et al.
Veröffentlicht: (2023)

Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration
von: Pourkamali-Anaraki, Farhad
Veröffentlicht: (2026)

Deep Learning-Enhanced Preconditioning for Efficient Conjugate Gradient Solvers in Large-Scale PDE Systems
von: Li, Rui, et al.
Veröffentlicht: (2024)

Graph-Instructed Neural Networks for parametric problems with varying boundary conditions
von: Della Santa, Francesco, et al.
Veröffentlicht: (2026)

Moving Sampling Physics-informed Neural Networks induced by Moving Mesh PDE
von: Yang, Yu, et al.
Veröffentlicht: (2023)

Exploring the Frontiers of Softmax: Provable Optimization, Applications in Diffusion Model, and Beyond
von: Cao, Yang, et al.
Veröffentlicht: (2024)

Graph Neural Networks for Emulation of Finite-Element Ice Dynamics in Greenland and Antarctic Ice Sheets
von: Koo, Younghyun, et al.
Veröffentlicht: (2024)

Physics-Informed Neural Networks for High-Frequency and Multi-Scale Problems using Transfer Learning
von: Mustajab, Abdul Hannan, et al.
Veröffentlicht: (2024)

Graph Neural Network as Computationally Efficient Emulator of Ice-sheet and Sea-level System Model (ISSM)
von: Koo, Younghyun, et al.
Veröffentlicht: (2024)

Polynomial Selection in Spectral Graph Neural Networks: An Error-Sum of Function Slices Approach
von: Li, Guoming, et al.
Veröffentlicht: (2024)

Differential Privacy Mechanisms in Neural Tangent Kernel Regression
von: Gu, Jiuxiang, et al.
Veröffentlicht: (2024)

Accelerated Gradient-based Design Optimization Via Differentiable Physics-Informed Neural Operator: A Composites Autoclave Processing Case Study
von: Patel, Janak M., et al.
Veröffentlicht: (2025)

Scaling Law Phenomena Across Regression Paradigms: Multiple and Kernel Approaches
von: Chen, Yifang, et al.
Veröffentlicht: (2025)

PDE Generalization of In-Context Operator Networks: A Study on 1D Scalar Nonlinear Conservation Laws
von: Yang, Liu, et al.
Veröffentlicht: (2024)

The Computational Limits of State-Space Models and Mamba via the Lens of Circuit Complexity
von: Chen, Yifang, et al.
Veröffentlicht: (2024)

Theoretical Constraints on the Expressive Power of $\mathsf{RoPE}$-based Tensor Attention Transformers
von: Li, Xiaoyu, et al.
Veröffentlicht: (2024)

Training Tensor Attention Efficiently: From Cubic to Almost Linear Time
von: Cao, Yang, et al.
Veröffentlicht: (2024)

Towards Infinite-Long Prefix in Transformer
von: Liang, Yingyu, et al.
Veröffentlicht: (2024)

When Can We Solve the Weighted Low Rank Approximation Problem in Truly Subquadratic Time?
von: Li, Chenyang, et al.
Veröffentlicht: (2025)

On Uniform Weighted Deep Polynomial approximation
von: Yeon, Kingsley, et al.
Veröffentlicht: (2025)

DeepContour: A Hybrid Deep Learning Framework for Accelerating Generalized Eigenvalue Problem Solving via Efficient Contour Design
von: Chen, Yeqiu, et al.
Veröffentlicht: (2025)

Neural Control Variates with Automatic Integration
von: Li, Zilu, et al.
Veröffentlicht: (2024)