Input-Label Correlation Governs a Linear-to-Nonlinear Transition in Random Features under Spiked Covariance
Fuente:
arXiv
Salvato in:
| Autori principali: | Demir, Samet, Dogan, Zafer |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Asymptotic Study of In-context Learning with Random Transformers through Equivalent Models
di: Demir, Samet, et al.
Pubblicazione: (2025)
di: Demir, Samet, et al.
Pubblicazione: (2025)
Optimal Attention Temperature Improves the Robustness of In-Context Learning under Distribution Shift in High Dimensions
di: Demir, Samet, et al.
Pubblicazione: (2025)
di: Demir, Samet, et al.
Pubblicazione: (2025)
Asymptotic Analysis of Two-Layer Neural Networks after One Gradient Step under Gaussian Mixtures Data with Structure
di: Demir, Samet, et al.
Pubblicazione: (2025)
di: Demir, Samet, et al.
Pubblicazione: (2025)
How Data Mixing Shapes In-Context Learning: Asymptotic Equivalence for Transformers with MLPs
di: Demir, Samet, et al.
Pubblicazione: (2025)
di: Demir, Samet, et al.
Pubblicazione: (2025)
Implicitly Normalized Online PCA: A Regularized Algorithm with Exact High-Dimensional Dynamics
di: Demir, Samet, et al.
Pubblicazione: (2025)
di: Demir, Samet, et al.
Pubblicazione: (2025)
Learning Beyond the Gaussian Data: Learning Dynamics of Neural Networks on an Expressive and Cumulant-Controllable Data Model
di: Ure, Onat, et al.
Pubblicazione: (2026)
di: Ure, Onat, et al.
Pubblicazione: (2026)
Learnability and Competition in High-Dimensional Multi-Component ICA
di: Genc, Eser Ilke, et al.
Pubblicazione: (2026)
di: Genc, Eser Ilke, et al.
Pubblicazione: (2026)
Learning Rate Should Scale Inversely with High-Order Data Moments in High-Dimensional Online Independent Component Analysis
di: Gultekin, M. Oguzhan, et al.
Pubblicazione: (2025)
di: Gultekin, M. Oguzhan, et al.
Pubblicazione: (2025)
Benefits of Online Tilted Empirical Risk Minimization: A Case Study of Outlier Detection and Robust Regression
di: Yildirim, Yigit E., et al.
Pubblicazione: (2025)
di: Yildirim, Yigit E., et al.
Pubblicazione: (2025)
Exploring the Precise Dynamics of Single-Layer GAN Models: Leveraging Multi-Feature Discriminators for High-Dimensional Subspace Learning
di: Bond, Andrew, et al.
Pubblicazione: (2024)
di: Bond, Andrew, et al.
Pubblicazione: (2024)
Spectrally-Corrected and Regularized Linear Discriminant Analysis for Spiked Covariance Model
di: Li, Hua, et al.
Pubblicazione: (2022)
di: Li, Hua, et al.
Pubblicazione: (2022)
Covariance-Aware Transformers for Quadratic Programming and Decision Making
di: Tire, Kutay, et al.
Pubblicazione: (2026)
di: Tire, Kutay, et al.
Pubblicazione: (2026)
Graph Random Walk with Feature-Label Space Alignment: A Multi-Label Feature Selection Method
di: Gao, Wanfu, et al.
Pubblicazione: (2025)
di: Gao, Wanfu, et al.
Pubblicazione: (2025)
Regularized Linear Discriminant Analysis Using a Nonlinear Covariance Matrix Estimator
di: Mahadi, Maaz, et al.
Pubblicazione: (2024)
di: Mahadi, Maaz, et al.
Pubblicazione: (2024)
Safe Distributionally Robust Feature Selection under Covariate Shift
di: Hanada, Hiroyuki, et al.
Pubblicazione: (2026)
di: Hanada, Hiroyuki, et al.
Pubblicazione: (2026)
Fréchet Cumulative Covariance Net for Deep Nonlinear Sufficient Dimension Reduction with Random Objects
di: Yuan, Hang, et al.
Pubblicazione: (2025)
di: Yuan, Hang, et al.
Pubblicazione: (2025)
Optimal Algorithms in Linear Regression under Covariate Shift: On the Importance of Precondition
di: Liu, Yuanshi, et al.
Pubblicazione: (2025)
di: Liu, Yuanshi, et al.
Pubblicazione: (2025)
Statistical Limits in Random Tensors with Multiple Correlated Spikes
di: Qi, Yang, et al.
Pubblicazione: (2025)
di: Qi, Yang, et al.
Pubblicazione: (2025)
The Algorithmic Phase Transition in Correlated Spiked Models
di: Li, Zhangsong
Pubblicazione: (2025)
di: Li, Zhangsong
Pubblicazione: (2025)
Random Feature Spiking Neural Networks
di: Gollwitzer, Maximilian, et al.
Pubblicazione: (2025)
di: Gollwitzer, Maximilian, et al.
Pubblicazione: (2025)
Linear Transformer Topological Masking with Graph Random Features
di: Reid, Isaac, et al.
Pubblicazione: (2024)
di: Reid, Isaac, et al.
Pubblicazione: (2024)
Signal-Plus-Noise Decomposition of Nonlinear Spiked Random Matrix Models
di: Moniri, Behrad, et al.
Pubblicazione: (2024)
di: Moniri, Behrad, et al.
Pubblicazione: (2024)
Generalization for Least Squares Regression With Simple Spiked Covariances
di: Li, Jiping, et al.
Pubblicazione: (2024)
di: Li, Jiping, et al.
Pubblicazione: (2024)
Learning from Label Proportions and Covariate-shifted Instances
di: Singh, Sagalpreet, et al.
Pubblicazione: (2024)
di: Singh, Sagalpreet, et al.
Pubblicazione: (2024)
Adaptive Collaborative Correlation Learning-based Semi-Supervised Multi-Label Feature Selection
di: Yang, Li, et al.
Pubblicazione: (2024)
di: Yang, Li, et al.
Pubblicazione: (2024)
Spectrally-Corrected and Regularized QDA Classifier for Spiked Covariance Model
di: Luo, Wenya, et al.
Pubblicazione: (2025)
di: Luo, Wenya, et al.
Pubblicazione: (2025)
Learning Fair Invariant Representations under Covariate and Correlation Shifts Simultaneously
di: Li, Dong, et al.
Pubblicazione: (2024)
di: Li, Dong, et al.
Pubblicazione: (2024)
Modeling Covariate Transition for Efficient Estimation of Longitudinal Treatment Effects in Randomized Experiments
di: Chihara, Naoki, et al.
Pubblicazione: (2026)
di: Chihara, Naoki, et al.
Pubblicazione: (2026)
On Efficient Estimation of Distributional Treatment Effects under Covariate-Adaptive Randomization
di: Byambadalai, Undral, et al.
Pubblicazione: (2025)
di: Byambadalai, Undral, et al.
Pubblicazione: (2025)
From Linear to Nonlinear: Provable Weak-to-Strong Generalization through Feature Learning
di: Oh, Junsoo, et al.
Pubblicazione: (2025)
di: Oh, Junsoo, et al.
Pubblicazione: (2025)
A Powerful Random Forest Featuring Linear Extensions (RaFFLE)
di: Raymaekers, Jakob, et al.
Pubblicazione: (2025)
di: Raymaekers, Jakob, et al.
Pubblicazione: (2025)
State-Space Model Inspired Multiple-Input Multiple-Output Spiking Neurons
di: Karilanova, Sanja, et al.
Pubblicazione: (2025)
di: Karilanova, Sanja, et al.
Pubblicazione: (2025)
Covariate-Elaborated Robust Partial Information Transfer with Conditional Spike-and-Slab Prior
di: Zhang, Ruqian, et al.
Pubblicazione: (2024)
di: Zhang, Ruqian, et al.
Pubblicazione: (2024)
Double Descent and Overfitting under Noisy Inputs and Distribution Shift for Linear Denoisers
di: Kausik, Chinmaya, et al.
Pubblicazione: (2023)
di: Kausik, Chinmaya, et al.
Pubblicazione: (2023)
Input-Specific and Universal Adversarial Attack Generation for Spiking Neural Networks in the Spiking Domain
di: Raptis, Spyridon, et al.
Pubblicazione: (2025)
di: Raptis, Spyridon, et al.
Pubblicazione: (2025)
Deep Dictionary-Free Method for Identifying Linear Model of Nonlinear System with Input Delay
di: Valábek, Patrik, et al.
Pubblicazione: (2025)
di: Valábek, Patrik, et al.
Pubblicazione: (2025)
Adaptive Memory Decay for Log-Linear Attention
di: Amin, Yaxita, et al.
Pubblicazione: (2026)
di: Amin, Yaxita, et al.
Pubblicazione: (2026)
Investigating GNN Convergence on Large Randomly Generated Graphs with Realistic Node Feature Correlations
di: Ahmed, Mohammed Zain Ali
Pubblicazione: (2026)
di: Ahmed, Mohammed Zain Ali
Pubblicazione: (2026)
Induced Covariance for Causal Discovery in Linear Sparse Structures
di: Mohseni-Sehdeh, Saeed, et al.
Pubblicazione: (2024)
di: Mohseni-Sehdeh, Saeed, et al.
Pubblicazione: (2024)
Asymptotics of Random Feature Regression Beyond the Linear Scaling Regime
di: Hu, Hong, et al.
Pubblicazione: (2024)
di: Hu, Hong, et al.
Pubblicazione: (2024)
Documenti analoghi
-
Asymptotic Study of In-context Learning with Random Transformers through Equivalent Models
di: Demir, Samet, et al.
Pubblicazione: (2025) -
Optimal Attention Temperature Improves the Robustness of In-Context Learning under Distribution Shift in High Dimensions
di: Demir, Samet, et al.
Pubblicazione: (2025) -
Asymptotic Analysis of Two-Layer Neural Networks after One Gradient Step under Gaussian Mixtures Data with Structure
di: Demir, Samet, et al.
Pubblicazione: (2025) -
How Data Mixing Shapes In-Context Learning: Asymptotic Equivalence for Transformers with MLPs
di: Demir, Samet, et al.
Pubblicazione: (2025) -
Implicitly Normalized Online PCA: A Regularized Algorithm with Exact High-Dimensional Dynamics
di: Demir, Samet, et al.
Pubblicazione: (2025)