Buchumschlag

Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	He, Weiyi, Xing, Yue
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Vocabulary In-Context Learning in Transformers: Benefits of Positional Encoding
von: Ma, Qian, et al.
Veröffentlicht: (2025)

On Rademacher Complexity-based Generalization Bounds for Deep Learning
von: Truong, Lan V.
Veröffentlicht: (2022)

Bridging the Gap: Rademacher Complexity in Robust and Standard Generalization
von: Xiao, Jiancong, et al.
Veröffentlicht: (2024)

Superiority of Multi-Head Attention in In-Context Linear Regression
von: Cui, Yingqian, et al.
Veröffentlicht: (2024)

Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers
von: Choromanski, Krzysztof Marcin, et al.
Veröffentlicht: (2023)

On the Geometry of Positional Encodings in Transformers
von: Cirrincione, Giansalvo
Veröffentlicht: (2026)

Improving Transformers using Faithful Positional Encoding
von: Idé, Tsuyoshi, et al.
Veröffentlicht: (2024)

Comparing Graph Transformers via Positional Encodings
von: Black, Mitchell, et al.
Veröffentlicht: (2024)

Transformers Learn Robust In-Context Regression under Distributional Uncertainty
von: Cao, Hoang T. H., et al.
Veröffentlicht: (2026)

Graph Transformers without Positional Encodings
von: Garg, Ayush
Veröffentlicht: (2024)

Size Transferability of Graph Transformers with Convolutional Positional Encodings
von: Porras-Valenzuela, Javier, et al.
Veröffentlicht: (2026)

Rademacher Complexity of Neural ODEs via Chen-Fliess Series
von: Hanson, Joshua, et al.
Veröffentlicht: (2024)

Benchmarking Positional Encodings for GNNs and Graph Transformers
von: Grötschla, Florian, et al.
Veröffentlicht: (2024)

DAM-GT: Dual Positional Encoding-Based Attention Masking Graph Transformer for Node Classification
von: Li, Chenyang, et al.
Veröffentlicht: (2025)

Tab-PET: Graph-Based Positional Encodings for Tabular Transformers
von: Leng, Yunze, et al.
Veröffentlicht: (2025)

Dynamic Graph Transformer with Correlated Spatial-Temporal Positional Encoding
von: Wang, Zhe, et al.
Veröffentlicht: (2024)

A Gapped Scale-Sensitive Dimension and Lower Bounds for Offset Rademacher Complexity
von: Jia, Zeyu, et al.
Veröffentlicht: (2025)

CoPE: A Lightweight Complex Positional Encoding
von: Amballa, Avinash
Veröffentlicht: (2025)

Provable In-Context Learning of Nonlinear Regression with Transformers
von: Li, Hongbo, et al.
Veröffentlicht: (2025)

Graph Transformer with Disease Subgraph Positional Encoding for Improved Comorbidity Prediction
von: Qin, Xihan, et al.
Veröffentlicht: (2025)

Positional Encoding in Transformer-Based Time Series Models: A Survey
von: Irani, Habib, et al.
Veröffentlicht: (2025)

Position Encoding with Random Float Sampling Enhances Length Generalization of Transformers
von: Shimizu, Atsushi, et al.
Veröffentlicht: (2026)

Dynamics of Transient Structure in In-Context Linear Regression Transformers
von: Carroll, Liam, et al.
Veröffentlicht: (2025)

Revisiting the Relationship between Adversarial and Clean Training: Why Clean Training Can Make Adversarial Training Better
von: Zhou, MingWei, et al.
Veröffentlicht: (2025)

Rademacher Meets Colors: More Expressivity, but at What Cost ?
von: Carrasco, Martin, et al.
Veröffentlicht: (2025)

On the Clean Generalization and Robust Overfitting in Adversarial Training from Two Theoretical Views: Representation Complexity and Training Dynamics
von: Li, Binghui, et al.
Veröffentlicht: (2023)

Lean Formalization of Generalization Error Bound by Rademacher Complexity and Dudley's Entropy Integral
von: Sonoda, Sho, et al.
Veröffentlicht: (2025)

One-Step Early Stopping Strategy using Neural Tangent Kernel Theory and Rademacher Complexity
von: Xavier, Daniel Martin, et al.
Veröffentlicht: (2024)

A Simple Reduction Scheme for Constrained Contextual Bandits with Adversarial Contexts via Regression
von: Sarkar, Dhruv, et al.
Veröffentlicht: (2026)

Do we really need the Rademacher complexities?
von: Bartl, Daniel, et al.
Veröffentlicht: (2025)

Disentangled and Distilled Encoder for Out-of-Distribution Reasoning with Rademacher Guarantees
von: Rahiminasab, Zahra, et al.
Veröffentlicht: (2025)

Ensuring Calibration Robustness in Split Conformal Prediction Under Adversarial Attacks
von: Qian, Xunlei, et al.
Veröffentlicht: (2025)

Auto-Encoding Adversarial Imitation Learning
von: Zhang, Kaifeng, et al.
Veröffentlicht: (2022)

DyWPE: Signal-Aware Dynamic Wavelet Positional Encoding for Time Series Transformers
von: Irani, Habib, et al.
Veröffentlicht: (2025)

RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings
von: Kim, Byeongchan, et al.
Veröffentlicht: (2026)

Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
von: Zuo, Chunsheng, et al.
Veröffentlicht: (2024)

PaTH Attention: Position Encoding via Accumulating Householder Transformations
von: Yang, Songlin, et al.
Veröffentlicht: (2025)

Fusion Matters: Length-Aware Analysis of Positional-Encoding Fusion in Transformers
von: Hallam, Mohamed Amine, et al.
Veröffentlicht: (2026)

Resilience of Rademacher chaos of low degree
von: Aigner-Horev, Elad, et al.
Veröffentlicht: (2024)

Algebraic Positional Encodings
von: Kogkalidis, Konstantinos, et al.
Veröffentlicht: (2023)