Buchumschlag

Transformer Injectivity & Geometric Robustness - Analytic Margins and Bi-Lipschitz Uniformity of Sequence-Level Hidden States

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	von Strauss, Mikael
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Certified Robustness via Dynamic Margin Maximization and Improved Lipschitz Regularization
von: Fazlyab, Mahyar, et al.
Veröffentlicht: (2023)

Bi-Lipschitz Autoencoder With Injectivity Guarantee
von: Zhan, Qipeng, et al.
Veröffentlicht: (2026)

Language Models are Injective and Hence Invertible
von: Nikolaou, Giorgos, et al.
Veröffentlicht: (2025)

On the Role of Hidden States of Modern Hopfield Network in Transformer
von: Masumura, Tsubasa, et al.
Veröffentlicht: (2025)

On the (Non) Injectivity of Piecewise Linear Janossy Pooling
von: Reshef, Ilai, et al.
Veröffentlicht: (2025)

Lipschitz-aware Linearity Grafting for Certified Robustness
von: Han, Yongjin, et al.
Veröffentlicht: (2025)

FSW-GNN: A Bi-Lipschitz WL-Equivalent Graph Neural Network
von: Sverdlov, Yonatan, et al.
Veröffentlicht: (2024)

Ensemble Methods for Sequence Classification with Hidden Markov Models
von: Kawawa-Beaudan, Maxime, et al.
Veröffentlicht: (2024)

Robust Behavior Cloning Via Global Lipschitz Regularization
von: Wu, Shili, et al.
Veröffentlicht: (2025)

Efficient Robust Conformal Prediction via Lipschitz-Bounded Networks
von: Massena, Thomas, et al.
Veröffentlicht: (2025)

OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions
von: Luo, Charles
Veröffentlicht: (2026)

Can we ease the Injectivity Bottleneck on Lorentzian Manifolds for Graph Neural Networks?
von: Srinivasan, Srinitish, et al.
Veröffentlicht: (2025)

Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation
von: Batten, Ben, et al.
Veröffentlicht: (2024)

Hidden-State Privacy Has an Empty Middle
von: Bell, Alexander Okezue
Veröffentlicht: (2026)

1-Lipschitz Network Initialization for Certifiably Robust Classification Applications: A Decay Problem
von: Juston, Marius F. R., et al.
Veröffentlicht: (2025)

Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness
von: Chen, Erh-Chung, et al.
Veröffentlicht: (2024)

Robust Finite-Memory Policy Gradients for Hidden-Model POMDPs
von: Galesloot, Maris F. L., et al.
Veröffentlicht: (2025)

Geometric and Dynamic Scaling in Deep Transformers
von: Su, Haoran, et al.
Veröffentlicht: (2026)

Evaluating the Sensitivity of BiLSTM Forecasting Models to Sequence Length and Input Noise
von: Albelali, Salma, et al.
Veröffentlicht: (2025)

Estimating Neural Network Robustness via Lipschitz Constant and Architecture Sensitivity
von: Abuduweili, Abulikemu, et al.
Veröffentlicht: (2024)

Incentivized Lipschitz Bandits
von: Chakraborty, Sourav, et al.
Veröffentlicht: (2025)

Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density
von: Yang, Peiyu, et al.
Veröffentlicht: (2024)

Transformers as Multi-task Learners: Decoupling Features in Hidden Markov Models
von: Hao, Yifan, et al.
Veröffentlicht: (2025)

Are Transformers More Robust? Towards Exact Robustness Verification for Transformers
von: Liao, Brian Hsuan-Cheng, et al.
Veröffentlicht: (2022)

In-Context Learning with Transformers: Softmax Attention Adapts to Function Lipschitzness
von: Collins, Liam, et al.
Veröffentlicht: (2024)

Discovering Hidden Algebraic Structures via Transformers with Rank-Aware Beam GRPO
von: Lee, Jaeha, et al.
Veröffentlicht: (2025)

Learning Sequence Attractors in Recurrent Networks with Hidden Neurons
von: Lu, Yao, et al.
Veröffentlicht: (2024)

Geometric Median (GM) Matching for Robust Data Pruning
von: Acharya, Anish, et al.
Veröffentlicht: (2024)

Parallel BiLSTM-Transformer networks for forecasting chaotic dynamics
von: Ma, Junwen, et al.
Veröffentlicht: (2025)

BiCLIP: Domain Canonicalization via Structured Geometric Transformation
von: Mantini, Pranav, et al.
Veröffentlicht: (2026)

Bi-Level Contextual Bandits for Individualized Resource Allocation under Delayed Feedback
von: Almasi, Mohammadsina, et al.
Veröffentlicht: (2025)

Beyond Uniform Sampling: Synergistic Active Learning and Input Denoising for Robust Neural Operators
von: Roy, Samrendra, et al.
Veröffentlicht: (2026)

Chimera: State Space Models Beyond Sequences
von: Lahoti, Aakash, et al.
Veröffentlicht: (2025)

eMargin: Revisiting Contrastive Learning with Margin-Based Separation
von: Shamba, Abdul-Kazeem, et al.
Veröffentlicht: (2025)

Principles of Lipschitz continuity in neural networks
von: Luo, Róisín
Veröffentlicht: (2026)

Coded Robust Aggregation for Distributed Learning under Byzantine Attacks
von: Li, Chengxi, et al.
Veröffentlicht: (2025)

Spatial-Aware Deep Reinforcement Learning for the Traveling Officer Problem
von: Strauß, Niklas, et al.
Veröffentlicht: (2024)

Rethinking Random Transformers as Adaptive Sequence Smoothers for Sleep Staging
von: Liu, Guisong, et al.
Veröffentlicht: (2026)

Marginals Before Conditionals
von: Sahasrabudhe, Mihir
Veröffentlicht: (2026)

Generative Marginalization Models
von: Liu, Sulin, et al.
Veröffentlicht: (2023)