Buchumschlag

The Inhibitor: ReLU and Addition-Based Attention for Efficient Transformers under Fully Homomorphic Encryption on the Torus

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Brännvall, Rickard, Stoian, Andrei
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning 68T07 68T07 I.2.6
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Inhibitor Transformers and Gated RNNs for Torus Efficient Fully Homomorphic Encryption
von: Brännvall, Rickard, et al.
Veröffentlicht: (2023)

InhibiDistilbert: Knowledge Distillation for a ReLU and Addition-based Transformer
von: Zhang, Tony, et al.
Veröffentlicht: (2025)

Is ReLU Adversarially Robust?
von: Sooksatra, Korn, et al.
Veröffentlicht: (2024)

From Features to Graphs: Exploring Graph Structures and Pairwise Interactions via GNNs
von: Yamchote, Phaphontee, et al.
Veröffentlicht: (2025)

Distinguished In Uniform: Self Attention Vs. Virtual Nodes
von: Rosenbluth, Eran, et al.
Veröffentlicht: (2024)

When Does Content-Based Routing Work? Representation Requirements for Selective Attention in Hybrid Sequence Models
von: Basu, Abhinaba
Veröffentlicht: (2026)

FeNeC: Enhancing Continual Learning via Feature Clustering with Neighbor- or Logit-Based Classification
von: Książek, Kamil, et al.
Veröffentlicht: (2025)

Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols
von: Reitich, Fernando
Veröffentlicht: (2026)

Just In Time Transformers
von: Benali, Ahmed Ala Eddine, et al.
Veröffentlicht: (2024)

Deep Hedging Under Non-Convexity: Limitations and a Case for AlphaZero
von: Maggiolo, Matteo, et al.
Veröffentlicht: (2025)

Stage-wise Dynamics of Classifier-Free Guidance in Diffusion Models
von: Jin, Cheng, et al.
Veröffentlicht: (2025)

Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data
von: Helli, Kai, et al.
Veröffentlicht: (2024)

X-Factor: Quality Is a Dataset-Intrinsic Property
von: Couch, Josiah, et al.
Veröffentlicht: (2025)

A Constraint-Preserving Neural Network Approach for Solving Mean-Field Games Equilibrium
von: Liu, Jinwei, et al.
Veröffentlicht: (2025)

The Domain Mixed Unit: A New Neural Arithmetic Layer
von: Curry, Paul
Veröffentlicht: (2025)

Deep learning four decades of human migration
von: Gaskin, Thomas, et al.
Veröffentlicht: (2025)

IntSeqBERT: Learning Arithmetic Structure in OEIS via Modulo-Spectrum Embeddings
von: Nakasho, Kazuhisa
Veröffentlicht: (2026)

Your contrastive learning problem is secretly a distribution alignment problem
von: Chen, Zihao, et al.
Veröffentlicht: (2025)

Developing Explainable Machine Learning Model using Augmented Concept Activation Vector
von: Hassanpour, Reza, et al.
Veröffentlicht: (2024)

Client-Conditional Federated Learning via Local Training Data Statistics
von: Brännvall, Rickard
Veröffentlicht: (2026)

Optimizing Inference in Transformer-Based Models: A Multi-Method Benchmark
von: Ho, Siu Hang, et al.
Veröffentlicht: (2025)

Advances in Set Function Learning: A Survey of Techniques and Applications
von: Xie, Jiahao, et al.
Veröffentlicht: (2025)

Backpropagation Through Time For Networks With Long-Term Dependencies
von: Bird, George, et al.
Veröffentlicht: (2021)

Explicit Dropout: Deterministic Regularization for Transformer Architectures
von: Agrawal, Vidhi, et al.
Veröffentlicht: (2026)

Step-Aware Residual-Guided Diffusion for EEG Spatial Super-Resolution
von: Liu, Hongjun, et al.
Veröffentlicht: (2025)

ProactBench: Beyond What The User Asked For
von: Harfi, Sepehr, et al.
Veröffentlicht: (2026)

Gradient descent provably escapes saddle points in the training of shallow ReLU networks
von: Cheridito, Patrick, et al.
Veröffentlicht: (2022)

An Improved Adaptive PID Optimizer with Enhanced Convergence and Stability for Deep Learning
von: Saini, Saurabh, et al.
Veröffentlicht: (2026)

MAcPNN: Mutual Assisted Learning on Data Streams with Temporal Dependence
von: Giannini, Federico, et al.
Veröffentlicht: (2026)

Territory Paint Wars: Diagnosing and Mitigating Failure Modes in Competitive Multi-Agent PPO
von: Singh, Diyansha
Veröffentlicht: (2026)

Enhancing Predictive Accuracy in Tennis: Integrating Fuzzy Logic and CV-GRNN for Dynamic Match Outcome and Player Momentum Analysis
von: Li, Kechen, et al.
Veröffentlicht: (2025)

Graph Transformers: A Survey
von: Shehzad, Ahsan, et al.
Veröffentlicht: (2024)

Neural Concept Verifier: Scaling Prover-Verifier Games via Concept Encodings
von: Turan, Berkant, et al.
Veröffentlicht: (2025)

Lost in Aggregation: On a Fundamental Expressivity Limit of Message-Passing Graph Neural Networks
von: Rosenbluth, Eran
Veröffentlicht: (2026)

Repetition Makes Perfect: Recurrent Graph Neural Networks Match Message-Passing Limit
von: Rosenbluth, Eran, et al.
Veröffentlicht: (2025)

CGLearn: Consistent Gradient-Based Learning for Out-of-Distribution Generalization
von: Chowdhury, Jawad, et al.
Veröffentlicht: (2024)

An Artificial Intelligence-Based Framework for Predicting Emergency Department Overcrowding: Development and Evaluation Study
von: Vural, Orhun, et al.
Veröffentlicht: (2025)

The Concept Allocation Zone: Tracking How Concepts Form Across Transformer Depth
von: Henry, James
Veröffentlicht: (2026)

A Comparison Between Decision Transformers and Traditional Offline Reinforcement Learning Algorithms
von: Caunhye, Ali Murtaza, et al.
Veröffentlicht: (2025)

Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds
von: Alpay, Faruk, et al.
Veröffentlicht: (2026)