Buchumschlag

QKV Projections Require a Fraction of Their Memory

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Khalaf, Malik, Shamshoum, Yara, Hodos, Nitzan, Sieradzki, Yuval, Schuster, Assaf
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DNCs Require More Planning Steps
von: Shamshoum, Yara, et al.
Veröffentlicht: (2024)

CompAct: Compressed Activations for Memory-Efficient LLM Training
von: Shamshoum, Yara, et al.
Veröffentlicht: (2024)

Modified Adaptive Tree-Structured Parzen Estimator for Hyperparameter Optimization
von: Sieradzki, Szymon, et al.
Veröffentlicht: (2025)

FOSI: Hybrid First and Second Order Optimization
von: Sivan, Hadar, et al.
Veröffentlicht: (2023)

Who Said Neural Networks Aren't Linear?
von: Berman, Nimrod, et al.
Veröffentlicht: (2025)

PyTupli: A Scalable Infrastructure for Collaborative Offline Reinforcement Learning Projects
von: Markgraf, Hannah, et al.
Veröffentlicht: (2025)

Adaptive Probabilistic ODE Solvers Without Adaptive Memory Requirements
von: Krämer, Nicholas
Veröffentlicht: (2024)

Facial Misrecognition Systems: Simple Weight Manipulations Force DNNs to Err Only on Specific Persons
von: Zehavi, Irad, et al.
Veröffentlicht: (2023)

Let's do the time-warp-attend: Learning topological invariants of dynamical systems
von: Moriel, Noa, et al.
Veröffentlicht: (2023)

LinkLogic: A New Method and Benchmark for Explainable Knowledge Graph Predictions
von: Kumar-Singh, Niraj, et al.
Veröffentlicht: (2024)

Large Language Models for Water Distribution Systems Modeling and Decision-Making
von: Goldshtein, Yinon, et al.
Veröffentlicht: (2025)

Upper Counterfactual Confidence Bounds: a New Optimism Principle for Contextual Bandits
von: Xu, Yunbei, et al.
Veröffentlicht: (2020)

CardiCat: a Variational Autoencoder for High-Cardinality Tabular Data
von: Carlin, Lee, et al.
Veröffentlicht: (2025)

R2VF: A Two-Step Regularization Algorithm to Cluster Categories in GLMs
von: Dror, Yuval Ben
Veröffentlicht: (2025)

Attention Sinks Are Provably Necessary in Softmax Transformers: Evidence from Trigger-Conditional Tasks
von: Ran-Milo, Yuval
Veröffentlicht: (2026)

Can sparse autoencoders make sense of gene expression latent variable models?
von: Schuster, Viktoria
Veröffentlicht: (2024)

Temporal Context Awareness: A Defense Framework Against Multi-turn Manipulation Attacks on Large Language Models
von: Kulkarni, Prashant, et al.
Veröffentlicht: (2025)

Efficient Convex Optimization Requires Superlinear Memory
von: Marsden, Annie, et al.
Veröffentlicht: (2022)

Data Augmentation for Deep Learning Regression Tasks by Machine Learning Models
von: Shmuel, Assaf, et al.
Veröffentlicht: (2025)

A Broader View of Thompson Sampling
von: Qu, Yanlin, et al.
Veröffentlicht: (2025)

The Cost of Learning under Multiple Change Points
von: Gafni, Tomer, et al.
Veröffentlicht: (2026)

Symbolic Regression as Feature Engineering Method for Machine and Deep Learning Regression Tasks
von: Shmuel, Assaf, et al.
Veröffentlicht: (2023)

Learning the Pareto Front Using Bootstrapped Observation Samples
von: Kim, Wonyoung, et al.
Veröffentlicht: (2023)

How Do the Architecture and Optimizer Affect Representation Learning? On the Training Dynamics of Representations in Deep Neural Networks
von: Sharon, Yuval, et al.
Veröffentlicht: (2024)

Class Distribution Shifts in Zero-Shot Learning: Learning Robust Representations
von: Slavutsky, Yuli, et al.
Veröffentlicht: (2023)

Enhancing Swarms Durability to Threats via Graph Signal Processing and GNN-based Generative Modeling
von: Karin, Jonathan, et al.
Veröffentlicht: (2025)

Nonparametric logistic regression with deep learning
von: Yara, Atsutomo, et al.
Veröffentlicht: (2024)

A Theory of Nonparametric Covariance Function Estimation for Discretely Observed Data
von: Terada, Yoshikazu, et al.
Veröffentlicht: (2026)

Temporal Contrastive Transformer for Financial Crime Detection: Self-Supervised Sequence Embeddings via Predictive Contrastive Coding
von: Butvinik, Danny, et al.
Veröffentlicht: (2026)

Memory-Efficient LLM Training by Various-Grained Low-Rank Projection of Gradients
von: Wang, Yezhen, et al.
Veröffentlicht: (2025)

GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection
von: Zhao, Jiawei, et al.
Veröffentlicht: (2024)

Global Lightning-Ignited Wildfires Prediction and Climate Change Projections based on Explainable Machine Learning Models
von: Shmuel, Assaf, et al.
Veröffentlicht: (2024)

AutoLoop: Fast Visual SLAM Fine-tuning through Agentic Curriculum Learning
von: Lahiany, Assaf, et al.
Veröffentlicht: (2025)

Tight Robustness Certification Through the Convex Hull of $\ell_0$ Attacks
von: Shapira, Yuval, et al.
Veröffentlicht: (2025)

Why Self-Supervised Encoders Want to Be Normal
von: Domb, Yuval
Veröffentlicht: (2026)

Can Vision-Language Models See Squares? Text-Recognition Mediates Spatial Reasoning Across Three Model Families
von: Levental, Yuval
Veröffentlicht: (2026)

Incorporating priors in learning: a random matrix study under a teacher-student framework
von: Tiomoko, Malik, et al.
Veröffentlicht: (2025)

Bayesian Design Principles for Frequentist Sequential Learning
von: Xu, Yunbei, et al.
Veröffentlicht: (2023)

Robust Regression with Ensembles Communicating over Noisy Channels
von: Ben-Hur, Yuval, et al.
Veröffentlicht: (2024)

GPU Memory Requirement Prediction for Deep Learning Task Based on Bidirectional Gated Recurrent Unit Optimization Transformer
von: Wang, Chao, et al.
Veröffentlicht: (2025)