Buchumschlag

Don't be so Stief! Learning KV Cache low-rank approximation over the Stiefel manifold

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Benfenati, Luca, Risso, Matteo, Vannozzi, Andrea, Yüzügüler, Ahmet Caner, Cavigelli, Lukas, Macii, Enrico, Pagliari, Daniele Jahier, Burrello, Alessio
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

PRESERVE: Prefetching Model Weights and KV-Cache in Distributed LLM Serving
von: Yüzügüler, Ahmet Caner, et al.
Veröffentlicht: (2025)

OnDA: On-device Channel Pruning for Efficient Personalized Keyword Spotting
von: Risso, Matteo, et al.
Veröffentlicht: (2026)

Optimizing DNN Inference on Multi-Accelerator SoCs at Training-time
von: Risso, Matteo, et al.
Veröffentlicht: (2024)

Joint Pruning and Channel-wise Mixed-Precision Quantization for Efficient Deep Neural Networks
von: Motetti, Beatrice Alessandra, et al.
Veröffentlicht: (2024)

Accelerating Depthwise Separable Convolutions on Ultra-Low-Power Devices
von: Daghero, Francesco, et al.
Veröffentlicht: (2024)

Before Parc Fermé: RL-Time Pruning for Efficient Embodied LLMs in Autonomous Driving
von: Benfenati, Luca, et al.
Veröffentlicht: (2026)

Optimized Deployment of Deep Neural Networks for Visual Pose Estimation on Nano-drones
von: Risso, Matteo, et al.
Veröffentlicht: (2024)

Coupling Neural Networks and Physics Equations For Li-Ion Battery State-of-Charge Prediction
von: Pollo, Giovanni, et al.
Veröffentlicht: (2024)

HW-SW Optimization of DNNs for Privacy-preserving People Counting on Low-resolution Infrared Arrays
von: Risso, Matteo, et al.
Veröffentlicht: (2024)

BlankSkip: Early-exit Object Detection onboard Nano-drones
von: Marra, Carlo, et al.
Veröffentlicht: (2026)

EnhancePPG: Improving PPG-based Heart Rate Estimation with Self-Supervision and Augmentation
von: Benfenati, Luca, et al.
Veröffentlicht: (2024)

Integrating SystemC-AMS Power Modeling with a RISC-V ISS for Virtual Prototyping of Battery-operated Embedded Devices
von: Hamdi, Mohamed Amine, et al.
Veröffentlicht: (2024)

TyphoonMLA: A Mixed Naive-Absorb MLA Kernel For Shared Prefix
von: Yüzügüler, Ahmet Caner, et al.
Veröffentlicht: (2025)

Building Damage Assessment in Conflict Zones: A Deep Learning Approach Using Geospatial Sub-Meter Resolution Data
von: Risso, Matteo, et al.
Veröffentlicht: (2024)

Foundation Models for Structural Health Monitoring
von: Benfenati, Luca, et al.
Veröffentlicht: (2024)

Late Breaking Results: CHESSY: Coupled Hybrid Emulation with SystemC-FPGA Synchronization
von: Ruotolo, Lorenzo, et al.
Veröffentlicht: (2026)

Optimization and Deployment of Deep Neural Networks for PPG-based Blood Pressure Estimation Targeting Low-power Wearables
von: Burrello, Alessio, et al.
Veröffentlicht: (2024)

BISeizuRe: BERT-Inspired Seizure Data Representation to Improve Epilepsy Monitoring
von: Benfenati, Luca, et al.
Veröffentlicht: (2024)

Improving Continual Learning for Gaussian Splatting based Environments Reconstruction on Commercial Off-the-Shelf Edge Devices
von: Zaino, Ivan, et al.
Veröffentlicht: (2026)

MEbots: Integrating a RISC-V Virtual Platform with a Robotic Simulator for Energy-aware Design
von: Pollo, Giovanni, et al.
Veröffentlicht: (2025)

End-to-end Automated Deep Neural Network Optimization for PPG-based Blood Pressure Estimation on Wearables
von: Carlucci, Francesco, et al.
Veröffentlicht: (2026)

Deep Recommender Models Inference: Automatic Asymmetric Data Flow Optimization
von: Ruggeri, Giuseppe, et al.
Veröffentlicht: (2025)

Adaptive Deep Learning for Efficient Visual Pose Estimation aboard Ultra-low-power Nano-drones
von: Motetti, Beatrice Alessandra, et al.
Veröffentlicht: (2024)

Lightweight Software Kernels and Hardware Extensions for Efficient Sparse Deep Neural Networks on Microcontrollers
von: Daghero, Francesco, et al.
Veröffentlicht: (2025)

V-Seek: Accelerating LLM Reasoning on Open-hardware Server-class RISC-V Platforms
von: Rodrigo, Javier J. Poveda, et al.
Veröffentlicht: (2025)

Optimizing Foundation Model Inference on a Many-tiny-core Open-source RISC-V Platform
von: Potocnik, Viviane, et al.
Veröffentlicht: (2024)

Performance evaluation of acceleration of convolutional layers on OpenEdgeCGRA
von: Carpentieri, Nicolò, et al.
Veröffentlicht: (2024)

MATCHA: Efficient Deployment of Deep Neural Networks on Multi-Accelerator Heterogeneous Edge SoCs
von: Russo, Enrico, et al.
Veröffentlicht: (2026)

SilentWear: an Ultra-Low Power Wearable System for EMG-based Silent Speech Recognition
von: Spacone, Giusy, et al.
Veröffentlicht: (2026)

Model-Driven Dataset Generation for Data-Driven Battery SOH Models
von: Alamin, Khaled Sidahmed Sidahmed, et al.
Veröffentlicht: (2024)

Don't Waste Bits! Adaptive KV-Cache Quantization for Lightweight On-Device LLMs
von: Boroujeni, Sayed Pedram Haeri, et al.
Veröffentlicht: (2026)

HTVM: Efficient Neural Network Deployment On Heterogeneous TinyML Platforms
von: Van Delm, Josse, et al.
Veröffentlicht: (2024)

Integrating SystemC TLM into FMI 3.0 Co-Simulations with an Open-Source Approach
von: Albu, Andrei Mihai, et al.
Veröffentlicht: (2025)

Automatic integration of SystemC in the FMI standard for Software-defined Vehicle design
von: Pollo, Giovanni, et al.
Veröffentlicht: (2025)

Hierarchical Training of Deep Neural Networks Using Early Exiting
von: Sepehri, Yamin, et al.
Veröffentlicht: (2023)

MATCH: Model-Aware TVM-based Compilation for Heterogeneous Edge Devices
von: Hamdi, Mohamed Amine, et al.
Veröffentlicht: (2024)

SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights
von: Müller, Lorenz K., et al.
Veröffentlicht: (2025)

Don't Break the Cache: An Evaluation of Prompt Caching for Long-Horizon Agentic Tasks
von: Lumer, Elias, et al.
Veröffentlicht: (2026)

Don't be so negative! Score-based Generative Modeling with Oracle-assisted Guidance
von: Naderiparizi, Saeid, et al.
Veröffentlicht: (2023)

A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes
von: Benfenati, Alessandro, et al.
Veröffentlicht: (2024)