Buchumschlag

Mamba-PTQ: Outlier Channels in Recurrent Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pierro, Alessandro, Abreu, Steven
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Neural and Evolutionary Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Q-S5: Towards Quantized State Space Models
von: Abreu, Steven, et al.
Veröffentlicht: (2024)

Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity
von: Pierro, Alessandro, et al.
Veröffentlicht: (2025)

Neuromorphic Principles for Efficient Large Language Models on Intel Loihi 2
von: Abreu, Steven, et al.
Veröffentlicht: (2025)

Large Language Models As Evolution Strategies
von: Lange, Robert Tjarko, et al.
Veröffentlicht: (2024)

Assessing the Emergent Symbolic Reasoning Abilities of Llama Large Language Models
von: Petruzzellis, Flavio, et al.
Veröffentlicht: (2024)

NNGPT: Rethinking AutoML with Large Language Models
von: Kochnev, Roman, et al.
Veröffentlicht: (2025)

Steering Large Language Models using Conceptors: Improving Addition-Based Activation Engineering
von: Postmus, Joris, et al.
Veröffentlicht: (2024)

Large Language Models as In-context AI Generators for Quality-Diversity
von: Lim, Bryan, et al.
Veröffentlicht: (2024)

Investigating Recurrent Transformers with Dynamic Halt
von: Chowdhury, Jishnu Ray, et al.
Veröffentlicht: (2024)

CoEvo: Continual Evolution of Symbolic Solutions Using Large Language Models
von: Guo, Ping, et al.
Veröffentlicht: (2024)

Agent-GWO: Collaborative Agents for Dynamic Prompt Optimization in Large Language Models
von: Wang, Xudong, et al.
Veröffentlicht: (2026)

EvoJail: Evolutionary Diverse Jailbreak Prompt Generation for Large Language Models
von: Tang, Rui, et al.
Veröffentlicht: (2026)

Learning Sequence Attractors in Recurrent Networks with Hidden Neurons
von: Lu, Yao, et al.
Veröffentlicht: (2024)

Fuzzy Recurrent Stochastic Configuration Networks for Industrial Data Analytics
von: Wang, Dianhui, et al.
Veröffentlicht: (2024)

Scalable Learning in Structured Recurrent Spiking Neural Networks without Backpropagation
von: Tang, Bo, et al.
Veröffentlicht: (2026)

A Scalable Hybrid Training Approach for Recurrent Spiking Neural Networks
von: Baronig, Maximilian, et al.
Veröffentlicht: (2025)

Quality-Diversity Red-Teaming: Automated Generation of High-Quality and Diverse Attackers for Large Language Models
von: Wang, Ren-Jian, et al.
Veröffentlicht: (2025)

Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study
von: Zhang, Xian-Rong, et al.
Veröffentlicht: (2025)

Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations
von: Csordás, Róbert, et al.
Veröffentlicht: (2024)

Recurrent Auto-Encoder Model for Large-Scale Industrial Sensor Signal Analysis
von: Wong, Timothy, et al.
Veröffentlicht: (2018)

Flat Channels to Infinity in Neural Loss Landscapes
von: Martinelli, Flavio, et al.
Veröffentlicht: (2025)

A Hybrid Swarm Intelligence Approach for Optimizing Multimodal Large Language Models Deployment in Edge-Cloud-based Federated Learning Environments
von: Rjouba, Gaith, et al.
Veröffentlicht: (2025)

Do Language Models Use Their Depth Efficiently?
von: Csordás, Róbert, et al.
Veröffentlicht: (2025)

Hyperbolic Fine-Tuning for Large Language Models
von: Yang, Menglin, et al.
Veröffentlicht: (2024)

EvoMerge: Neuroevolution for Large Language Models
von: Jiang, Yushu
Veröffentlicht: (2024)

EOE: Evolutionary Optimization of Experts for Training Language Models
von: Chen, Yingshi
Veröffentlicht: (2025)

A Temporal Anomaly Detection System for Vehicles utilizing Functional Working Groups and Sensor Channels
von: Neupane, Subash, et al.
Veröffentlicht: (2022)

Weight Sparsity Complements Activity Sparsity in Neuromorphic Language Models
von: Mukherji, Rishav, et al.
Veröffentlicht: (2024)

H-Node Attack and Defense in Large Language Models
von: Yocam, Eric, et al.
Veröffentlicht: (2026)

Fleet of Agents: Coordinated Problem Solving with Large Language Models
von: Klein, Lars, et al.
Veröffentlicht: (2024)

Large Language Models and Emergence: A Complex Systems Perspective
von: Krakauer, David C., et al.
Veröffentlicht: (2025)

Towards Universal Offline Black-Box Optimization via Learning Language Model Embeddings
von: Tan, Rong-Xi, et al.
Veröffentlicht: (2025)

Self-Improving Language Models for Evolutionary Program Synthesis: A Case Study on ARC-AGI
von: Pourcel, Julien, et al.
Veröffentlicht: (2025)

DEBUG-HD: Debugging TinyML models on-device using Hyper-Dimensional computing
von: Ghanathe, Nikhil P, et al.
Veröffentlicht: (2024)

SemlaFlow -- Efficient 3D Molecular Generation with Latent Attention and Equivariant Flow Matching
von: Irwin, Ross, et al.
Veröffentlicht: (2024)

Real-time Noise Detection and Classification in Single-Channel EEG: A Lightweight Machine Learning Approach for EMG, White Noise, and EOG Artifacts
von: Enshaei, Hossein, et al.
Veröffentlicht: (2025)

QSLM: A Performance- and Memory-aware Quantization Framework with Tiered Search Strategy for Spike-driven Language Models
von: Putra, Rachmad Vidya Wicaksana, et al.
Veröffentlicht: (2026)

Evolutionary Multi-Objective Optimization of Large Language Model Prompts for Balancing Sentiments
von: Baumann, Jill, et al.
Veröffentlicht: (2024)

LLM-SR: Scientific Equation Discovery via Programming with Large Language Models
von: Shojaee, Parshin, et al.
Veröffentlicht: (2024)

When Large Language Models Meet Evolutionary Algorithms: Potential Enhancements and Challenges
von: Wang, Chao, et al.
Veröffentlicht: (2024)