Buchumschlag

Do Language Models Use Their Depth Efficiently?

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Csordás, Róbert, Manning, Christopher D., Potts, Christopher
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Neural and Evolutionary Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations
von: Csordás, Róbert, et al.
Veröffentlicht: (2024)

MoEUT: Mixture-of-Experts Universal Transformers
von: Csordás, Róbert, et al.
Veröffentlicht: (2024)

Thoughtbubbles: an Unsupervised Method for Parallel Thinking in Latent Space
von: Liu, Houjun, et al.
Veröffentlicht: (2025)

Towards graph neural networks for provably solving convex optimization problems
von: Qian, Chendi, et al.
Veröffentlicht: (2025)

Large Language Models As Evolution Strategies
von: Lange, Robert Tjarko, et al.
Veröffentlicht: (2024)

Attending to Graph Transformers
von: Müller, Luis, et al.
Veröffentlicht: (2023)

Beyond Uniform Scaling: Exploring Depth Heterogeneity in Neural Architectures
von: T, Akash Guna R., et al.
Veröffentlicht: (2024)

MERGE$^3$: Efficient Evolutionary Merging on Consumer-grade GPUs
von: Mencattini, Tommaso, et al.
Veröffentlicht: (2025)

Elastic Architecture Search for Efficient Language Models
von: Wang, Shang
Veröffentlicht: (2025)

Discovering Effective Policies for Land-Use Planning with Neuroevolution
von: Young, Daniel, et al.
Veröffentlicht: (2023)

EOE: Evolutionary Optimization of Experts for Training Language Models
von: Chen, Yingshi
Veröffentlicht: (2025)

NNGPT: Rethinking AutoML with Large Language Models
von: Kochnev, Roman, et al.
Veröffentlicht: (2025)

QL-LSTM: A Parameter-Efficient LSTM for Stable Long-Sequence Modeling
von: Nti, Isaac Kofi
Veröffentlicht: (2025)

JPC: Flexible Inference for Predictive Coding Networks in JAX
von: Innocenti, Francesco, et al.
Veröffentlicht: (2024)

Large Language Models as In-context AI Generators for Quality-Diversity
von: Lim, Bryan, et al.
Veröffentlicht: (2024)

Weight Sparsity Complements Activity Sparsity in Neuromorphic Language Models
von: Mukherji, Rishav, et al.
Veröffentlicht: (2024)

Mamba-PTQ: Outlier Channels in Recurrent Large Language Models
von: Pierro, Alessandro, et al.
Veröffentlicht: (2024)

Parallelization of Non-linear State-Space Models: Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling
von: Farsang, Mónika, et al.
Veröffentlicht: (2025)

SpikySpace: A Spiking State Space Model for Energy-Efficient Time Series Forecasting
von: Tang, Kaiwen, et al.
Veröffentlicht: (2026)

Brain-inspired Computational Intelligence via Predictive Coding
von: Salvatori, Tommaso, et al.
Veröffentlicht: (2023)

CoEvo: Continual Evolution of Symbolic Solutions Using Large Language Models
von: Guo, Ping, et al.
Veröffentlicht: (2024)

Agent-GWO: Collaborative Agents for Dynamic Prompt Optimization in Large Language Models
von: Wang, Xudong, et al.
Veröffentlicht: (2026)

EvoJail: Evolutionary Diverse Jailbreak Prompt Generation for Large Language Models
von: Tang, Rui, et al.
Veröffentlicht: (2026)

Towards Universal Offline Black-Box Optimization via Learning Language Model Embeddings
von: Tan, Rong-Xi, et al.
Veröffentlicht: (2025)

Mergenetic: a Simple Evolutionary Model Merging Library
von: Minut, Adrian Robert, et al.
Veröffentlicht: (2025)

SAN: Hypothesizing Long-Term Synaptic Development and Neural Engram Mechanism in Scalable Model's Parameter-Efficient Fine-Tuning
von: Dai, Gaole, et al.
Veröffentlicht: (2024)

Self-Improving Language Models for Evolutionary Program Synthesis: A Case Study on ARC-AGI
von: Pourcel, Julien, et al.
Veröffentlicht: (2025)

Position: Leverage Foundational Models for Black-Box Optimization
von: Song, Xingyou, et al.
Veröffentlicht: (2024)

MAR: Efficient Large Language Models via Module-aware Architecture Refinement
von: Cai, Junhong, et al.
Veröffentlicht: (2026)

Physics-Guided Foundation Model for Scientific Discovery: An Application to Aquatic Science
von: Yu, Runlong, et al.
Veröffentlicht: (2025)

Quality-Diversity Red-Teaming: Automated Generation of High-Quality and Diverse Attackers for Large Language Models
von: Wang, Ren-Jian, et al.
Veröffentlicht: (2025)

Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study
von: Zhang, Xian-Rong, et al.
Veröffentlicht: (2025)

QSLM: A Performance- and Memory-aware Quantization Framework with Tiered Search Strategy for Spike-driven Language Models
von: Putra, Rachmad Vidya Wicaksana, et al.
Veröffentlicht: (2026)

W-PCA Based Gradient-Free Proxy for Efficient Search of Lightweight Language Models
von: Wang, Shang
Veröffentlicht: (2025)

FedAvgen: Metadata for Model Aggregation In Communication Systems
von: Kiggundu, Anthony, et al.
Veröffentlicht: (2025)

BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation
von: Guo, Sihang, et al.
Veröffentlicht: (2026)

Efficient ANN-SNN Conversion with Error Compensation Learning
von: Liu, Chang, et al.
Veröffentlicht: (2025)

Evolution Meets Diffusion: Efficient Neural Architecture Generation
von: Zhou, Bingye, et al.
Veröffentlicht: (2025)

A Simple and Efficient Approach to Batch Bayesian Optimization
von: Zhan, Dawei, et al.
Veröffentlicht: (2024)

A Hybrid Swarm Intelligence Approach for Optimizing Multimodal Large Language Models Deployment in Edge-Cloud-based Federated Learning Environments
von: Rjouba, Gaith, et al.
Veröffentlicht: (2025)