Buchumschlag

Investigating Layer Importance in Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Yang, Dong, Yanfei, Kawaguchi, Kenji
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On Importance of Layer Pruning for Smaller BERT Models and Low Resource Languages
von: Shirke, Mayur, et al.
Veröffentlicht: (2025)

Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models
von: Yao, Kai, et al.
Veröffentlicht: (2024)

GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning
von: Tian, Kaiyuan, et al.
Veröffentlicht: (2026)

Adaptive Pruning for Large Language Models with Structural Importance Awareness
von: Zheng, Haotian, et al.
Veröffentlicht: (2024)

Spectral Insights into Data-Oblivious Critical Layers in Large Language Models
von: Liu, Xuyuan, et al.
Veröffentlicht: (2025)

Investigating Symbolic Capabilities of Large Language Models
von: Dave, Neisarg, et al.
Veröffentlicht: (2024)

Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment
von: Liu, Jun, et al.
Veröffentlicht: (2024)

Single Character Perturbations Break LLM Alignment
von: Lin, Leon, et al.
Veröffentlicht: (2024)

Basis Sharing: Cross-Layer Parameter Sharing for Large Language Model Compression
von: Wang, Jingcun, et al.
Veröffentlicht: (2024)

Investigating Automatic Scoring and Feedback using Large Language Models
von: Katuka, Gloria Ashiya, et al.
Veröffentlicht: (2024)

Layer by Layer: Uncovering Where Multi-Task Learning Happens in Instruction-Tuned Large Language Models
von: Zhao, Zheng, et al.
Veröffentlicht: (2024)

Does Representation Matter? Exploring Intermediate Layers in Large Language Models
von: Skean, Oscar, et al.
Veröffentlicht: (2024)

Rethinking Layer Relevance in Large Language Models Beyond Cosine Similarity
von: Hinostroza, Cristian, et al.
Veröffentlicht: (2026)

Iterative Layer-wise Distillation for Efficient Compression of Large Language Models
von: Kovalev, Grigory, et al.
Veröffentlicht: (2025)

From Distributional to Overton Pluralism: Investigating Large Language Model Alignment
von: Lake, Thom, et al.
Veröffentlicht: (2024)

Scaling Embedding Layers in Language Models
von: Yu, Da, et al.
Veröffentlicht: (2025)

Controlling Large Language Model with Latent Actions
von: Jia, Chengxing, et al.
Veröffentlicht: (2025)

Task-Adaptive Pretrained Language Models via Clustered-Importance Sampling
von: Grangier, David, et al.
Veröffentlicht: (2024)

Investigating the Impact of Data Contamination of Large Language Models in Text-to-SQL Translation
von: Ranaldi, Federico, et al.
Veröffentlicht: (2024)

Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation
von: Zhang, Hongxiang, et al.
Veröffentlicht: (2025)

CLaSP: Learning Concepts for Time-Series Signals from Natural Language Supervision
von: Ito, Aoi, et al.
Veröffentlicht: (2024)

LayerIF: Estimating Layer Quality for Large Language Models using Influence Functions
von: Askari, Hadi, et al.
Veröffentlicht: (2025)

Knowledge Graph Large Language Model (KG-LLM) for Link Prediction
von: Shu, Dong, et al.
Veröffentlicht: (2024)

Self-Evaluation as a Defense Against Adversarial Attacks on LLMs
von: Brown, Hannah, et al.
Veröffentlicht: (2024)

Sorted LLaMA: Unlocking the Potential of Intermediate Layers of Large Language Models for Dynamic Inference
von: Kavehzadeh, Parsa, et al.
Veröffentlicht: (2023)

An Ensemble Classification Approach in A Multi-Layered Large Language Model Framework for Disease Prediction
von: Hamdi, Ali, et al.
Veröffentlicht: (2025)

LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning
von: Pan, Rui, et al.
Veröffentlicht: (2024)

Towards Trustable Language Models: Investigating Information Quality of Large Language Models
von: Rejeleene, Rick, et al.
Veröffentlicht: (2024)

Federated Learning with Layer Skipping: Efficient Training of Large Language Models for Healthcare NLP
von: Zhang, Lihong, et al.
Veröffentlicht: (2025)

Layer-wise Representation Dynamics: An Empirical Investigation Across Embedders and Base LLMs
von: Jiang, Jingzhou, et al.
Veröffentlicht: (2026)

Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models
von: Hengle, Amey, et al.
Veröffentlicht: (2024)

Robust and Scalable Model Editing for Large Language Models
von: Chen, Yingfa, et al.
Veröffentlicht: (2024)

On the Thinking-Language Modeling Gap in Large Language Models
von: Liu, Chenxi, et al.
Veröffentlicht: (2025)

ILRe: Intermediate Layer Retrieval for Context Compression in Causal Language Models
von: Liang, Manlai, et al.
Veröffentlicht: (2025)

Investigating Annotator Bias in Large Language Models for Hate Speech Detection
von: Das, Amit, et al.
Veröffentlicht: (2024)

Exploring Concept Depth: How Large Language Models Acquire Knowledge and Concept at Different Layers?
von: Jin, Mingyu, et al.
Veröffentlicht: (2024)

Demystifying Verbatim Memorization in Large Language Models
von: Huang, Jing, et al.
Veröffentlicht: (2024)

LoRAP: Transformer Sub-Layers Deserve Differentiated Structured Compression for Large Language Models
von: Li, Guangyan, et al.
Veröffentlicht: (2024)

A Single-Layer Model Can Do Language Modeling
von: Wang, Zanmin
Veröffentlicht: (2026)

Can Large Language Models Transform Computational Social Science?
von: Ziems, Caleb, et al.
Veröffentlicht: (2023)