Buchumschlag

The Unreasonable Ineffectiveness of the Deeper Layers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gromov, Andrey, Tirumala, Kushal, Shapourian, Hassan, Glorioso, Paolo, Roberts, Daniel A.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Unreasonable Ineffectiveness of Nucleus Sampling on Mitigating Text Memorization
von: Borec, Luka, et al.
Veröffentlicht: (2024)

HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness
von: Wang, Xinyi, et al.
Veröffentlicht: (2025)

The Unreasonable Effectiveness of Eccentric Automatic Prompts
von: Battle, Rick, et al.
Veröffentlicht: (2024)

BlackMamba: Mixture of Experts for State-Space Models
von: Anthony, Quentin, et al.
Veröffentlicht: (2024)

The Unreasonable Effectiveness of Random Target Embeddings for Continuous-Output Neural Machine Translation
von: Tokarchuk, Evgeniia, et al.
Veröffentlicht: (2023)

The Unreasonable Effectiveness of Easy Training Data for Hard Tasks
von: Hase, Peter, et al.
Veröffentlicht: (2024)

Zamba: A Compact 7B SSM Hybrid Model
von: Glorioso, Paolo, et al.
Veröffentlicht: (2024)

Deeper Insights Without Updates: The Power of In-Context Learning Over Fine-Tuning
von: Yin, Qingyu, et al.
Veröffentlicht: (2024)

The Zamba2 Suite: Technical Report
von: Glorioso, Paolo, et al.
Veröffentlicht: (2024)

The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs
von: Bandarkar, Lucas, et al.
Veröffentlicht: (2025)

Retro-Search: Exploring Untaken Paths for Deeper and Efficient Reasoning
von: Lu, Ximing, et al.
Veröffentlicht: (2025)

Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence
von: McLeish, Sean, et al.
Veröffentlicht: (2025)

Thinking Deeper, Not Longer: Depth-Recurrent Transformers for Compositional Generalization
von: Chen, Hung-Hsuan
Veröffentlicht: (2026)

Text Quality-Based Pruning for Efficient Training of Language Models
von: Sharma, Vasu, et al.
Veröffentlicht: (2024)

Neural Diversity Regularizes Hallucinations in Language Models
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2025)

DualDiffusion: A Speculative Decoding Strategy for Masked Diffusion Models
von: Goyal, Satyam, et al.
Veröffentlicht: (2026)

Longer Context, Deeper Thinking: Uncovering the Role of Long-Context Ability in Reasoning
von: Yang, Wang, et al.
Veröffentlicht: (2025)

Sociolinguistically Informed Interpretability: A Case Study on Hinglish Emotion Classification
von: Tatariya, Kushal, et al.
Veröffentlicht: (2024)

When Worse is Better: Navigating the compression-generation tradeoff in visual tokenization
von: Ramanujan, Vivek, et al.
Veröffentlicht: (2024)

SmartSwitch: Advancing LLM Reasoning by Overcoming Underthinking via Promoting Deeper Thought Exploration
von: Zhang, Xichen, et al.
Veröffentlicht: (2025)

How Powerful are Decoder-Only Transformer Neural Models?
von: Roberts, Jesse
Veröffentlicht: (2023)

Multi-Head Attention Is a Multi-Player Game
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2026)

Cross-Layer Discrete Concept Discovery for Interpreting Language Models
von: Garg, Ankur, et al.
Veröffentlicht: (2025)

Unraveling the cognitive patterns of Large Language Models through module communities
von: Bhandari, Kushal Raj, et al.
Veröffentlicht: (2025)

Saudi-Dialect-ALLaM: LoRA Fine-Tuning for Dialectal Arabic Generation
von: Barmandah, Hassan
Veröffentlicht: (2025)

LayerBoost: Layer-Aware Attention Reduction for Efficient LLMs
von: Souibgui, Mohamed Ali, et al.
Veröffentlicht: (2026)

Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations
von: Yang, Ziyan, et al.
Veröffentlicht: (2022)

Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data
von: Gerstgrasser, Matthias, et al.
Veröffentlicht: (2024)

ConfLayers: Adaptive Confidence-based Layer Skipping for Self-Speculative Decoding
von: Amer, Walaa, et al.
Veröffentlicht: (2026)

To MRL or not to MRL: Text Embeddings are Robust to Truncation Without Matryoshka Learning, Except In Heavy Truncation Scenarios
von: Takeshita, Sotaro, et al.
Veröffentlicht: (2026)

Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate
von: Bochkov, A.
Veröffentlicht: (2025)

Projectable Models: One-Shot Generation of Small Specialized Transformers from Large Ones
von: Zhmoginov, Andrey, et al.
Veröffentlicht: (2025)

Language steering in latent space to mitigate unintended code-switching
von: Goncharov, Andrey, et al.
Veröffentlicht: (2025)

Layer by Layer: Uncovering Where Multi-Task Learning Happens in Instruction-Tuned Large Language Models
von: Zhao, Zheng, et al.
Veröffentlicht: (2024)

Scaling Embedding Layers in Language Models
von: Yu, Da, et al.
Veröffentlicht: (2025)

High-Layer Attention Pruning with Rescaling
von: Liu, Songtao, et al.
Veröffentlicht: (2025)

Learning to Skip the Middle Layers of Transformers
von: Lawson, Tim, et al.
Veröffentlicht: (2025)

Fast Think-on-Graph: Wider, Deeper and Faster Reasoning of Large Language Model on Knowledge Graph
von: Liang, Xujian, et al.
Veröffentlicht: (2025)

Residual Stream Analysis with Multi-Layer SAEs
von: Lawson, Tim, et al.
Veröffentlicht: (2024)

Investigating Layer Importance in Large Language Models
von: Zhang, Yang, et al.
Veröffentlicht: (2024)