Buchumschlag

Brevity is the soul of wit: Pruning long files for code generation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Singh, Aaditya K., Yang, Yu, Tirumala, Kushal, Elhoushi, Mostafa, Morcos, Ari S.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Brevity is the soul of sustainability: Characterizing LLM response lengths
von: Poddar, Soham, et al.
Veröffentlicht: (2025)

Sieve: Multimodal Dataset Pruning Using Image Captioning Models
von: Mahmoud, Anas, et al.
Veröffentlicht: (2023)

Effective pruning of web-scale datasets based on complexity of concept clusters
von: Abbas, Amro, et al.
Veröffentlicht: (2024)

Guiding Giants: Lightweight Controllers for Weighted Activation Steering in LLMs
von: Hegazy, Amr, et al.
Veröffentlicht: (2025)

AST-T5: Structure-Aware Pretraining for Code Generation and Understanding
von: Gong, Linyuan, et al.
Veröffentlicht: (2024)

Calibrating Beyond English: Language Diversity for Better Quantized Multilingual LLM
von: Chimoto, Everlyn Asiko, et al.
Veröffentlicht: (2026)

Brevity Constraints Reverse Performance Hierarchies in Language Models
von: Hakim, MD Azizul
Veröffentlicht: (2026)

Structure-Aware Fill-in-the-Middle Pretraining for Code
von: Gong, Linyuan, et al.
Veröffentlicht: (2025)

The Unreasonable Ineffectiveness of the Deeper Layers
von: Gromov, Andrey, et al.
Veröffentlicht: (2024)

Evaluation of LLMs on Syntax-Aware Code Fill-in-the-Middle Tasks
von: Gong, Linyuan, et al.
Veröffentlicht: (2024)

Text Quality-Based Pruning for Efficient Training of Language Models
von: Sharma, Vasu, et al.
Veröffentlicht: (2024)

Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs
von: Singh, Aaditya K., et al.
Veröffentlicht: (2024)

When Worse is Better: Navigating the compression-generation tradeoff in visual tokenization
von: Ramanujan, Vivek, et al.
Veröffentlicht: (2024)

CHAI: Clustered Head Attention for Efficient LLM Inference
von: Agarwal, Saurabh, et al.
Veröffentlicht: (2024)

Diffusion is a code repair operator and generator
von: Singh, Mukul, et al.
Veröffentlicht: (2025)

Investigating Content Planning for Navigating Trade-offs in Knowledge-Grounded Dialogue
von: Chawla, Kushal, et al.
Veröffentlicht: (2024)

IG-Pruning: Input-Guided Block Pruning for Large Language Models
von: Qiao, Kangyu, et al.
Veröffentlicht: (2025)

The broader spectrum of in-context learning
von: Lampinen, Andrew Kyle, et al.
Veröffentlicht: (2024)

Pruning Weights but Not Truth: Safeguarding Truthfulness While Pruning LLMs
von: Fu, Yao, et al.
Veröffentlicht: (2025)

CLIPPER: Compression enables long-context synthetic data generation
von: Pham, Chau Minh, et al.
Veröffentlicht: (2025)

ThinkPrune: Pruning Long Chain-of-Thought of LLMs via Reinforcement Learning
von: Hou, Bairu, et al.
Veröffentlicht: (2025)

Enhancing Grammatical Error Detection using BERT with Cleaned Lang-8 Dataset
von: Nihalani, Rahul, et al.
Veröffentlicht: (2024)

Is C4 Dataset Optimal for Pruning? An Investigation of Calibration Data for LLM Pruning
von: Bandari, Abhinav, et al.
Veröffentlicht: (2024)

Think Before You Prune: Selective Self-Generated Calibration for Pruning Large Reasoning Models
von: Xiang, Yang, et al.
Veröffentlicht: (2025)

Mic Drop or Data Flop? Evaluating the Fitness for Purpose of AI Voice Interviewers for Data Collection within Quantitative & Qualitative Research Contexts
von: Tirumala, Shreyas, et al.
Veröffentlicht: (2025)

UNDO: Understanding Distillation as Optimization
von: Jain, Kushal, et al.
Veröffentlicht: (2025)

Distinct Computations Emerge From Compositional Curricula in In-Context Learning
von: Lee, Jin Hwa, et al.
Veröffentlicht: (2025)

VERISCORE: Evaluating the factuality of verifiable claims in long-form text generation
von: Song, Yixiao, et al.
Veröffentlicht: (2024)

Evaluation data contamination in LLMs: how do we measure it and (when) does it matter?
von: Singh, Aaditya K., et al.
Veröffentlicht: (2024)

Prune&Comp: Free Lunch for Layer-Pruned LLMs via Iterative Pruning with Magnitude Compensation
von: Chen, Xinrui, et al.
Veröffentlicht: (2025)

PruneCD: Contrasting Pruned Self Model to Improve Decoding Factuality
von: Yu, Byeongho, et al.
Veröffentlicht: (2025)

GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings
von: Tang, Yixuan, et al.
Veröffentlicht: (2025)

Blind Spots in the Guard: How Domain-Camouflaged Injection Attacks Evade Detection in Multi-Agent LLM Systems
von: Pai, Aaditya
Veröffentlicht: (2026)

On the Interplay between Positional Encodings, Morphological Complexity, and Word Order Flexibility
von: Tatariya, Kushal, et al.
Veröffentlicht: (2025)

CRAFT: Training-Free Cascaded Retrieval for Tabular QA
von: Singh, Adarsh, et al.
Veröffentlicht: (2025)

Demystifying Synthetic Data in LLM Pre-training: A Systematic Study of Scaling Laws, Benefits, and Pitfalls
von: Kang, Feiyang, et al.
Veröffentlicht: (2025)

ParallelSearch: Train your LLMs to Decompose Query and Search Sub-queries in Parallel with Reinforcement Learning
von: Zhao, Shu, et al.
Veröffentlicht: (2025)

Prune as You Generate: Online Rollout Pruning for Faster and Better RLVR
von: Xu, Haobo, et al.
Veröffentlicht: (2026)

Neural Diversity Regularizes Hallucinations in Language Models
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2025)

DiffuMask: Diffusion Language Model for Token-level Prompt Pruning
von: Zheng, Caleb, et al.
Veröffentlicht: (2026)