One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Potraghloo, Erfan Baghaei, Azizi, Seyedarmin, Kundu, Souvik, Pedram, Massoud
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation
von: Potraghloo, Erfan Baghaei, et al.
Veröffentlicht: (2025)

Activation Steering for Chain-of-Thought Compression
von: Azizi, Seyedarmin, et al.
Veröffentlicht: (2025)

LaMDA: Large Model Fine-Tuning via Spectrally Decomposed Low-Dimensional Adaptation
von: Azizi, Seyedarmin, et al.
Veröffentlicht: (2024)

Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning
von: Azizi, Seyedarmin, et al.
Veröffentlicht: (2026)

SkipKV: Selective Skipping of KV Generation and Storage for Efficient Inference with Large Reasoning Models
von: Tian, Jiayi, et al.
Veröffentlicht: (2025)

Efficient Noise Mitigation for Enhancing Inference Accuracy in DNNs on Mixed-Signal Accelerators
von: Azizi, Seyedarmin, et al.
Veröffentlicht: (2024)

PEANO-ViT: Power-Efficient Approximations of Non-Linearities in Vision Transformers
von: Sadeghi, Mohammad Erfan, et al.
Veröffentlicht: (2024)

Memory-Efficient Vision Transformers: An Activation-Aware Mixed-Rank Compression Strategy
von: Azizi, Seyedarmin, et al.
Veröffentlicht: (2024)

Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation
von: Azizi, Seyedarmin, et al.
Veröffentlicht: (2023)

Training-Free Acceleration of ViTs with Delayed Spatial Merging
von: Heo, Jung Hwan, et al.
Veröffentlicht: (2023)

VISTA: Vision-Language Inference for Training-Free Stock Time-Series Analysis
von: Khezresmaeilzadeh, Tina, et al.
Veröffentlicht: (2025)

COFT: Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning in Large Language Models
von: Fayyazi, Arya, et al.
Veröffentlicht: (2026)

LAWCAT: Efficient Distillation from Quadratic to Linear Attention with Convolution across Tokens for Long Context Modeling
von: Liu, Zeyu, et al.
Veröffentlicht: (2025)

Toward Graph-Tokenizing Large Language Models with Reconstructive Graph Instruction Tuning
von: Zhang, Zhongjian, et al.
Veröffentlicht: (2026)

Scaling Instruction-Tuned LLMs to Million-Token Contexts via Hierarchical Synthetic Data Generation
von: He, Linda, et al.
Veröffentlicht: (2025)

Understanding the Performance and Estimating the Cost of LLM Fine-Tuning
von: Xia, Yuchen, et al.
Veröffentlicht: (2024)

Instruction Tuning With Loss Over Instructions
von: Shi, Zhengyan, et al.
Veröffentlicht: (2024)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
von: Liu, Zeyu, et al.
Veröffentlicht: (2024)

Assortment of Attention Heads: Accelerating Federated PEFT with Head Pruning and Strategic Client Selection
von: Venkatesha, Yeshwanth, et al.
Veröffentlicht: (2025)

Beyond Perplexity: A Lightweight Benchmark for Knowledge Retention in Supervised Fine-Tuning
von: Shabgahi, Soheil Zibakhsh, et al.
Veröffentlicht: (2026)

Can Fine-Tuning Erase Your Edits? On the Fragile Coexistence of Knowledge Editing and Adaptation
von: Cheng, Yinjie, et al.
Veröffentlicht: (2025)

SEAL: Steerable Reasoning Calibration of Large Language Models for Free
von: Chen, Runjin, et al.
Veröffentlicht: (2025)

MultiSoc-4D: A Benchmark for Diagnosing Instruction-Induced Label Collapse in Closed-Set LLM Annotation of Bengali Social Media
von: Pramanik, Souvik, et al.
Veröffentlicht: (2026)

Rethinking Table Instruction Tuning
von: Deng, Naihao, et al.
Veröffentlicht: (2025)

Exploring Format Consistency for Instruction Tuning
von: Liang, Shihao, et al.
Veröffentlicht: (2023)

One Token Is Enough: Improving Diffusion Language Models with a Sink Token
von: Zhang, Zihou, et al.
Veröffentlicht: (2026)

Do Thinking Tokens Help or Trap? Towards More Efficient Large Reasoning Model
von: Ding, Bowen, et al.
Veröffentlicht: (2025)

Rubrics to Tokens: Bridging Response-level Rubrics and Token-level Rewards in Instruction Following Tasks
von: Xu, Tianze, et al.
Veröffentlicht: (2026)

TokenSeek: Memory Efficient Fine Tuning via Instance-Aware Token Ditching
von: Zeng, Runjia, et al.
Veröffentlicht: (2026)

Stronger Models are NOT Stronger Teachers for Instruction Tuning
von: Xu, Zhangchen, et al.
Veröffentlicht: (2024)

Controllable Text Generation in the Instruction-Tuning Era
von: Ashok, Dhananjay, et al.
Veröffentlicht: (2024)

A Closer Look at the Limitations of Instruction Tuning
von: Ghosh, Sreyan, et al.
Veröffentlicht: (2024)

SwitchCIT: Switching for Continual Instruction Tuning
von: Wu, Xinbo, et al.
Veröffentlicht: (2024)

Fragile Knowledge, Robust Instruction-Following: The Width Pruning Dichotomy in Llama-3.2
von: Martra, Pere
Veröffentlicht: (2025)

Bridging Writing Manner Gap in Visual Instruction Tuning by Creating LLM-aligned Instructions
von: Jing, Dong, et al.
Veröffentlicht: (2025)

CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing
von: Zheng, Wenhao, et al.
Veröffentlicht: (2025)

Contrastive Instruction Tuning
von: Yan, Tianyi Lorena, et al.
Veröffentlicht: (2024)

Data Selection for Multi-turn Dialogue Instruction Tuning
von: Li, Bo, et al.
Veröffentlicht: (2026)

RA-DIT: Retrieval-Augmented Dual Instruction Tuning
von: Lin, Xi Victoria, et al.
Veröffentlicht: (2023)

Phased Instruction Fine-Tuning for Large Language Models
von: Pang, Wei, et al.
Veröffentlicht: (2024)