Copertina

Long Is More for Alignment: A Simple but Tough-to-Beat Baseline for Instruction Fine-Tuning

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhao, Hao, Andriushchenko, Maksym, Croce, Francesco, Flammarion, Nicolas
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Is In-Context Learning Sufficient for Instruction Following in LLMs?
di: Zhao, Hao, et al.
Pubblicazione: (2024)

Jailbreaking Leading Safety-Aligned LLMs with Simple Adaptive Attacks
di: Andriushchenko, Maksym, et al.
Pubblicazione: (2024)

Does Refusal Training in LLMs Generalize to the Past Tense?
di: Andriushchenko, Maksym, et al.
Pubblicazione: (2024)

HalluHard: A Hard Multi-Turn Hallucination Benchmark
di: Fan, Dongyang, et al.
Pubblicazione: (2026)

Competition Report: Finding Universal Jailbreak Backdoors in Aligned LLMs
di: Rando, Javier, et al.
Pubblicazione: (2024)

SPA: A Simple but Tough-to-Beat Baseline for Knowledge Injection
di: Tang, Kexian, et al.
Pubblicazione: (2026)

OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents
di: Kuntz, Thomas, et al.
Pubblicazione: (2025)

On the Out-of-Distribution Generalization of Reasoning in Multimodal LLMs for Simple Visual Planning Tasks
di: Neuhaus, Yannic, et al.
Pubblicazione: (2026)

Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning
di: Kopiczko, Dawid J., et al.
Pubblicazione: (2026)

Why Do We Need Weight Decay in Modern Deep Learning?
di: D'Angelo, Francesco, et al.
Pubblicazione: (2023)

Improved Baselines with Visual Instruction Tuning
di: Liu, Haotian, et al.
Pubblicazione: (2023)

Toward Secure Tuning: Mitigating Security Risks from Instruction Fine-Tuning
di: Du, Yanrui, et al.
Pubblicazione: (2024)

A NotSo Simple Way to Beat Simple Bench
di: Sane, Soham, et al.
Pubblicazione: (2024)

FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens
di: Schlarmann, Christian, et al.
Pubblicazione: (2025)

On the Adversarial Robustness of Discrete Image Tokenizers
di: Bhagwatkar, Rishika, et al.
Pubblicazione: (2026)

Does Instruction Tuning Make LLMs More Consistent?
di: Fierro, Constanza, et al.
Pubblicazione: (2024)

SIBO: A Simple Booster for Parameter-Efficient Fine-Tuning
di: Wen, Zhihao, et al.
Pubblicazione: (2024)

A Simple Yet Strong Baseline for Long-Term Conversational Memory of LLM Agents
di: Zhou, Sizhe, et al.
Pubblicazione: (2025)

(How) Learning Rates Regulate Catastrophic Overtraining
di: Rofin, Mark, et al.
Pubblicazione: (2026)

Capability-Based Scaling Trends for LLM-Based Red-Teaming
di: Panfilov, Alexander, et al.
Pubblicazione: (2025)

The Atomic Instruction Gap: Instruction-Tuned LLMs Struggle with Simple, Self-Contained Directives
di: Lim, Henry, et al.
Pubblicazione: (2025)

Less is More: High-value Data Selection for Visual Instruction Tuning
di: Liu, Zikang, et al.
Pubblicazione: (2024)

Instruction Matters: A Simple yet Effective Task Selection for Optimized Instruction Tuning of Specific Tasks
di: Lee, Changho, et al.
Pubblicazione: (2024)

Fine-Mem: Fine-Grained Feedback Alignment for Long-Horizon Memory Management
di: Ma, Weitao, et al.
Pubblicazione: (2026)

Filtering Beats Fine Tuning: A Bayesian Kalman View of In Context Learning in LLMs
di: Kiruluta, Andrew
Pubblicazione: (2026)

Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance
di: Alajrami, Ahmed, et al.
Pubblicazione: (2025)

Helpful to a Fault: Measuring Illicit Assistance in Multi-Turn, Multilingual LLM Agents
di: Talokar, Nivya, et al.
Pubblicazione: (2026)

GIFT: Guided Fine-Tuning and Transfer for Enhancing Instruction-Tuned Language Models
di: Ruan, Zhiwen, et al.
Pubblicazione: (2026)

Selective Induction Heads: How Transformers Select Causal Structures In Context
di: D'Angelo, Francesco, et al.
Pubblicazione: (2025)

Blind Baselines Beat Membership Inference Attacks for Foundation Models
di: Das, Debeshee, et al.
Pubblicazione: (2024)

Balancing Continuous Pre-Training and Instruction Fine-Tuning: Optimizing Instruction-Following in LLMs
di: Jindal, Ishan, et al.
Pubblicazione: (2024)

Stealth Fine-Tuning: Efficiently Breaking Alignment in RVLMs Using Self-Generated CoT
di: Yu, Le, et al.
Pubblicazione: (2025)

DELIFT: Data Efficient Language model Instruction Fine Tuning
di: Agarwal, Ishika, et al.
Pubblicazione: (2024)

ArgInstruct: Specialized Instruction Fine-Tuning for Computational Argumentation
di: Stahl, Maja, et al.
Pubblicazione: (2025)

Dynamics of Instruction Fine-Tuning for Chinese Large Language Models
di: Song, Chiyu, et al.
Pubblicazione: (2023)

Low-Resource Fine-Tuning for Multi-Task Structured Information Extraction with a Billion-Parameter Instruction-Tuned Model
di: Chih, Yu Cheng, et al.
Pubblicazione: (2025)

Improving Alignment and Robustness with Circuit Breakers
di: Zou, Andy, et al.
Pubblicazione: (2024)

Long Context Alignment with Short Instructions and Synthesized Positions
di: Wu, Wenhao, et al.
Pubblicazione: (2024)

Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment
di: Song, Feifan, et al.
Pubblicazione: (2024)

DEFT: Distribution-guided Efficient Fine-Tuning for Human Alignment
di: Zhu, Liang, et al.
Pubblicazione: (2026)