Buchumschlag

The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Xinyi, Liao, Baohao, Qi, Jirui, Eustratiadis, Panagiotis, Monz, Christof, Bisazza, Arianna, de Rijke, Maarten
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Is It a Free Lunch for Removing Outliers during Pretraining?
von: Liao, Baohao, et al.
Veröffentlicht: (2024)

3-in-1: 2D Rotary Adaptation for Efficient Finetuning, Efficient Batching and Composability
von: Liao, Baohao, et al.
Veröffentlicht: (2024)

ApiQ: Finetuning of 2-Bit Quantized Large Language Model
von: Liao, Baohao, et al.
Veröffentlicht: (2024)

Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models
von: Qi, Jirui, et al.
Veröffentlicht: (2023)

Lost at the Beginning of Reasoning
von: Liao, Baohao, et al.
Veröffentlicht: (2025)

On the Consistency of Multilingual Context Utilization in Retrieval-Augmented Generation
von: Qi, Jirui, et al.
Veröffentlicht: (2025)

IKUN for WMT24 General MT Task: LLMs Are here for Multilingual Machine Translation
von: Liao, Baohao, et al.
Veröffentlicht: (2024)

Self-Hinting Language Models Enhance Reinforcement Learning
von: Liao, Baohao, et al.
Veröffentlicht: (2026)

Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation
von: Qi, Jirui, et al.
Veröffentlicht: (2024)

When Models Reason in Your Language: Controlling Thinking Language Comes at the Cost of Accuracy
von: Qi, Jirui, et al.
Veröffentlicht: (2025)

Post-Training Language Models for Crosslingual Consistency
von: Liu, Tianyu, et al.
Veröffentlicht: (2026)

The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation
von: Stap, David, et al.
Veröffentlicht: (2025)

ClusComp: A Simple Paradigm for Model Compression and Efficient Finetuning
von: Liao, Baohao, et al.
Veröffentlicht: (2025)

When Contextual Inference Fails: Cancelability in Interactive Instruction Following
von: Bila, Natalia, et al.
Veröffentlicht: (2026)

Assessing the Impact of Typological Features on Multilingual Machine Translation in the Age of Large Language Models
von: Hirak, Vitalii, et al.
Veröffentlicht: (2026)

Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation
von: Liu, Tianyu, et al.
Veröffentlicht: (2024)

KITE: A Benchmark for Evaluating Korean Instruction-Following Abilities in Large Language Models
von: Kim, Dongjun, et al.
Veröffentlicht: (2025)

Cross-Lingual Transfer of Debiasing and Detoxification in Multilingual LLMs: An Extensive Investigation
von: Neplenbroek, Vera, et al.
Veröffentlicht: (2024)

Sockpuppetting: Jailbreaking LLMs by Combining Prefilling with Optimization
von: Dotsinski, Asen, et al.
Veröffentlicht: (2026)

Unilogit: Robust Machine Unlearning for LLMs Using Uniform-Target Self-Distillation
von: Vasilev, Stefan, et al.
Veröffentlicht: (2025)

Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in Multilingual Language Models
von: Rajaee, Sara, et al.
Veröffentlicht: (2024)

Fractured Chain-of-Thought Reasoning
von: Liao, Baohao, et al.
Veröffentlicht: (2025)

Non Verbis, Sed Rebus: Large Language Models are Weak Solvers of Italian Rebuses
von: Sarti, Gabriele, et al.
Veröffentlicht: (2024)

Do Language Models Reason Across Languages?
von: Meng, Yan, et al.
Veröffentlicht: (2026)

The BLA Benchmark: Investigating Basic Language Abilities of Pre-Trained Multimodal Models
von: Chen, Xinyi, et al.
Veröffentlicht: (2023)

Remedy: Learning Machine Translation Evaluation from Human Preferences with Reward Modeling
von: Tan, Shaomu, et al.
Veröffentlicht: (2025)

Child-Directed Language Does Not Consistently Boost Syntax Learning in Language Models
von: Padovani, Francesca, et al.
Veröffentlicht: (2025)

Beyond Shared Vocabulary: Increasing Representational Word Similarities across Languages for Multilingual Machine Translation
von: Wu, Di, et al.
Veröffentlicht: (2023)

Reward-Guided Speculative Decoding for Efficient LLM Reasoning
von: Liao, Baohao, et al.
Veröffentlicht: (2025)

Evaluation of Instruction-Following Ability for Large Language Models on Story-Ending Generation
von: Hida, Rem, et al.
Veröffentlicht: (2024)

NeLLCom-X: A Comprehensive Neural-Agent Framework to Simulate Language Learning and Group Communication
von: Lian, Yuchen, et al.
Veröffentlicht: (2024)

Steering Large Language Models for Machine Translation Personalization
von: Scalena, Daniel, et al.
Veröffentlicht: (2025)

TurBLiMP: A Turkish Benchmark of Linguistic Minimal Pairs
von: Başar, Ezgi, et al.
Veröffentlicht: (2025)

Reproducing HotFlip for Corpus Poisoning Attacks in Dense Retrieval
von: Li, Yongkang, et al.
Veröffentlicht: (2025)

InFoBench: Evaluating Instruction Following Ability in Large Language Models
von: Qin, Yiwei, et al.
Veröffentlicht: (2024)

The Fine-Tuning Paradox: Boosting Translation Quality Without Sacrificing LLM Abilities
von: Stap, David, et al.
Veröffentlicht: (2024)

AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios
von: Qi, Yunjia, et al.
Veröffentlicht: (2025)

MultiBLiMP 1.0: A Massively Multilingual Benchmark of Linguistic Minimal Pairs
von: Jumelet, Jaap, et al.
Veröffentlicht: (2025)

How role-play shapes relevance judgment in zero-shot LLM rankers
von: Wang, Yumeng, et al.
Veröffentlicht: (2025)

Spectral Tempering for Embedding Compression in Dense Passage Retrieval
von: Li, Yongkang, et al.
Veröffentlicht: (2026)