Copertina

ROSA-Tuning: Enhancing Long-Context Modeling via Suffix Matching

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zheng, Yunao, Wang, Xiaojie, Ren, Lei, Chen, Wei
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Lngram: N-gram Conditional Memory in Latent Space
di: Zheng, Yunao, et al.
Pubblicazione: (2026)

LIFT: A Novel Framework for Enhancing Long-Context Understanding of LLMs via Long Input Fine-Tuning
di: Mao, Yansheng, et al.
Pubblicazione: (2025)

DPad: Efficient Diffusion Language Models with Suffix Dropout
di: Chen, Xinhua, et al.
Pubblicazione: (2025)

ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings
di: Wang, Hao, et al.
Pubblicazione: (2024)

Phased Instruction Fine-Tuning for Large Language Models
di: Pang, Wei, et al.
Pubblicazione: (2024)

Enhancing Complex Instruction Following for Large Language Models with Mixture-of-Contexts Fine-tuning
di: Lu, Yuheng, et al.
Pubblicazione: (2025)

Adaptive Content Restriction for Large Language Models via Suffix Optimization
di: Li, Yige, et al.
Pubblicazione: (2025)

SAM Decoding: Speculative Decoding via Suffix Automaton
di: Hu, Yuxuan, et al.
Pubblicazione: (2024)

LooGLE: Can Long-Context Language Models Understand Long Contexts?
di: Li, Jiaqi, et al.
Pubblicazione: (2023)

Beyond Output Matching: Bidirectional Alignment for Enhanced In-Context Learning
di: Qin, Chengwei, et al.
Pubblicazione: (2023)

Suffix-Constrained Greedy Search Algorithms for Causal Language Models
di: Hammal, Ayoub, et al.
Pubblicazione: (2026)

Mixture of In-Context Experts Enhance LLMs' Long Context Awareness
di: Lin, Hongzhan, et al.
Pubblicazione: (2024)

LIFT: Improving Long Context Understanding Through Long Input Fine-Tuning
di: Mao, Yansheng, et al.
Pubblicazione: (2024)

Exploring Fine-Tuning for In-Context Retrieval and Efficient KV-Caching in Long-Context Language Models
di: Molfese, Francesco Maria, et al.
Pubblicazione: (2026)

SEGMENT+: Long Text Processing with Short-Context Language Models
di: Shi, Wei, et al.
Pubblicazione: (2024)

LoPT: Lossless Parallel Tokenization Acceleration for Long Context Inference of Large Language Model
di: Shao, Wei, et al.
Pubblicazione: (2025)

SPLA: Block Sparse Plus Linear Attention for Long Context Modeling
di: Wang, Bailin, et al.
Pubblicazione: (2026)

GIFT: Guided Fine-Tuning and Transfer for Enhancing Instruction-Tuned Language Models
di: Ruan, Zhiwen, et al.
Pubblicazione: (2026)

AgentLongBench: A Controllable Long Benchmark For Long-Contexts Agents via Environment Rollouts
di: Fang, Shicheng, et al.
Pubblicazione: (2026)

Reducing Distraction in Long-Context Language Models by Focused Learning
di: Wu, Zijun, et al.
Pubblicazione: (2024)

NeedleInATable: Exploring Long-Context Capability of Large Language Models towards Long-Structured Tables
di: Wang, Lanrui, et al.
Pubblicazione: (2025)

Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation
di: Li, Zichong, et al.
Pubblicazione: (2026)

Generalizing From Short to Long: Effective Data Synthesis for Long-Context Instruction Tuning
di: Zhu, Wenhao, et al.
Pubblicazione: (2025)

Long-Context Language Modeling with Parallel Context Encoding
di: Yen, Howard, et al.
Pubblicazione: (2024)

Squid: Long Context as a New Modality for Energy-Efficient On-Device Language Models
di: Chen, Wei, et al.
Pubblicazione: (2024)

ROSA: Random Subspace Adaptation for Efficient Fine-Tuning
di: Hameed, Marawan Gamal Abdel, et al.
Pubblicazione: (2024)

Context Tuning for In-Context Optimization
di: Lu, Jack, et al.
Pubblicazione: (2025)

TailorKV: A Hybrid Framework for Long-Context Inference via Tailored KV Cache Optimization
di: Yao, Dingyu, et al.
Pubblicazione: (2025)

Universal Adversarial Suffixes for Language Models Using Reinforcement Learning with Calibrated Reward
di: Soor, Sampriti, et al.
Pubblicazione: (2025)

SMAR: Soft Modality-Aware Routing Strategy for MoE-based Multimodal Large Language Models Preserving Language Capabilities
di: Xia, Guoyang, et al.
Pubblicazione: (2025)

WildLong: Synthesizing Realistic Long-Context Instruction Data at Scale
di: Li, Jiaxi, et al.
Pubblicazione: (2025)

Toward Understanding the Transferability of Adversarial Suffixes in Large Language Models
di: Ball, Sarah, et al.
Pubblicazione: (2025)

ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference
di: Ouyang, Haojie, et al.
Pubblicazione: (2025)

NoLiMa: Long-Context Evaluation Beyond Literal Matching
di: Modarressi, Ali, et al.
Pubblicazione: (2025)

LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion
di: Ling, Zhan, et al.
Pubblicazione: (2025)

Infinite Retrieval: Attention Enhanced LLMs in Long-Context Processing
di: Ye, Xiaoju, et al.
Pubblicazione: (2025)

Fine-Tuning Medical Language Models for Enhanced Long-Contextual Understanding and Domain Expertise
di: Yang, Qimin, et al.
Pubblicazione: (2024)

Training-free Context-adaptive Attention for Efficient Long Context Modeling
di: You, Zeng, et al.
Pubblicazione: (2025)

COMPASS: Enhancing Agent Long-Horizon Reasoning with Evolving Context
di: Wan, Guangya, et al.
Pubblicazione: (2025)

Revealing the Learning Dynamics of Long-Context Continual Pre-training
di: Liang, Yupu, et al.
Pubblicazione: (2026)