Buchumschlag

PositionID: LLMs can Control Lengths, Copy and Paste with Explicit Positional Awareness

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Zekun, Duan, Feiyu, Zhang, Yibo, Zhou, Wangchunshu, Xu, Ke, Huang, Wenhao, Fu, Jie
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

PopAlign: Diversifying Contrasting Patterns for a More Comprehensive Alignment
von: Wang, Zekun Moore, et al.
Veröffentlicht: (2024)

Position as Probability: Self-Supervised Transformers that Think Past Their Training for Length Extrapolation
von: Lee, Philip Heejun
Veröffentlicht: (2025)

Copy-Paste to Mitigate Large Language Model Hallucinations
von: Long, Yongchao, et al.
Veröffentlicht: (2025)

Position: LLMs Can be Good Tutors in English Education
von: Ye, Jingheng, et al.
Veröffentlicht: (2025)

CopySpec: Accelerating LLMs with Speculative Copy-and-Paste Without Compromising Quality
von: Dumitru, Razvan-Gabriel, et al.
Veröffentlicht: (2025)

MIO: A Foundation Model on Multimodal Tokens
von: Wang, Zekun, et al.
Veröffentlicht: (2024)

Length-Aware Rotary Position Embedding for Text-Speech Alignment
von: Kim, Hyeongju, et al.
Veröffentlicht: (2025)

Effective Length Extrapolation via Dimension-Wise Positional Embeddings Manipulation
von: Lu, Yi, et al.
Veröffentlicht: (2025)

Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
von: Zhang, Zheng, et al.
Veröffentlicht: (2024)

Fourier Position Embedding: Enhancing Attention's Periodic Extension for Length Generalization
von: Hua, Ermo, et al.
Veröffentlicht: (2024)

Correlation-Aware Select and Merge Attention for Efficient Fine-Tuning and Context Length Extension
von: Wang, Ning, et al.
Veröffentlicht: (2024)

Learn from the Past: Fast Sparse Indexing for Large Language Model Decoding
von: Yao, Feiyu, et al.
Veröffentlicht: (2025)

Preference Curriculum: LLMs Should Always Be Pretrained on Their Preferred Data
von: Zhang, Xuemiao, et al.
Veröffentlicht: (2025)

Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation
von: He, Zhenyu, et al.
Veröffentlicht: (2024)

Position: Avoid Overstretching LLMs for every Enterprise Task
von: Singh, Kuldeep, et al.
Veröffentlicht: (2026)

Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings
von: Gelberg, Yoav, et al.
Veröffentlicht: (2025)

Refining Positive and Toxic Samples for Dual Safety Self-Alignment of LLMs with Minimal Human Interventions
von: Xu, Jingxin, et al.
Veröffentlicht: (2025)

Positional Encoding via Token-Aware Phase Attention
von: Wang, Yu, et al.
Veröffentlicht: (2025)

Give it Space! Explicit Disentangling of Positional and Semantic Representations in Encoders
von: Lequeu, Pierre-Antoine, et al.
Veröffentlicht: (2026)

More Thinking, More Bias: Length-Driven Position Bias in Reasoning Models
von: Wang, Xiao
Veröffentlicht: (2026)

Position Coupling: Improving Length Generalization of Arithmetic Transformers Using Task Structure
von: Cho, Hanseul, et al.
Veröffentlicht: (2024)

LLMs Should Incorporate Explicit Mechanisms for Human Empathy
von: You, Xiaoxing, et al.
Veröffentlicht: (2026)

LLMs Position Themselves as More Rational Than Humans: Emergence of AI Self-Awareness Measured Through Game Theory
von: Kim, Kyung-Hoon
Veröffentlicht: (2025)

AI PERSONA: Towards Life-long Personalization of LLMs
von: Wang, Tiannan, et al.
Veröffentlicht: (2024)

RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models
von: Wang, Zekun Moore, et al.
Veröffentlicht: (2023)

Length Generalization of Causal Transformers without Position Encoding
von: Wang, Jie, et al.
Veröffentlicht: (2024)

FastMem: Fast Memorization of Prompt Improves Context Awareness of Large Language Models
von: Zhu, Junyi, et al.
Veröffentlicht: (2024)

AdaPPA: Adaptive Position Pre-Fill Jailbreak Attack Approach Targeting LLMs
von: Lv, Lijia, et al.
Veröffentlicht: (2024)

Prompt-Based One-Shot Exact Length-Controlled Generation with LLMs
von: Xie, Juncheng, et al.
Veröffentlicht: (2025)

Prompt-Based Length Controlled Generation with Multiple Control Types
von: Jie, Renlong, et al.
Veröffentlicht: (2024)

Towards Faithful and Controllable Personalization via Critique-Post-Edit Reinforcement Learning
von: Zhu, Chenghao, et al.
Veröffentlicht: (2025)

Moral Lenses, Political Coordinates: Towards Ideological Positioning of Morally Conditioned LLMs
von: Yuan, Chenchen, et al.
Veröffentlicht: (2026)

Position: Multimodal Large Language Models Can Significantly Advance Scientific Reasoning
von: Yan, Yibo, et al.
Veröffentlicht: (2025)

Order Matters: Investigate the Position Bias in Multi-constraint Instruction Following
von: Zeng, Jie, et al.
Veröffentlicht: (2025)

Plan-and-Write: Structure-Guided Length Control for LLMs without Model Retraining
von: Akinfaderin, Adewale, et al.
Veröffentlicht: (2025)

The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models
von: Liu, Ming
Veröffentlicht: (2026)

DynaCode: A Dynamic Complexity-Aware Code Benchmark for Evaluating Large Language Models in Code Generation
von: Hu, Wenhao, et al.
Veröffentlicht: (2025)

Position: LLMs Must Use Functor-Based and RAG-Driven Bias Mitigation for Fairness
von: Ranjan, Ravi, et al.
Veröffentlicht: (2026)

Optimizing Length Compression in Large Reasoning Models
von: Cheng, Zhengxiang, et al.
Veröffentlicht: (2025)

Never Lost in the Middle: Mastering Long-Context Question Answering with Position-Agnostic Decompositional Training
von: He, Junqing, et al.
Veröffentlicht: (2023)