Buchumschlag

Rethinking RoPE: A Mathematical Blueprint for N-dimensional Positional Embedding

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Haiping, Lin, Lijing, Sun, Jingyuan, Shangguan, Zhegong, Alvarez, Mauricio A., Zhou, Hongpeng
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers
von: Liu, Feilong
Veröffentlicht: (2026)

Demystifying the Slash Pattern in Attention: The Role of RoPE
von: Cheng, Yuan, et al.
Veröffentlicht: (2026)

RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably
von: Du, Yufeng, et al.
Veröffentlicht: (2026)

Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization
von: Urrutia, Felipe, et al.
Veröffentlicht: (2026)

Rethinking RoPE Scaling in Quantized LLM: Theory, Outlier, and Channel-Band Analysis with Weight Rescaling
von: Qiao, Ye, et al.
Veröffentlicht: (2025)

Q-ROAR: Outlier-Aware Rescaling for RoPE Position Interpolation in Quantized Long-Context LLMs
von: Qiao, Ye, et al.
Veröffentlicht: (2025)

RAP: KV-Cache Compression via RoPE-Aligned Pruning
von: Xin, Jihao, et al.
Veröffentlicht: (2026)

Scaling Laws of RoPE-based Extrapolation
von: Liu, Xiaoran, et al.
Veröffentlicht: (2023)

RoPE Attention Can Be Trained in Almost Linear Time
von: Cao, Yang, et al.
Veröffentlicht: (2024)

Circuit Complexity Bounds for RoPE-based Transformer Architecture
von: Chen, Bo, et al.
Veröffentlicht: (2024)

CoPE: Clipped RoPE as A Scalable Free Lunch for Long Context LLMs
von: Li, Haoran, et al.
Veröffentlicht: (2026)

RoSA: Enhancing Parameter-Efficient Fine-Tuning via RoPE-aware Selective Adaptation in Large Language Models
von: Pan, Dayan, et al.
Veröffentlicht: (2025)

Periodic RoPE for Infinite Context LLMs
von: Huo, Simin
Veröffentlicht: (2026)

RoPECraft: Training-Free Motion Transfer with Trajectory-Guided RoPE Optimization on Diffusion Transformers
von: Gokmen, Ahmet Berke, et al.
Veröffentlicht: (2025)

EliteKV: Scalable KV Cache Compression via RoPE Frequency Selection and Joint Low-Rank Projection
von: Zhou, Yuhao, et al.
Veröffentlicht: (2025)

Theoretical Constraints on the Expressive Power of $\mathsf{RoPE}$-based Tensor Attention Transformers
von: Li, Xiaoyu, et al.
Veröffentlicht: (2024)

On the token distance modeling ability of higher RoPE attention dimension
von: Hong, Xiangyu, et al.
Veröffentlicht: (2024)

Adaptive 3D-RoPE: Physics-Aligned Rotary Positional Encoding for Wireless Foundation Models
von: Zhang, Chenyu, et al.
Veröffentlicht: (2026)

Resonance RoPE: Improving Context Length Generalization of Large Language Models
von: Wang, Suyuchen, et al.
Veröffentlicht: (2024)

LinearARD: Linear-Memory Attention Distillation for RoPE Restoration
von: Yang, Ning, et al.
Veröffentlicht: (2026)

A Circular Argument : Does RoPE need to be Equivariant for Vision?
von: van de Geijn, Chase, et al.
Veröffentlicht: (2025)

Learning the RoPEs: Better 2D and 3D Position Encodings with STRING
von: Schenck, Connor, et al.
Veröffentlicht: (2025)

Minimal Embodiment Enables Efficient Learning of Number Concepts in Robot
von: Shangguan, Zhegong, et al.
Veröffentlicht: (2026)

FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception
von: Ahuja, Rahul, et al.
Veröffentlicht: (2026)

Frayed RoPE and Long Inputs: A Geometric Perspective
von: Wertheimer, Davis, et al.
Veröffentlicht: (2026)

LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation
von: Cesa, Gabriele, et al.
Veröffentlicht: (2026)

Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks
von: Zhang, Yaobo
Veröffentlicht: (2026)

ComRoPE: Scalable and Robust Rotary Position Embedding Parameterized by Trainable Commuting Angle Matrices
von: Yu, Hao, et al.
Veröffentlicht: (2025)

Physics-Regulated Deep Reinforcement Learning: Invariant Embeddings
von: Cao, Hongpeng, et al.
Veröffentlicht: (2023)

Spiral RoPE: Rotate Your Rotary Positional Embeddings in the 2D Plane
von: Liu, Haoyu, et al.
Veröffentlicht: (2026)

ReRoPE: Repurposing RoPE for Relative Camera Control
von: Li, Chunyang, et al.
Veröffentlicht: (2026)

CoPE: A Lightweight Complex Positional Encoding
von: Amballa, Avinash
Veröffentlicht: (2025)

Rethinking Constraint Awareness for Efficient State Embedding of Neural Routing Solver
von: Yu, Canhong, et al.
Veröffentlicht: (2026)

On the Limitations and Capabilities of Position Embeddings for Length Generalization
von: Chen, Yang, et al.
Veröffentlicht: (2025)

Fractional Rotation, Full Potential? Investigating Performance and Convergence of Partial RoPE
von: Khan, Mohammad Aflah, et al.
Veröffentlicht: (2026)

RoPE-LIME: RoPE-Space Locality + Sparse-K Sampling for Efficient LLM Attribution
von: Picov, Isaac, et al.
Veröffentlicht: (2026)

VRoPE: Rotary Position Embedding for Video Large Language Models
von: Liu, Zikang, et al.
Veröffentlicht: (2025)

Fast RoPE Attention: Combining the Polynomial Method and Fast Fourier Transform
von: Alman, Josh, et al.
Veröffentlicht: (2025)

SeqPE: Transformer with Sequential Position Encoding
von: Li, Huayang, et al.
Veröffentlicht: (2025)

Base of RoPE Bounds Context Length
von: Men, Xin, et al.
Veröffentlicht: (2024)