Buchumschlag

ComRoPE: Scalable and Robust Rotary Position Embedding Parameterized by Trainable Commuting Angle Matrices

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yu, Hao, Jiang, Tangyu, Jia, Shuning, Yan, Shannan, Liu, Shunning, Qian, Haolong, Li, Guanghao, Dong, Shuting, Zhang, Huaisong, Yuan, Chun
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computer Vision and Pattern Recognition Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MrRoPE: Mixed-radix Rotary Position Embedding
von: Tian, Qingyuan, et al.
Veröffentlicht: (2026)

VideoRoPE: What Makes for Good Video Rotary Position Embedding?
von: Wei, Xilin, et al.
Veröffentlicht: (2025)

FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception
von: Ahuja, Rahul, et al.
Veröffentlicht: (2026)

Spiral RoPE: Rotate Your Rotary Positional Embeddings in the 2D Plane
von: Liu, Haoyu, et al.
Veröffentlicht: (2026)

Diffusion MRI Transformer with a Diffusion Space Rotary Positional Embedding (D-RoPE)
von: Kung, Gustavo Chau Loo, et al.
Veröffentlicht: (2026)

Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers
von: Liu, Feilong
Veröffentlicht: (2026)

DoPE: Denoising Rotary Position Embedding
von: Xiong, Jing, et al.
Veröffentlicht: (2025)

CRoPE: Efficient Parametrization of Rotary Positional Embedding
von: Lou, Beicheng, et al.
Veröffentlicht: (2026)

RoTHP: Rotary Position Embedding-based Transformer Hawkes Process
von: Gao, Anningzhe, et al.
Veröffentlicht: (2024)

VRoPE: Rotary Position Embedding for Video Large Language Models
von: Liu, Zikang, et al.
Veröffentlicht: (2025)

Adaptive 3D-RoPE: Physics-Aligned Rotary Positional Encoding for Wireless Foundation Models
von: Zhang, Chenyu, et al.
Veröffentlicht: (2026)

DRoPE: Directional Rotary Position Embedding for Efficient Agent Interaction Modeling
von: Zhao, Jianbo, et al.
Veröffentlicht: (2025)

Selective Rotary Position Embedding
von: Movahedi, Sajad, et al.
Veröffentlicht: (2025)

Rethinking RoPE: A Mathematical Blueprint for N-dimensional Positional Embedding
von: Liu, Haiping, et al.
Veröffentlicht: (2025)

RoPETR: Improving Temporal Camera-Only 3D Detection by Integrating Enhanced Rotary Position Embedding
von: Ji, Hang, et al.
Veröffentlicht: (2025)

Rotary Position Embedding for Vision Transformer
von: Heo, Byeongho, et al.
Veröffentlicht: (2024)

Context-aware Rotary Position Embedding
von: Veisi, Ali, et al.
Veröffentlicht: (2025)

Efficient Matrix Implementation for Rotary Position Embedding
von: Minqi, Chen, et al.
Veröffentlicht: (2026)

Enhancing Geometric Perception in VLMs via Translator-Guided Reinforcement Learning
von: Yu, Hao, et al.
Veröffentlicht: (2026)

RoTE: Coarse-to-Fine Multi-Level Rotary Time Embedding for Sequential Recommendation
von: Zhang, Haolin, et al.
Veröffentlicht: (2026)

Anisotropic dynamic excitations in a two-dimensional Fulde-Ferrell superfluid
von: Ru, Jinrui, et al.
Veröffentlicht: (2025)

ReRoPE: Repurposing RoPE for Relative Camera Control
von: Li, Chunyang, et al.
Veröffentlicht: (2026)

Benchmarking Rotary Position Embeddings for Automatic Speech Recognition
von: Zhang, Shucong, et al.
Veröffentlicht: (2025)

CoPE: Clipped RoPE as A Scalable Free Lunch for Long Context LLMs
von: Li, Haoran, et al.
Veröffentlicht: (2026)

LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation
von: Cesa, Gabriele, et al.
Veröffentlicht: (2026)

Length-Aware Rotary Position Embedding for Text-Speech Alignment
von: Kim, Hyeongju, et al.
Veröffentlicht: (2025)

Cross-Axis Transformer with 3D Rotary Positional Embeddings
von: Erickson, Lily
Veröffentlicht: (2023)

DiffoRA: Enabling Parameter-Efficient Fine-Tuning via Differential Module Selection
von: Jiang, Tangyu, et al.
Veröffentlicht: (2025)

When Precision Meets Position: BFloat16 Breaks Down RoPE in Long-Context Training
von: Wang, Haonan, et al.
Veröffentlicht: (2024)

RayRoPE: Projective Ray Positional Encoding for Multi-view Attention
von: Wu, Yu, et al.
Veröffentlicht: (2026)

HiRoPE: Length Extrapolation for Code Models Using Hierarchical Position
von: Zhang, Kechi, et al.
Veröffentlicht: (2024)

RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably
von: Du, Yufeng, et al.
Veröffentlicht: (2026)

Geometry-Aware Rotary Position Embedding for Consistent Video World Model
von: Xiang, Chendong, et al.
Veröffentlicht: (2026)

Novel dynamical excitations and roton-based measurement of Cooper-pair momentum in a two-dimensional Fulde-Ferrell-Larkin-Ovchinnikov superfluid on optical lattices
von: Tan, Shuning, et al.
Veröffentlicht: (2026)

RoPE-LIME: RoPE-Space Locality + Sparse-K Sampling for Efficient LLM Attribution
von: Picov, Isaac, et al.
Veröffentlicht: (2026)

Special-Unitary Parameterization for Trainable Variational Quantum Circuits
von: Chen, Kuan-Cheng, et al.
Veröffentlicht: (2025)

Why can a hydrophilic polyelectrolyte precipitate and redissolve below the critical micelle concentration of an oppositely-charged surfactant ?
von: Yong, Huaisong
Veröffentlicht: (2024)

RotorMap and Quantum Fingerprints of DNA Sequences via Rotary Position Embeddings
von: Yakymenko, Danylo, et al.
Veröffentlicht: (2026)

Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs
von: Liu, Xiaoran, et al.
Veröffentlicht: (2025)

HoPE: Hyperbolic Rotary Positional Encoding for Stable Long-Range Dependency Modeling in Large Language Models
von: Dai, Chang, et al.
Veröffentlicht: (2025)