CRoPE: Efficient Parametrization of Rotary Positional Embedding
Fuente:
arXiv
Gespeichert in:
| Hauptverfasser: | Lou, Beicheng, Xu, Zifei, Wong, Vivian W. H. |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2026
|
| Schlagworte: | |
| Online-Zugang: | |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
Efficient Matrix Implementation for Rotary Position Embedding
von: Minqi, Chen, et al.
Veröffentlicht: (2026)
von: Minqi, Chen, et al.
Veröffentlicht: (2026)
Selective Rotary Position Embedding
von: Movahedi, Sajad, et al.
Veröffentlicht: (2025)
von: Movahedi, Sajad, et al.
Veröffentlicht: (2025)
Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers
von: Liu, Feilong
Veröffentlicht: (2026)
von: Liu, Feilong
Veröffentlicht: (2026)
Rotary Position Embedding for Vision Transformer
von: Heo, Byeongho, et al.
Veröffentlicht: (2024)
von: Heo, Byeongho, et al.
Veröffentlicht: (2024)
RoTHP: Rotary Position Embedding-based Transformer Hawkes Process
von: Gao, Anningzhe, et al.
Veröffentlicht: (2024)
von: Gao, Anningzhe, et al.
Veröffentlicht: (2024)
DoPE: Denoising Rotary Position Embedding
von: Xiong, Jing, et al.
Veröffentlicht: (2025)
von: Xiong, Jing, et al.
Veröffentlicht: (2025)
Rotary Position Encodings for Graphs
von: Reid, Isaac, et al.
Veröffentlicht: (2025)
von: Reid, Isaac, et al.
Veröffentlicht: (2025)
The Rotary Position Embedding May Cause Dimension Inefficiency in Attention Heads for Long-Distance Retrieval
von: Chiang, Ting-Rui, et al.
Veröffentlicht: (2025)
von: Chiang, Ting-Rui, et al.
Veröffentlicht: (2025)
HoPE: Hybrid of Position Embedding for Long Context Vision-Language Models
von: Li, Haoran, et al.
Veröffentlicht: (2025)
von: Li, Haoran, et al.
Veröffentlicht: (2025)
Tree-Structured Synergy of Large Language Models and Bayesian Optimization for Efficient CASH
von: Xu, Beicheng, et al.
Veröffentlicht: (2026)
von: Xu, Beicheng, et al.
Veröffentlicht: (2026)
Rethinking RoPE: A Mathematical Blueprint for N-dimensional Positional Embedding
von: Liu, Haiping, et al.
Veröffentlicht: (2025)
von: Liu, Haiping, et al.
Veröffentlicht: (2025)
CRoC: Context Refactoring Contrast for Graph Anomaly Detection with Limited Supervision
von: Xie, Siyue, et al.
Veröffentlicht: (2025)
von: Xie, Siyue, et al.
Veröffentlicht: (2025)
DRoPE: Directional Rotary Position Embedding for Efficient Agent Interaction Modeling
von: Zhao, Jianbo, et al.
Veröffentlicht: (2025)
von: Zhao, Jianbo, et al.
Veröffentlicht: (2025)
SPECTRE: Spectral Pre-training Embeddings with Cylindrical Temporal Rotary Position Encoding for Fine-Grained sEMG-Based Movement Decoding
von: Weng, Zihan, et al.
Veröffentlicht: (2025)
von: Weng, Zihan, et al.
Veröffentlicht: (2025)
Round and Round We Go! What makes Rotary Positional Encodings useful?
von: Barbero, Federico, et al.
Veröffentlicht: (2024)
von: Barbero, Federico, et al.
Veröffentlicht: (2024)
MrRoPE: Mixed-radix Rotary Position Embedding
von: Tian, Qingyuan, et al.
Veröffentlicht: (2026)
von: Tian, Qingyuan, et al.
Veröffentlicht: (2026)
CoFEH: LLM-driven Feature Engineering Empowered by Collaborative Bayesian Hyperparameter Optimization
von: Xu, Beicheng, et al.
Veröffentlicht: (2026)
von: Xu, Beicheng, et al.
Veröffentlicht: (2026)
PSEO: Optimizing Post-hoc Stacking Ensemble Through Hyperparameter Tuning
von: Xu, Beicheng, et al.
Veröffentlicht: (2025)
von: Xu, Beicheng, et al.
Veröffentlicht: (2025)
Rotary Masked Autoencoders are Versatile Learners
von: Zivanovic, Uros, et al.
Veröffentlicht: (2025)
von: Zivanovic, Uros, et al.
Veröffentlicht: (2025)
VRoPE: Rotary Position Embedding for Video Large Language Models
von: Liu, Zikang, et al.
Veröffentlicht: (2025)
von: Liu, Zikang, et al.
Veröffentlicht: (2025)
MF-QAT: Multi-Format Quantization-Aware Training for Elastic Inference
von: Xu, Zifei, et al.
Veröffentlicht: (2026)
von: Xu, Zifei, et al.
Veröffentlicht: (2026)
CoPE: A Lightweight Complex Positional Encoding
von: Amballa, Avinash
Veröffentlicht: (2025)
von: Amballa, Avinash
Veröffentlicht: (2025)
CRoSS: A Continual Robotic Simulation Suite for Scalable Reinforcement Learning with High Task Diversity and Realistic Physics Simulation
von: Denker, Yannick, et al.
Veröffentlicht: (2026)
von: Denker, Yannick, et al.
Veröffentlicht: (2026)
The Impact of Quantization on Large Reasoning Model Reinforcement Learning
von: Kumar, Medha, et al.
Veröffentlicht: (2025)
von: Kumar, Medha, et al.
Veröffentlicht: (2025)
3-in-1: 2D Rotary Adaptation for Efficient Finetuning, Efficient Batching and Composability
von: Liao, Baohao, et al.
Veröffentlicht: (2024)
von: Liao, Baohao, et al.
Veröffentlicht: (2024)
Non-Parametric Rehearsal Learning via Conditional Mean Embeddings
von: Du, Wen-Bo, et al.
Veröffentlicht: (2026)
von: Du, Wen-Bo, et al.
Veröffentlicht: (2026)
FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception
von: Ahuja, Rahul, et al.
Veröffentlicht: (2026)
von: Ahuja, Rahul, et al.
Veröffentlicht: (2026)
VideoRoPE: What Makes for Good Video Rotary Position Embedding?
von: Wei, Xilin, et al.
Veröffentlicht: (2025)
von: Wei, Xilin, et al.
Veröffentlicht: (2025)
Rotary Offset Features in Large Language Models
von: Jonasson, André
Veröffentlicht: (2025)
von: Jonasson, André
Veröffentlicht: (2025)
Understanding the Difficulty of Low-Precision Post-Training Quantization for LLMs
von: Xu, Zifei, et al.
Veröffentlicht: (2024)
von: Xu, Zifei, et al.
Veröffentlicht: (2024)
OpenBox: A Python Toolkit for Generalized Black-box Optimization
von: Jiang, Huaijun, et al.
Veröffentlicht: (2023)
von: Jiang, Huaijun, et al.
Veröffentlicht: (2023)
Spiral RoPE: Rotate Your Rotary Positional Embeddings in the 2D Plane
von: Liu, Haoyu, et al.
Veröffentlicht: (2026)
von: Liu, Haoyu, et al.
Veröffentlicht: (2026)
CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs
von: Zhou, Yu, et al.
Veröffentlicht: (2024)
von: Zhou, Yu, et al.
Veröffentlicht: (2024)
SeqPE: Transformer with Sequential Position Encoding
von: Li, Huayang, et al.
Veröffentlicht: (2025)
von: Li, Huayang, et al.
Veröffentlicht: (2025)
WaveRoRA: Wavelet Rotary Route Attention for Multivariate Time Series Forecasting
von: Liang, Aobo, et al.
Veröffentlicht: (2024)
von: Liang, Aobo, et al.
Veröffentlicht: (2024)
Rethinking the Role of Positional Encoding: Sliding-Window Transformers without PE Remain Turing Complete
von: Li, Qian, et al.
Veröffentlicht: (2026)
von: Li, Qian, et al.
Veröffentlicht: (2026)
Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization
von: Urrutia, Felipe, et al.
Veröffentlicht: (2026)
von: Urrutia, Felipe, et al.
Veröffentlicht: (2026)
Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks
von: Zhang, Yaobo
Veröffentlicht: (2026)
von: Zhang, Yaobo
Veröffentlicht: (2026)
CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search
von: Park, Cheonjun
Veröffentlicht: (2026)
von: Park, Cheonjun
Veröffentlicht: (2026)
Machine Learning Framework for Thrombosis Risk Prediction in Rotary Blood Pumps
von: Blum, Christopher, et al.
Veröffentlicht: (2025)
von: Blum, Christopher, et al.
Veröffentlicht: (2025)
Ähnliche Einträge
-
Efficient Matrix Implementation for Rotary Position Embedding
von: Minqi, Chen, et al.
Veröffentlicht: (2026) -
Selective Rotary Position Embedding
von: Movahedi, Sajad, et al.
Veröffentlicht: (2025) -
Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers
von: Liu, Feilong
Veröffentlicht: (2026) -
Rotary Position Embedding for Vision Transformer
von: Heo, Byeongho, et al.
Veröffentlicht: (2024) -
RoTHP: Rotary Position Embedding-based Transformer Hawkes Process
von: Gao, Anningzhe, et al.
Veröffentlicht: (2024)