Buchumschlag

CRoPE: Efficient Parametrization of Rotary Positional Embedding

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lou, Beicheng, Xu, Zifei, Wong, Vivian W. H.
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Efficient Matrix Implementation for Rotary Position Embedding
von: Minqi, Chen, et al.
Veröffentlicht: (2026)

Selective Rotary Position Embedding
von: Movahedi, Sajad, et al.
Veröffentlicht: (2025)

Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers
von: Liu, Feilong
Veröffentlicht: (2026)

Rotary Position Embedding for Vision Transformer
von: Heo, Byeongho, et al.
Veröffentlicht: (2024)

RoTHP: Rotary Position Embedding-based Transformer Hawkes Process
von: Gao, Anningzhe, et al.
Veröffentlicht: (2024)

DoPE: Denoising Rotary Position Embedding
von: Xiong, Jing, et al.
Veröffentlicht: (2025)

Rotary Position Encodings for Graphs
von: Reid, Isaac, et al.
Veröffentlicht: (2025)

The Rotary Position Embedding May Cause Dimension Inefficiency in Attention Heads for Long-Distance Retrieval
von: Chiang, Ting-Rui, et al.
Veröffentlicht: (2025)

HoPE: Hybrid of Position Embedding for Long Context Vision-Language Models
von: Li, Haoran, et al.
Veröffentlicht: (2025)

Tree-Structured Synergy of Large Language Models and Bayesian Optimization for Efficient CASH
von: Xu, Beicheng, et al.
Veröffentlicht: (2026)

Rethinking RoPE: A Mathematical Blueprint for N-dimensional Positional Embedding
von: Liu, Haiping, et al.
Veröffentlicht: (2025)

CRoC: Context Refactoring Contrast for Graph Anomaly Detection with Limited Supervision
von: Xie, Siyue, et al.
Veröffentlicht: (2025)

DRoPE: Directional Rotary Position Embedding for Efficient Agent Interaction Modeling
von: Zhao, Jianbo, et al.
Veröffentlicht: (2025)

SPECTRE: Spectral Pre-training Embeddings with Cylindrical Temporal Rotary Position Encoding for Fine-Grained sEMG-Based Movement Decoding
von: Weng, Zihan, et al.
Veröffentlicht: (2025)

Round and Round We Go! What makes Rotary Positional Encodings useful?
von: Barbero, Federico, et al.
Veröffentlicht: (2024)

MrRoPE: Mixed-radix Rotary Position Embedding
von: Tian, Qingyuan, et al.
Veröffentlicht: (2026)

CoFEH: LLM-driven Feature Engineering Empowered by Collaborative Bayesian Hyperparameter Optimization
von: Xu, Beicheng, et al.
Veröffentlicht: (2026)

PSEO: Optimizing Post-hoc Stacking Ensemble Through Hyperparameter Tuning
von: Xu, Beicheng, et al.
Veröffentlicht: (2025)

Rotary Masked Autoencoders are Versatile Learners
von: Zivanovic, Uros, et al.
Veröffentlicht: (2025)

VRoPE: Rotary Position Embedding for Video Large Language Models
von: Liu, Zikang, et al.
Veröffentlicht: (2025)

MF-QAT: Multi-Format Quantization-Aware Training for Elastic Inference
von: Xu, Zifei, et al.
Veröffentlicht: (2026)

CoPE: A Lightweight Complex Positional Encoding
von: Amballa, Avinash
Veröffentlicht: (2025)

CRoSS: A Continual Robotic Simulation Suite for Scalable Reinforcement Learning with High Task Diversity and Realistic Physics Simulation
von: Denker, Yannick, et al.
Veröffentlicht: (2026)

The Impact of Quantization on Large Reasoning Model Reinforcement Learning
von: Kumar, Medha, et al.
Veröffentlicht: (2025)

3-in-1: 2D Rotary Adaptation for Efficient Finetuning, Efficient Batching and Composability
von: Liao, Baohao, et al.
Veröffentlicht: (2024)

Non-Parametric Rehearsal Learning via Conditional Mean Embeddings
von: Du, Wen-Bo, et al.
Veröffentlicht: (2026)

FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception
von: Ahuja, Rahul, et al.
Veröffentlicht: (2026)

VideoRoPE: What Makes for Good Video Rotary Position Embedding?
von: Wei, Xilin, et al.
Veröffentlicht: (2025)

Rotary Offset Features in Large Language Models
von: Jonasson, André
Veröffentlicht: (2025)

Understanding the Difficulty of Low-Precision Post-Training Quantization for LLMs
von: Xu, Zifei, et al.
Veröffentlicht: (2024)

OpenBox: A Python Toolkit for Generalized Black-box Optimization
von: Jiang, Huaijun, et al.
Veröffentlicht: (2023)

Spiral RoPE: Rotate Your Rotary Positional Embeddings in the 2D Plane
von: Liu, Haoyu, et al.
Veröffentlicht: (2026)

CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs
von: Zhou, Yu, et al.
Veröffentlicht: (2024)

SeqPE: Transformer with Sequential Position Encoding
von: Li, Huayang, et al.
Veröffentlicht: (2025)

WaveRoRA: Wavelet Rotary Route Attention for Multivariate Time Series Forecasting
von: Liang, Aobo, et al.
Veröffentlicht: (2024)

Rethinking the Role of Positional Encoding: Sliding-Window Transformers without PE Remain Turing Complete
von: Li, Qian, et al.
Veröffentlicht: (2026)

Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization
von: Urrutia, Felipe, et al.
Veröffentlicht: (2026)

Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks
von: Zhang, Yaobo
Veröffentlicht: (2026)

CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search
von: Park, Cheonjun
Veröffentlicht: (2026)

Machine Learning Framework for Thrombosis Risk Prediction in Rotary Blood Pumps
von: Blum, Christopher, et al.
Veröffentlicht: (2025)