Buchumschlag

3D-RPE: Enhancing Long-Context Modeling Through 3D Rotary Position Encoding

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ma, Xindian, Liu, Wenyuan, Zhang, Peng, Xu, Nan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SEE: Sememe Entanglement Encoding for Transformer-bases Models Compression
von: Zhang, Jing, et al.
Veröffentlicht: (2024)

Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs
von: Liu, Xiaoran, et al.
Veröffentlicht: (2025)

Context-aware Rotary Position Embedding
von: Veisi, Ali, et al.
Veröffentlicht: (2025)

HoPE: Hyperbolic Rotary Positional Encoding for Stable Long-Range Dependency Modeling in Large Language Models
von: Dai, Chang, et al.
Veröffentlicht: (2025)

Layer-Specific Scaling of Positional Encodings for Superior Long-Context Modeling
von: Wang, Zhenghua, et al.
Veröffentlicht: (2025)

2D-TPE: Two-Dimensional Positional Encoding Enhances Table Understanding for Large Language Models
von: Li, Jia-Nan, et al.
Veröffentlicht: (2024)

Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers
von: Liu, Feilong
Veröffentlicht: (2026)

Round and Round We Go! What makes Rotary Positional Encodings useful?
von: Barbero, Federico, et al.
Veröffentlicht: (2024)

ID-LoRA: Efficient Low-Rank Adaptation Inspired by Matrix Interpolative Decomposition
von: Ma, Xindian, et al.
Veröffentlicht: (2026)

OMEGA: Optimized Multimodal Position Encoding Index Derivation with Global Adaptive Scaling for Vision-Language Models
von: Huang, Ruoxiang, et al.
Veröffentlicht: (2025)

Long-Context Language Modeling with Parallel Context Encoding
von: Yen, Howard, et al.
Veröffentlicht: (2024)

Selective Rotary Position Embedding
von: Movahedi, Sajad, et al.
Veröffentlicht: (2025)

An Efficient Recipe for Long Context Extension via Middle-Focused Positional Encoding
von: Wu, Tong, et al.
Veröffentlicht: (2024)

A$^2$ATS: Retrieval-Based KV Cache Reduction via Windowed Rotary Position Embedding and Query-Aware Vector Quantization
von: He, Junhui, et al.
Veröffentlicht: (2025)

TransXSSM: A Hybrid Transformer State Space Model with Unified Rotary Position Embedding
von: Wu, Bingheng, et al.
Veröffentlicht: (2025)

Found in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding
von: Zhang, Zhenyu, et al.
Veröffentlicht: (2024)

DoPE: Denoising Rotary Position Embedding
von: Xiong, Jing, et al.
Veröffentlicht: (2025)

MrRoPE: Mixed-radix Rotary Position Embedding
von: Tian, Qingyuan, et al.
Veröffentlicht: (2026)

HoPE: A Novel Positional Encoding Without Long-Term Decay for Enhanced Context Awareness and Extrapolation
von: Chen, Yuhan, et al.
Veröffentlicht: (2024)

C^2ROPE: Causal Continuous Rotary Positional Encoding for 3D Large Multimodal-Models Reasoning
von: Ye, Guanting, et al.
Veröffentlicht: (2026)

The Rotary Position Embedding May Cause Dimension Inefficiency in Attention Heads for Long-Distance Retrieval
von: Chiang, Ting-Rui, et al.
Veröffentlicht: (2025)

KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding
von: Shi, Luohe, et al.
Veröffentlicht: (2025)

Mitigating Posterior Salience Attenuation in Long-Context LLMs with Positional Contrastive Decoding
von: Xiao, Zikai, et al.
Veröffentlicht: (2025)

LongFaith: Enhancing Long-Context Reasoning in LLMs with Faithful Synthetic Data
von: Yang, Cehao, et al.
Veröffentlicht: (2025)

3-in-1: 2D Rotary Adaptation for Efficient Finetuning, Efficient Batching and Composability
von: Liao, Baohao, et al.
Veröffentlicht: (2024)

CrossQuant: A Post-Training Quantization Method with Smaller Quantization Kernel for Precise Large Language Model Compression
von: Liu, Wenyuan, et al.
Veröffentlicht: (2024)

Marathon: A Race Through the Realm of Long Context with Large Language Models
von: Zhang, Lei, et al.
Veröffentlicht: (2023)

Benchmarking Rotary Position Embeddings for Automatic Speech Recognition
von: Zhang, Shucong, et al.
Veröffentlicht: (2025)

Position IDs Matter: An Enhanced Position Layout for Efficient Context Compression in Large Language Models
von: Zhao, Runsong, et al.
Veröffentlicht: (2024)

LaMPE: Length-aware Multi-grained Positional Encoding for Adaptive Long-context Scaling Without Training
von: Zhang, Sikui, et al.
Veröffentlicht: (2025)

Position-Aware Depth Decay Decoding ($D^3$): Boosting Large Language Model Inference Efficiency
von: Fan, Siqi, et al.
Veröffentlicht: (2025)

CHiRPE: A Step Towards Real-World Clinical NLP with Clinician-Oriented Model Explanations
von: Fong, Stephanie, et al.
Veröffentlicht: (2026)

Wavelet-based Positional Representation for Long Context
von: Oka, Yui, et al.
Veröffentlicht: (2025)

Group Representational Position Encoding
von: Zhang, Yifan, et al.
Veröffentlicht: (2025)

Enhancing Long Context Performance in LLMs Through Inner Loop Query Mechanism
von: Tang, Yimin, et al.
Veröffentlicht: (2024)

I Know About "Up"! Enhancing Spatial Reasoning in Visual Language Models Through 3D Reconstruction
von: Meng, Zaiqiao, et al.
Veröffentlicht: (2024)

Long Context Alignment with Short Instructions and Synthesized Positions
von: Wu, Wenhao, et al.
Veröffentlicht: (2024)

Do 3D Large Language Models Really Understand 3D Spatial Relationships?
von: Ma, Xianzheng, et al.
Veröffentlicht: (2026)

D2O: Dynamic Discriminative Operations for Efficient Long-Context Inference of Large Language Models
von: Wan, Zhongwei, et al.
Veröffentlicht: (2024)

Cross-Axis Transformer with 3D Rotary Positional Embeddings
von: Erickson, Lily
Veröffentlicht: (2023)