Buchumschlag

LaMPE: Length-aware Multi-grained Positional Encoding for Adaptive Long-context Scaling Without Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Sikui, Gao, Guangze, Gan, Ziyun, Yuan, Chunfeng, Lin, Zefeng, Peng, Houwen, Li, Bing, Hu, Weiming
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DAPE: Data-Adaptive Positional Encoding for Length Extrapolation
von: Zheng, Chuanyang, et al.
Veröffentlicht: (2024)

Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding
von: Chen, Lin, et al.
Veröffentlicht: (2026)

MEP: Multiple Kernel Learning Enhancing Relative Positional Encoding Length Extrapolation
von: Gao, Weiguo
Veröffentlicht: (2024)

OMEGA: Optimized Multimodal Position Encoding Index Derivation with Global Adaptive Scaling for Vision-Language Models
von: Huang, Ruoxiang, et al.
Veröffentlicht: (2025)

Length Extrapolation of Transformers: A Survey from the Perspective of Positional Encoding
von: Zhao, Liang, et al.
Veröffentlicht: (2023)

Length Generalization of Causal Transformers without Position Encoding
von: Wang, Jie, et al.
Veröffentlicht: (2024)

Set Prediction Guided by Semantic Concepts for Diverse Video Captioning
von: Lu, Yifan, et al.
Veröffentlicht: (2023)

Layer-Specific Scaling of Positional Encodings for Superior Long-Context Modeling
von: Wang, Zhenghua, et al.
Veröffentlicht: (2025)

Adaptive Spatial Goodness Encoding: Advancing and Scaling Forward-Forward Learning Without Backpropagation
von: Gong, Qingchun, et al.
Veröffentlicht: (2025)

HoPE: A Novel Positional Encoding Without Long-Term Decay for Enhanced Context Awareness and Extrapolation
von: Chen, Yuhan, et al.
Veröffentlicht: (2024)

iFCTN: an intra-block Fully-Connected Tensor Network Decomposition for Tensor Completion
von: Gan, Ziyi, et al.
Veröffentlicht: (2025)

Mitigating Hallucinations in Large Vision-Language Models by Self-Injecting Hallucinations
von: Lu, Yifan, et al.
Veröffentlicht: (2025)

Fusion Matters: Length-Aware Analysis of Positional-Encoding Fusion in Transformers
von: Hallam, Mohamed Amine, et al.
Veröffentlicht: (2026)

LEDiT: Your Length-Extrapolatable Diffusion Transformer without Positional Encoding
von: Zhang, Shen, et al.
Veröffentlicht: (2025)

Position Encoding with Random Float Sampling Enhances Length Generalization of Transformers
von: Shimizu, Atsushi, et al.
Veröffentlicht: (2026)

Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
von: Zuo, Chunsheng, et al.
Veröffentlicht: (2024)

PromptIQA: Boosting the Performance and Generalization for No-Reference Image Quality Assessment via Prompts
von: Chen, Zewen, et al.
Veröffentlicht: (2024)

Remember to Forget: Gated Adaptive Positional Encoding
von: Ali, Riccardo, et al.
Veröffentlicht: (2026)

ScalingFilter: Assessing Data Quality through Inverse Utilization of Scaling Laws
von: Li, Ruihang, et al.
Veröffentlicht: (2024)

UCM: Unifying Camera Control and Memory with Time-aware Positional Encoding Warping for World Models
von: Xu, Tianxing, et al.
Veröffentlicht: (2026)

Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning
von: Sun, Hai-Long, et al.
Veröffentlicht: (2025)

SoLA-Vision: Fine-grained Layer-wise Linear Softmax Hybrid Attention
von: Li, Ruibang, et al.
Veröffentlicht: (2026)

Fixing the AdS$_3$ metric from the pure state entanglement entropies of CFT$_2$
von: Wang, Peng, et al.
Veröffentlicht: (2017)

Fixing three dimensional geometries from entanglement entropies of CFT$_2$
von: Wang, Peng, et al.
Veröffentlicht: (2018)

Beyond Semantic Search: Towards Referential Anchoring in Composed Image Retrieval
von: Yang, Yuxin, et al.
Veröffentlicht: (2026)

Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation
von: He, Zhenyu, et al.
Veröffentlicht: (2024)

Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation
von: Bianchessi, Arthur S., et al.
Veröffentlicht: (2025)

Group Representational Position Encoding
von: Zhang, Yifan, et al.
Veröffentlicht: (2025)

Strongly Positive Semi-Definite Tensors and Strongly SOS Tensors
von: Qi, Liqun, et al.
Veröffentlicht: (2025)

LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models
von: Zhao, Liang, et al.
Veröffentlicht: (2024)

Range-aware Positional Encoding via High-order Pretraining: Theory and Practice
von: Nguyen, Viet Anh, et al.
Veröffentlicht: (2024)

Cameras as Relative Positional Encoding
von: Li, Ruilong, et al.
Veröffentlicht: (2025)

DetailFusion: A Dual-branch Framework with Detail Enhancement for Composed Image Retrieval
von: Yang, Yuxin, et al.
Veröffentlicht: (2025)

MI-DETR: A Strong Baseline for Moving Infrared Small Target Detection with Bio-Inspired Motion Integration
von: Liu, Nian, et al.
Veröffentlicht: (2026)

COMPETÊNCIAS E APRENDIZAGEM EMPREENDEDORA EM MPE’S EDUCACIONAIS
von: Marcia Aparecida Zampier
Veröffentlicht: (2014)

AMBIDESTRIA ORGANIZACIONAL, ESG E DESEMPENHO EM MPE
von: Kildo Pereira de Melo Neto
Veröffentlicht: (2025)

LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QA
von: Zhang, Jiajie, et al.
Veröffentlicht: (2024)

3D-RPE: Enhancing Long-Context Modeling Through 3D Rotary Position Encoding
von: Ma, Xindian, et al.
Veröffentlicht: (2024)

GMC-IQA: Exploiting Global-correlation and Mean-opinion Consistency for No-reference Image Quality Assessment
von: Chen, Zewen, et al.
Veröffentlicht: (2024)

Toward a worldsheet theory of entanglement entropy
von: Wu, Houwen, et al.
Veröffentlicht: (2025)