LaMPE: Length-aware Multi-grained Positional Encoding for Adaptive Long-context Scaling Without Training
Fuente:
arXiv
Gespeichert in:
| Hauptverfasser: | Zhang, Sikui, Gao, Guangze, Gan, Ziyun, Yuan, Chunfeng, Lin, Zefeng, Peng, Houwen, Li, Bing, Hu, Weiming |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2025
|
| Schlagworte: | |
| Online-Zugang: | |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
DAPE: Data-Adaptive Positional Encoding for Length Extrapolation
von: Zheng, Chuanyang, et al.
Veröffentlicht: (2024)
von: Zheng, Chuanyang, et al.
Veröffentlicht: (2024)
Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding
von: Chen, Lin, et al.
Veröffentlicht: (2026)
von: Chen, Lin, et al.
Veröffentlicht: (2026)
MEP: Multiple Kernel Learning Enhancing Relative Positional Encoding Length Extrapolation
von: Gao, Weiguo
Veröffentlicht: (2024)
von: Gao, Weiguo
Veröffentlicht: (2024)
OMEGA: Optimized Multimodal Position Encoding Index Derivation with Global Adaptive Scaling for Vision-Language Models
von: Huang, Ruoxiang, et al.
Veröffentlicht: (2025)
von: Huang, Ruoxiang, et al.
Veröffentlicht: (2025)
Length Extrapolation of Transformers: A Survey from the Perspective of Positional Encoding
von: Zhao, Liang, et al.
Veröffentlicht: (2023)
von: Zhao, Liang, et al.
Veröffentlicht: (2023)
Length Generalization of Causal Transformers without Position Encoding
von: Wang, Jie, et al.
Veröffentlicht: (2024)
von: Wang, Jie, et al.
Veröffentlicht: (2024)
Set Prediction Guided by Semantic Concepts for Diverse Video Captioning
von: Lu, Yifan, et al.
Veröffentlicht: (2023)
von: Lu, Yifan, et al.
Veröffentlicht: (2023)
Layer-Specific Scaling of Positional Encodings for Superior Long-Context Modeling
von: Wang, Zhenghua, et al.
Veröffentlicht: (2025)
von: Wang, Zhenghua, et al.
Veröffentlicht: (2025)
Adaptive Spatial Goodness Encoding: Advancing and Scaling Forward-Forward Learning Without Backpropagation
von: Gong, Qingchun, et al.
Veröffentlicht: (2025)
von: Gong, Qingchun, et al.
Veröffentlicht: (2025)
HoPE: A Novel Positional Encoding Without Long-Term Decay for Enhanced Context Awareness and Extrapolation
von: Chen, Yuhan, et al.
Veröffentlicht: (2024)
von: Chen, Yuhan, et al.
Veröffentlicht: (2024)
iFCTN: an intra-block Fully-Connected Tensor Network Decomposition for Tensor Completion
von: Gan, Ziyi, et al.
Veröffentlicht: (2025)
von: Gan, Ziyi, et al.
Veröffentlicht: (2025)
Mitigating Hallucinations in Large Vision-Language Models by Self-Injecting Hallucinations
von: Lu, Yifan, et al.
Veröffentlicht: (2025)
von: Lu, Yifan, et al.
Veröffentlicht: (2025)
Fusion Matters: Length-Aware Analysis of Positional-Encoding Fusion in Transformers
von: Hallam, Mohamed Amine, et al.
Veröffentlicht: (2026)
von: Hallam, Mohamed Amine, et al.
Veröffentlicht: (2026)
LEDiT: Your Length-Extrapolatable Diffusion Transformer without Positional Encoding
von: Zhang, Shen, et al.
Veröffentlicht: (2025)
von: Zhang, Shen, et al.
Veröffentlicht: (2025)
Position Encoding with Random Float Sampling Enhances Length Generalization of Transformers
von: Shimizu, Atsushi, et al.
Veröffentlicht: (2026)
von: Shimizu, Atsushi, et al.
Veröffentlicht: (2026)
Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
von: Zuo, Chunsheng, et al.
Veröffentlicht: (2024)
von: Zuo, Chunsheng, et al.
Veröffentlicht: (2024)
PromptIQA: Boosting the Performance and Generalization for No-Reference Image Quality Assessment via Prompts
von: Chen, Zewen, et al.
Veröffentlicht: (2024)
von: Chen, Zewen, et al.
Veröffentlicht: (2024)
Remember to Forget: Gated Adaptive Positional Encoding
von: Ali, Riccardo, et al.
Veröffentlicht: (2026)
von: Ali, Riccardo, et al.
Veröffentlicht: (2026)
ScalingFilter: Assessing Data Quality through Inverse Utilization of Scaling Laws
von: Li, Ruihang, et al.
Veröffentlicht: (2024)
von: Li, Ruihang, et al.
Veröffentlicht: (2024)
UCM: Unifying Camera Control and Memory with Time-aware Positional Encoding Warping for World Models
von: Xu, Tianxing, et al.
Veröffentlicht: (2026)
von: Xu, Tianxing, et al.
Veröffentlicht: (2026)
Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning
von: Sun, Hai-Long, et al.
Veröffentlicht: (2025)
von: Sun, Hai-Long, et al.
Veröffentlicht: (2025)
SoLA-Vision: Fine-grained Layer-wise Linear Softmax Hybrid Attention
von: Li, Ruibang, et al.
Veröffentlicht: (2026)
von: Li, Ruibang, et al.
Veröffentlicht: (2026)
Fixing the AdS$_3$ metric from the pure state entanglement entropies of CFT$_2$
von: Wang, Peng, et al.
Veröffentlicht: (2017)
von: Wang, Peng, et al.
Veröffentlicht: (2017)
Fixing three dimensional geometries from entanglement entropies of CFT$_2$
von: Wang, Peng, et al.
Veröffentlicht: (2018)
von: Wang, Peng, et al.
Veröffentlicht: (2018)
Beyond Semantic Search: Towards Referential Anchoring in Composed Image Retrieval
von: Yang, Yuxin, et al.
Veröffentlicht: (2026)
von: Yang, Yuxin, et al.
Veröffentlicht: (2026)
Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation
von: He, Zhenyu, et al.
Veröffentlicht: (2024)
von: He, Zhenyu, et al.
Veröffentlicht: (2024)
Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation
von: Bianchessi, Arthur S., et al.
Veröffentlicht: (2025)
von: Bianchessi, Arthur S., et al.
Veröffentlicht: (2025)
Group Representational Position Encoding
von: Zhang, Yifan, et al.
Veröffentlicht: (2025)
von: Zhang, Yifan, et al.
Veröffentlicht: (2025)
Strongly Positive Semi-Definite Tensors and Strongly SOS Tensors
von: Qi, Liqun, et al.
Veröffentlicht: (2025)
von: Qi, Liqun, et al.
Veröffentlicht: (2025)
LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models
von: Zhao, Liang, et al.
Veröffentlicht: (2024)
von: Zhao, Liang, et al.
Veröffentlicht: (2024)
Range-aware Positional Encoding via High-order Pretraining: Theory and Practice
von: Nguyen, Viet Anh, et al.
Veröffentlicht: (2024)
von: Nguyen, Viet Anh, et al.
Veröffentlicht: (2024)
Cameras as Relative Positional Encoding
von: Li, Ruilong, et al.
Veröffentlicht: (2025)
von: Li, Ruilong, et al.
Veröffentlicht: (2025)
DetailFusion: A Dual-branch Framework with Detail Enhancement for Composed Image Retrieval
von: Yang, Yuxin, et al.
Veröffentlicht: (2025)
von: Yang, Yuxin, et al.
Veröffentlicht: (2025)
MI-DETR: A Strong Baseline for Moving Infrared Small Target Detection with Bio-Inspired Motion Integration
von: Liu, Nian, et al.
Veröffentlicht: (2026)
von: Liu, Nian, et al.
Veröffentlicht: (2026)
COMPETÊNCIAS E APRENDIZAGEM EMPREENDEDORA EM MPE’S EDUCACIONAIS
von: Marcia Aparecida Zampier
Veröffentlicht: (2014)
von: Marcia Aparecida Zampier
Veröffentlicht: (2014)
AMBIDESTRIA ORGANIZACIONAL, ESG E DESEMPENHO EM MPE
von: Kildo Pereira de Melo Neto
Veröffentlicht: (2025)
von: Kildo Pereira de Melo Neto
Veröffentlicht: (2025)
LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QA
von: Zhang, Jiajie, et al.
Veröffentlicht: (2024)
von: Zhang, Jiajie, et al.
Veröffentlicht: (2024)
3D-RPE: Enhancing Long-Context Modeling Through 3D Rotary Position Encoding
von: Ma, Xindian, et al.
Veröffentlicht: (2024)
von: Ma, Xindian, et al.
Veröffentlicht: (2024)
GMC-IQA: Exploiting Global-correlation and Mean-opinion Consistency for No-reference Image Quality Assessment
von: Chen, Zewen, et al.
Veröffentlicht: (2024)
von: Chen, Zewen, et al.
Veröffentlicht: (2024)
Toward a worldsheet theory of entanglement entropy
von: Wu, Houwen, et al.
Veröffentlicht: (2025)
von: Wu, Houwen, et al.
Veröffentlicht: (2025)
Ähnliche Einträge
-
DAPE: Data-Adaptive Positional Encoding for Length Extrapolation
von: Zheng, Chuanyang, et al.
Veröffentlicht: (2024) -
Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding
von: Chen, Lin, et al.
Veröffentlicht: (2026) -
MEP: Multiple Kernel Learning Enhancing Relative Positional Encoding Length Extrapolation
von: Gao, Weiguo
Veröffentlicht: (2024) -
OMEGA: Optimized Multimodal Position Encoding Index Derivation with Global Adaptive Scaling for Vision-Language Models
von: Huang, Ruoxiang, et al.
Veröffentlicht: (2025) -
Length Extrapolation of Transformers: A Survey from the Perspective of Positional Encoding
von: Zhao, Liang, et al.
Veröffentlicht: (2023)