Buchumschlag

Wavelet-based Positional Representation for Long Context

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Oka, Yui, Hasegawa, Taku, Nishida, Kyosuke, Saito, Kuniko
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Initialization of Large Language Models via Reparameterization to Mitigate Loss Spikes
von: Nishida, Kosuke, et al.
Veröffentlicht: (2024)

VDocRAG: Retrieval-Augmented Generation over Visually-Rich Documents
von: Tanaka, Ryota, et al.
Veröffentlicht: (2025)

InstructDoc: A Dataset for Zero-Shot Generalization of Visual Document Understanding with Instructions
von: Tanaka, Ryota, et al.
Veröffentlicht: (2024)

Portable Reward Tuning: Towards Reusable Fine-Tuning across Different Pretrained Models
von: Chijiwa, Daiki, et al.
Veröffentlicht: (2025)

Let's Put Ourselves in Sally's Shoes: Shoes-of-Others Prefilling Improves Theory of Mind in Large Language Models
von: Shinoda, Kazutoshi, et al.
Veröffentlicht: (2025)

ToMATO: Verbalizing the Mental States of Role-Playing LLMs for Benchmarking Theory of Mind
von: Shinoda, Kazutoshi, et al.
Veröffentlicht: (2025)

Can LLMs Detect Their Own Hallucinations?
von: Kadotani, Sora, et al.
Veröffentlicht: (2025)

Debiasing Reward Models via Causally Motivated Inference-Time Intervention
von: Shinoda, Kazutoshi, et al.
Veröffentlicht: (2026)

Lossless Vocabulary Reduction for Auto-Regressive Language Models
von: Chijiwa, Daiki, et al.
Veröffentlicht: (2025)

Responses Fall Short of Understanding: Revealing the Gap between Internal Representations and Responses in Visual Document Understanding
von: Kawasaki, Haruka, et al.
Veröffentlicht: (2026)

Quantifying and Mitigating Socially Desirable Responding in LLMs: A Desirability-Matched Graded Forced-Choice Psychometric Study
von: Okada, Kensuke, et al.
Veröffentlicht: (2026)

Long Context Alignment with Short Instructions and Synthesized Positions
von: Wu, Wenhao, et al.
Veröffentlicht: (2024)

Exploring Explanations Improves the Robustness of In-Context Learning
von: Honda, Ukyo, et al.
Veröffentlicht: (2025)

Layer-Specific Scaling of Positional Encodings for Superior Long-Context Modeling
von: Wang, Zhenghua, et al.
Veröffentlicht: (2025)

ScaleFormer: Span Representation Cumulation for Long-Context Transformer
von: Du, Jiangshu, et al.
Veröffentlicht: (2025)

Mitigating Posterior Salience Attenuation in Long-Context LLMs with Positional Contrastive Decoding
von: Xiao, Zikai, et al.
Veröffentlicht: (2025)

Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs
von: Liu, Xiaoran, et al.
Veröffentlicht: (2025)

An Efficient Recipe for Long Context Extension via Middle-Focused Positional Encoding
von: Wu, Tong, et al.
Veröffentlicht: (2024)

Short Data, Long Context: Distilling Positional Knowledge in Transformers
von: Huber, Patrick, et al.
Veröffentlicht: (2026)

Self-Consistency Falls Short! The Adverse Effects of Positional Bias on Long-Context Problems
von: Byerly, Adam, et al.
Veröffentlicht: (2024)

Evaluating Large Language Models on the Frame and Symbol Grounding Problems: A Zero-shot Benchmark
von: Oka, Shoko
Veröffentlicht: (2025)

When Precision Meets Position: BFloat16 Breaks Down RoPE in Long-Context Training
von: Wang, Haonan, et al.
Veröffentlicht: (2024)

3D-RPE: Enhancing Long-Context Modeling Through 3D Rotary Position Encoding
von: Ma, Xindian, et al.
Veröffentlicht: (2024)

Long-Tail Crisis in Nearest Neighbor Language Models
von: Nishida, Yuto, et al.
Veröffentlicht: (2025)

Context-aware Rotary Position Embedding
von: Veisi, Ali, et al.
Veröffentlicht: (2025)

LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards
von: Chen, Guanzheng, et al.
Veröffentlicht: (2026)

LongAttnComp: Cross-Family Context Compression for Long-Context Reasoning
von: Ji, Mengmeng, et al.
Veröffentlicht: (2026)

Bridging the Modality Gap by Similarity Standardization with Pseudo-Positive Samples
von: Yamashita, Shuhei, et al.
Veröffentlicht: (2025)

Information Representation Fairness in Long-Document Embeddings: The Peculiar Interaction of Positional and Language Bias
von: Schuhmacher, Elias, et al.
Veröffentlicht: (2026)

Compressing Long Context for Enhancing RAG with AMR-based Concept Distillation
von: Shi, Kaize, et al.
Veröffentlicht: (2024)

Counting-Stars: A Multi-evidence, Position-aware, and Scalable Benchmark for Evaluating Long-Context Large Language Models
von: Song, Mingyang, et al.
Veröffentlicht: (2024)

LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion
von: Ling, Zhan, et al.
Veröffentlicht: (2025)

Never Lost in the Middle: Mastering Long-Context Question Answering with Position-Agnostic Decompositional Training
von: He, Junqing, et al.
Veröffentlicht: (2023)

Long-Context Language Modeling with Parallel Context Encoding
von: Yen, Howard, et al.
Veröffentlicht: (2024)

On Many-Shot In-Context Learning for Long-Context Evaluation
von: Zou, Kaijian, et al.
Veröffentlicht: (2024)

In-Context Learning with Long-Context Models: An In-Depth Exploration
von: Bertsch, Amanda, et al.
Veröffentlicht: (2024)

Found in the Middle: Calibrating Positional Attention Bias Improves Long Context Utilization
von: Hsieh, Cheng-Yu, et al.
Veröffentlicht: (2024)

RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably
von: Du, Yufeng, et al.
Veröffentlicht: (2026)

Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding
von: Zeris, Athanasios
Veröffentlicht: (2026)

Beyond Position Bias: Shifting Context Compression from Position-Driven to Semantic-Driven
von: Tang, Jiwei, et al.
Veröffentlicht: (2026)