Buchumschlag

Functional Interpolation for Relative Positions Improves Long Context Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Shanda, You, Chong, Guruganesh, Guru, Ainslie, Joshua, Ontanon, Santiago, Zaheer, Manzil, Sanghai, Sumit, Yang, Yiming, Kumar, Sanjiv, Bhojanapalli, Srinadh
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Scalable In-context Ranking with Generative Models
von: Gupta, Nilesh, et al.
Veröffentlicht: (2025)

Position Coupling: Improving Length Generalization of Arithmetic Transformers Using Task Structure
von: Cho, Hanseul, et al.
Veröffentlicht: (2024)

HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference
von: L, Yashas Samaga B, et al.
Veröffentlicht: (2024)

On student-teacher deviations in distillation: does it pay to disobey?
von: Nagarajan, Vaishnavh, et al.
Veröffentlicht: (2023)

Mimetic Initialization Helps State Space Models Learn to Recall
von: Trockman, Asher, et al.
Veröffentlicht: (2024)

Arithmetic Transformers Can Length-Generalize in Both Operand Length and Count
von: Cho, Hanseul, et al.
Veröffentlicht: (2024)

Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders
von: Rozonoyer, Benjamin, et al.
Veröffentlicht: (2026)

Differentially Private Model Merging
von: Yin, Qichuan, et al.
Veröffentlicht: (2026)

Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers
von: Choromanski, Krzysztof Marcin, et al.
Veröffentlicht: (2023)

Efficient Language Model Architectures for Differentially Private Federated Learning
von: Ro, Jae Hun, et al.
Veröffentlicht: (2024)

Dual-Encoders for Extreme Multi-Label Classification
von: Gupta, Nilesh, et al.
Veröffentlicht: (2023)

Efficient Distributed Optimization under Heavy-Tailed Noise
von: Lee, Su Hyeong, et al.
Veröffentlicht: (2025)

A Statistical Framework for Data-dependent Retrieval-Augmented Models
von: Basu, Soumya, et al.
Veröffentlicht: (2024)

Advances in Transformers for Robotic Applications: A Review
von: Sanghai, Nikunj, et al.
Veröffentlicht: (2024)

Federation over Text: Insight Sharing for Multi-Agent Reasoning
von: Yao, Dixi, et al.
Veröffentlicht: (2026)

A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks
von: Monath, Nicholas, et al.
Veröffentlicht: (2024)

Spark Transformer: Reactivating Sparsity in FFN and Attention
von: You, Chong, et al.
Veröffentlicht: (2025)

Efficient Adaptive Federated Optimization
von: Lee, Su Hyeong, et al.
Veröffentlicht: (2024)

Contracting with a Learning Agent
von: Guruganesh, Guru, et al.
Veröffentlicht: (2024)

Maximal Update Parametrization and Zero-Shot Hyperparameter Transfer for Fourier Neural Operators
von: Li, Shanda, et al.
Veröffentlicht: (2025)

Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models
von: Huang, Yukun, et al.
Veröffentlicht: (2025)

Some Series Related to Extended Riemann Hypothesis for Dedekind Zeta Functions
von: Zaheer, Muhammad Atif
Veröffentlicht: (2025)

Adaptive Retrieval and Scalable Indexing for k-NN Search with Cross-Encoders
von: Yadav, Nishant, et al.
Veröffentlicht: (2024)

Integrating Planning into Single-Turn Long-Form Text Generation
von: Liang, Yi, et al.
Veröffentlicht: (2024)

An Improved Collecting Bottle
von: Ainslie, C. N. (Charles Nicholas)
Veröffentlicht: (1915)

Understanding Outer Optimizers in Local SGD: Learning Rates, Momentum, and Acceleration
von: Khaled, Ahmed, et al.
Veröffentlicht: (2025)

ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis
von: Shi, Kensen, et al.
Veröffentlicht: (2023)

Asynchronous Heavy-Tailed Optimization
von: Sun, Junfei, et al.
Veröffentlicht: (2026)

CO-Bench: Benchmarking Language Model Agents in Algorithm Search for Combinatorial Optimization
von: Sun, Weiwei, et al.
Veröffentlicht: (2025)

Q-ROAR: Outlier-Aware Rescaling for RoPE Position Interpolation in Quantized Long-Context LLMs
von: Qiao, Ye, et al.
Veröffentlicht: (2025)

HLA‐DPA1*01:228 is the First DPA1 Allele Described With an Alanine at Position 42 of Alpha‐1 Domain
von: Luis Alberto Marin Rubio, et al.
Veröffentlicht: (2025)

HLA‐DRB1*08:130 Is the First DRB1 Allele Described With a Leucine at Position 64 of Beta‐1 Domain
von: Luis Alberto Marin Rubio, et al.
Veröffentlicht: (2025)

kylieainslie/mitey: mitey 0.3.1
von: Kylie Ainslie
Veröffentlicht: (2026)

India : historia del subcontinente desde las culturas del indo hasta el comienzo del dominio inglés / Ainslie T. Embree y Friedrich Wilhelm; traductores Antón Dieterich, María Isabel Carrillo
von: Embree, Ainslie

Inadequate housing is not neglect: How the family regulation system punishes parents for a housing crisis out of their control
von: Ainslie Martin
Veröffentlicht: (2025)

Short Data, Long Context: Distilling Positional Knowledge in Transformers
von: Huber, Patrick, et al.
Veröffentlicht: (2026)

Corpo e arte: uma proposta pedagógica na Educação Física a partir da bola de equilíbrio circense
von: Teresa Ontañón Barragán
Veröffentlicht: (2019)

APRENDENDO A ENSINAR CIRCO: A CURRICULARIZAÇÃO DA EXTENSÃO UNIVERSITÁRIA E SEUS IMPACTOS NA FORMAÇÃO DOS DISCENTES
von: Teresa Ontañón Barragán
Veröffentlicht: (2023)

Core Context Aware Transformers for Long Context Language Modeling
von: Chen, Yaofo, et al.
Veröffentlicht: (2024)

CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent Memory in LLMs
von: Mireshghallah, Niloofar, et al.
Veröffentlicht: (2025)