Buchumschlag

Flexibly Scaling Large Language Models Contexts Through Extensible Tokenization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shao, Ninglu, Xiao, Shitao, Liu, Zheng, Zhang, Peitian
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Extensible Embedding: A Flexible Multipler For LLM's Context Length
von: Shao, Ninglu, et al.
Veröffentlicht: (2024)

Compressing Lengthy Context With UltraGist
von: Zhang, Peitian, et al.
Veröffentlicht: (2024)

Long Context Compression with Activation Beacon
von: Zhang, Peitian, et al.
Veröffentlicht: (2024)

Extending Llama-3's Context Ten-Fold Overnight
von: Zhang, Peitian, et al.
Veröffentlicht: (2024)

Lighter And Better: Towards Flexible Context Adaptation For Retrieval Augmented Generation
von: Liu, Zheng, et al.
Veröffentlicht: (2024)

M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
von: Chen, Jianlv, et al.
Veröffentlicht: (2024)

BGE Landmark Embedding: A Chunking-Free Embedding Method For Retrieval Augmented Long-Context Large Language Models
von: Luo, Kun, et al.
Veröffentlicht: (2024)

Llama2Vec: Unsupervised Adaptation of Large Language Models for Dense Retrieval
von: Liu, Zheng, et al.
Veröffentlicht: (2023)

Understanding Privacy Risks of Embeddings Induced by Large Language Models
von: Zhu, Zhihao, et al.
Veröffentlicht: (2024)

C-Pack: Packed Resources For General Chinese Embeddings
von: Xiao, Shitao, et al.
Veröffentlicht: (2023)

Matryoshka Re-Ranker: A Flexible Re-Ranking Architecture With Configurable Depth and Width
von: Liu, Zheng, et al.
Veröffentlicht: (2025)

LoPT: Lossless Parallel Tokenization Acceleration for Long Context Inference of Large Language Model
von: Shao, Wei, et al.
Veröffentlicht: (2025)

Does RAG Really Perform Bad For Long-Context Processing?
von: Luo, Kun, et al.
Veröffentlicht: (2025)

Large Language Models as Foundations for Next-Gen Dense Retrieval: A Comprehensive Empirical Assessment
von: Luo, Kun, et al.
Veröffentlicht: (2024)

Boosting Long-Context Management via Query-Guided Activation Refilling
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning
von: Zhu, Yutao, et al.
Veröffentlicht: (2024)

SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking
von: Xing, Xingrun, et al.
Veröffentlicht: (2024)

Are Long-LLMs A Necessity For Long-Context Tasks?
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

Marathon: A Race Through the Realm of Long Context with Large Language Models
von: Zhang, Lei, et al.
Veröffentlicht: (2023)

MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

FLEXITOKENS: Flexible Tokenization for Evolving Language Models
von: Owodunni, Abraham Toluwase, et al.
Veröffentlicht: (2025)

L-MTP: Leap Multi-Token Prediction Beyond Adjacent Context for Large Language Models
von: Liu, Xiaohao, et al.
Veröffentlicht: (2025)

Training-Free Long-Context Scaling of Large Language Models
von: An, Chenxin, et al.
Veröffentlicht: (2024)

MedOrch: Medical Diagnosis with Tool-Augmented Reasoning Agents for Flexible Extensibility
von: He, Yexiao, et al.
Veröffentlicht: (2025)

SemToken: Semantic-Aware Tokenization for Efficient Long-Context Language Modeling
von: Liu, Dong, et al.
Veröffentlicht: (2025)

Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models
von: Xu, Ningyu, et al.
Veröffentlicht: (2026)

Rethinking Personalization in Large Language Models at the Token Level
von: Zhang, Chenheng, et al.
Veröffentlicht: (2026)

No Tokens Wasted: Leveraging Long Context in Biomedical Vision-Language Models
von: Sun, Min Woo, et al.
Veröffentlicht: (2025)

LMFlow: An Extensible Toolkit for Finetuning and Inference of Large Foundation Models
von: Diao, Shizhe, et al.
Veröffentlicht: (2023)

Problematic Tokens: Tokenizer Bias in Large Language Models
von: Yang, Jin, et al.
Veröffentlicht: (2024)

TokenSmith: Streamlining Data Editing, Search, and Inspection for Large-Scale Language Model Training and Interpretability
von: Khan, Mohammad Aflah, et al.
Veröffentlicht: (2025)

Taking a Deep Breath: Enhancing Language Modeling of Large Language Models with Sentinel Tokens
von: Luo, Weiyao, et al.
Veröffentlicht: (2024)

FTP: A Fine-grained Token-wise Pruner for Large Language Models via Token Routing
von: Li, Zekai, et al.
Veröffentlicht: (2024)

Token-Efficient Leverage Learning in Large Language Models
von: Zeng, Yuanhao, et al.
Veröffentlicht: (2024)

Large Language Model as Token Compressor and Decompressor
von: Li, Wenbing, et al.
Veröffentlicht: (2026)

PrefixQuant: Eliminating Outliers by Prefixed Tokens for Large Language Models Quantization
von: Chen, Mengzhao, et al.
Veröffentlicht: (2024)

Structured In-context Environment Scaling for Large Language Model Reasoning
von: Yu, Peng, et al.
Veröffentlicht: (2025)

PoC: Performance-oriented Context Compression for Large Language Models via Performance Prediction
von: Zhao, Runsong, et al.
Veröffentlicht: (2026)

Rethinking Tokenization: Crafting Better Tokenizers for Large Language Models
von: Yang, Jinbiao
Veröffentlicht: (2024)

Toward Graph-Tokenizing Large Language Models with Reconstructive Graph Instruction Tuning
von: Zhang, Zhongjian, et al.
Veröffentlicht: (2026)