Buchumschlag

Multiscale Byte Language Models -- A Hierarchical Architecture for Causal Million-Length Sequence Modeling

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Egli, Eric, Manica, Matteo, Born, Jannis
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models
von: Neitemeier, Pit, et al.
Veröffentlicht: (2025)

Language models in molecular discovery
von: Janakarajan, Nikita, et al.
Veröffentlicht: (2023)

Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy
von: Cullhed, Eric
Veröffentlicht: (2024)

Understanding and Improving Length Generalization in Hierarchical Sparse Attention Models
von: Leng, Jiaqi, et al.
Veröffentlicht: (2025)

Discovering Hierarchical Latent Capabilities of Language Models via Causal Representation Learning
von: Jin, Jikai, et al.
Veröffentlicht: (2025)

SpaceByte: Towards Deleting Tokenization from Large Language Modeling
von: Slagle, Kevin
Veröffentlicht: (2024)

Length-MAX Tokenizer for Language Models
von: Dong, Dong, et al.
Veröffentlicht: (2025)

MrT5: Dynamic Token Merging for Efficient Byte-level Language Models
von: Kallini, Julie, et al.
Veröffentlicht: (2024)

MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling
von: Limisiewicz, Tomasz, et al.
Veröffentlicht: (2024)

Emergence of Hierarchical Emotion Organization in Large Language Models
von: Zhao, Bo, et al.
Veröffentlicht: (2025)

Sequence-to-Sequence Spanish Pre-trained Language Models
von: Araujo, Vladimir, et al.
Veröffentlicht: (2023)

Causal Evaluation of Language Models
von: Chen, Sirui, et al.
Veröffentlicht: (2024)

Causality for Large Language Models
von: Wu, Anpeng, et al.
Veröffentlicht: (2024)

On the Optimal Reasoning Length for RL-Trained Language Models
von: Nohara, Daisuke, et al.
Veröffentlicht: (2026)

TableRAG: Million-Token Table Understanding with Language Models
von: Chen, Si-An, et al.
Veröffentlicht: (2024)

Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models
von: Marks, Samuel, et al.
Veröffentlicht: (2024)

Clip Your Sequences Fairly: Enforcing Length Fairness for Sequence-Level RL
von: Mao, Hanyi, et al.
Veröffentlicht: (2025)

SOMBRERO: Measuring and Steering Boundary Placement in End-to-End Hierarchical Sequence Models
von: Neitemeier, Pit, et al.
Veröffentlicht: (2026)

Confidence Regularized Masked Language Modeling using Text Length
von: Ji, Seunghyun, et al.
Veröffentlicht: (2025)

On the Expressiveness and Length Generalization of Selective State-Space Models on Regular Languages
von: Terzić, Aleksandar, et al.
Veröffentlicht: (2024)

Specialising and Analysing Instruction-Tuned and Byte-Level Language Models for Organic Reaction Prediction
von: Pang, Jiayun, et al.
Veröffentlicht: (2024)

Compositional Causal Reasoning Evaluation in Language Models
von: Maasch, Jacqueline R. M. A., et al.
Veröffentlicht: (2025)

Causal Inference for Human-Language Model Collaboration
von: Zhang, Bohan, et al.
Veröffentlicht: (2024)

CLadder: Assessing Causal Reasoning in Language Models
von: Jin, Zhijing, et al.
Veröffentlicht: (2023)

Investigating Multi-Pivot Ensembling with Massively Multilingual Machine Translation Models
von: Mohammadshahi, Alireza, et al.
Veröffentlicht: (2023)

Provable Length Generalization in Sequence Prediction via Spectral Filtering
von: Marsden, Annie, et al.
Veröffentlicht: (2024)

CausalVLBench: Benchmarking Visual Causal Reasoning in Large Vision-Language Models
von: Komanduri, Aneesh, et al.
Veröffentlicht: (2025)

Hierarchical Federated Unlearning for Large Language Models
von: Zhong, Yisheng, et al.
Veröffentlicht: (2025)

A Meta-Learning Perspective on Transformers for Causal Language Modeling
von: Wu, Xinbo, et al.
Veröffentlicht: (2023)

Context-Aware Initialization for Reducing Generative Path Length in Diffusion Language Models
von: Miao, Tongyuan, et al.
Veröffentlicht: (2025)

Softplus Attention with Re-weighting Boosts Length Extrapolation in Large Language Models
von: Gao, Bo, et al.
Veröffentlicht: (2025)

ALaRM: Align Language Models via Hierarchical Rewards Modeling
von: Lai, Yuhang, et al.
Veröffentlicht: (2024)

The Compositional Architecture of Regret in Large Language Models
von: Cui, Xiangxiang, et al.
Veröffentlicht: (2025)

Non-Markovian Discrete Diffusion with Causal Language Models
von: Zhang, Yangtian, et al.
Veröffentlicht: (2025)

LLM4Causal: Democratized Causal Tools for Everyone via Large Language Model
von: Jiang, Haitao, et al.
Veröffentlicht: (2023)

Hymba: A Hybrid-head Architecture for Small Language Models
von: Dong, Xin, et al.
Veröffentlicht: (2024)

The Geometry of Categorical and Hierarchical Concepts in Large Language Models
von: Park, Kiho, et al.
Veröffentlicht: (2024)

Physics of Language Models: Part 1, Learning Hierarchical Language Structures
von: Allen-Zhu, Zeyuan, et al.
Veröffentlicht: (2023)

Sequences of Logits Reveal the Low Rank Structure of Language Models
von: Golowich, Noah, et al.
Veröffentlicht: (2025)

Enhancing Causal Reasoning in Large Language Models: A Causal Attribution Model for Precision Fine-Tuning
von: Cai, Hengrui, et al.
Veröffentlicht: (2023)