Buchumschlag

Defragmenting Language Models: An Interpretability-based Approach for Vocabulary Expansion

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mehta, Maitrey, Subramani, Nishant, Xu, Zhichao, Gupta, Ashim, Srikumar, Vivek
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Found in Translation: Measuring Multilingual LLM Consistency as Simple as Translate then Evaluate
von: Gupta, Ashim, et al.
Veröffentlicht: (2025)

Promptly Predicting Structures: The Return of Inference
von: Mehta, Maitrey, et al.
Veröffentlicht: (2024)

State Space Models are Strong Text Rerankers
von: Xu, Zhichao, et al.
Veröffentlicht: (2024)

Test-Time Scaling with Repeated Sampling Improves Multilingual Text Generation
von: Gupta, Ashim, et al.
Veröffentlicht: (2025)

Beyond Perplexity: Multi-dimensional Safety Evaluation of LLM Compression
von: Xu, Zhichao, et al.
Veröffentlicht: (2024)

LACONIC: Dense-Level Effectiveness for Scalable Sparse Retrieval via a Two-Phase Training Curriculum
von: Xu, Zhichao, et al.
Veröffentlicht: (2026)

An Empirical Investigation of Matrix Factorization Methods for Pre-trained Transformers
von: Gupta, Ashim, et al.
Veröffentlicht: (2024)

Whispers of Doubt Amidst Echoes of Triumph in NLP Robustness
von: Gupta, Ashim, et al.
Veröffentlicht: (2023)

How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits
von: Li, Michael, et al.
Veröffentlicht: (2026)

Model Internal Sleuthing: Finding Lexical Identity and Inflectional Features in Modern Language Models
von: Li, Michael, et al.
Veröffentlicht: (2025)

In-Context Example Ordering Guided by Label Distributions
von: Xu, Zhichao, et al.
Veröffentlicht: (2024)

Unequal Voices: How LLMs Construct Constrained Queer Narratives
von: Ghosal, Atreya, et al.
Veröffentlicht: (2025)

Distillation versus Contrastive Learning: How to Train Your Rerankers
von: Xu, Zhichao, et al.
Veröffentlicht: (2025)

Personal Information Parroting in Language Models
von: Subramani, Nishant, et al.
Veröffentlicht: (2026)

Reinforcing Code Generation: Improving Text-to-SQL with Execution-Based Learning
von: Kulkarni, Atharv, et al.
Veröffentlicht: (2025)

LLM-Symbolic Integration for Robust Temporal Tabular Reasoning
von: Kulkarni, Atharv, et al.
Veröffentlicht: (2025)

An Empirical Comparison of Vocabulary Expansion and Initialization Approaches for Language Models
von: Mundra, Nandini, et al.
Veröffentlicht: (2024)

InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis
von: Bentham, Oliver, et al.
Veröffentlicht: (2026)

LLM Microscope: What Model Internals Reveal About Answer Correctness and Context Utilization
von: Liu, Jiarui, et al.
Veröffentlicht: (2025)

Understanding the Logic of Direct Preference Alignment through Logic
von: Richardson, Kyle, et al.
Veröffentlicht: (2024)

Enhancing Question Answering on Charts Through Effective Pre-training Tasks
von: Gupta, Ashim, et al.
Veröffentlicht: (2024)

SimBA: Simplifying Benchmark Analysis Using Performance Matrices Alone
von: Subramani, Nishant, et al.
Veröffentlicht: (2025)

Second Language (Arabic) Acquisition of LLMs via Progressive Vocabulary Expansion
von: Zhu, Jianqing, et al.
Veröffentlicht: (2024)

Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models
von: Kim, Seungduk, et al.
Veröffentlicht: (2024)

Rethinking On-policy Optimization for Query Augmentation
von: Xu, Zhichao, et al.
Veröffentlicht: (2025)

Gold Panning in Vocabulary: An Adaptive Method for Vocabulary Expansion of Domain-Specific LLMs
von: Liu, Chengyuan, et al.
Veröffentlicht: (2024)

Vocabulary Expansion of Large Language Models via Kullback-Leibler-Based Self-Distillation
von: Linder, Max Rehman
Veröffentlicht: (2025)

MedPath: Multi-Domain Cross-Vocabulary Hierarchical Paths for Biomedical Entity Linking
von: Mishra, Nishant, et al.
Veröffentlicht: (2025)

Is Your Large Language Model Knowledgeable or a Choices-Only Cheater?
von: Balepur, Nishant, et al.
Veröffentlicht: (2024)

HQFS: Hybrid Quantum Classical Financial Security with VQC Forecasting, QUBO Annealing, and Audit-Ready Post-Quantum Signing
von: Nayak, Srikumar
Veröffentlicht: (2026)

Named Entity Recognition for Payment Data Using NLP
von: Nayak, Srikumar
Veröffentlicht: (2026)

Capability-Guided Compression: Toward Interpretability-Aware Budget Allocation for Large Language Models
von: Gupta, Rishaank
Veröffentlicht: (2026)

MICE for CATs: Model-Internal Confidence Estimation for Calibrating Agents with Tools
von: Subramani, Nishant, et al.
Veröffentlicht: (2025)

Overcoming Vocabulary Mismatch: Vocabulary-agnostic Teacher Guided Language Modeling
von: Shin, Haebin, et al.
Veröffentlicht: (2025)

It's Not Easy Being Wrong: Large Language Models Struggle with Process of Elimination Reasoning
von: Balepur, Nishant, et al.
Veröffentlicht: (2023)

RLShield: Practical Multi-Agent RL for Financial Cyber Defense with Attack-Surface MDPs and Real-Time Response Orchestration
von: Nayak, Srikumar
Veröffentlicht: (2026)

Sensitivity of Small Language Models to Fine-tuning Data Contamination
von: Scaria, Nicy, et al.
Veröffentlicht: (2025)

Large Vocabulary Size Improves Large Language Models
von: Takase, Sho, et al.
Veröffentlicht: (2024)

Rule by Rule: Learning with Confidence through Vocabulary Expansion
von: Nössig, Albert, et al.
Veröffentlicht: (2024)

Can Small Language Models Learn, Unlearn, and Retain Noise Patterns?
von: Scaria, Nicy, et al.
Veröffentlicht: (2024)