Buchumschlag

Emergent Specialization: Rare Token Neurons in Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Jing, Wang, Haozheng, Li, Yueheng
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Distributed Specialization: Rare-Token Neurons in Large Language Models
von: Liu, Jing, et al.
Veröffentlicht: (2025)

No Clustering, No Routing: How Transformers Actually Process Rare Tokens
von: Liu, Jing
Veröffentlicht: (2025)

Conv-CoA: Improving Open-domain Question Answering in Large Language Models via Conversational Chain-of-Action
von: Pan, Zhenyu, et al.
Veröffentlicht: (2024)

From Tokens to Lattices: Emergent Lattice Structures in Language Models
von: Xiong, Bo, et al.
Veröffentlicht: (2025)

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility
von: He, Haoyu, et al.
Veröffentlicht: (2025)

Emergent Languages in Populations of Language Model Agents: From Token Efficiency to Oversight Evasion
von: Beltoft, Stine Lyngsø, et al.
Veröffentlicht: (2026)

Meta-Learning Based Few-Shot Graph-Level Anomaly Detection
von: Li, Liting, et al.
Veröffentlicht: (2025)

Architecting AgentOS: From Token-Level Context to Emergent System-Level Intelligence
von: Li, ChengYou, et al.
Veröffentlicht: (2026)

Piculet: Specialized Models-Guided Hallucination Decrease for MultiModal Large Language Models
von: Wang, Kohou, et al.
Veröffentlicht: (2024)

Question Classification with Deep Contextualized Transformer
von: Luo, Haozheng, et al.
Veröffentlicht: (2019)

Multi-Agent Guided Policy Optimization
von: Li, Yueheng, et al.
Veröffentlicht: (2025)

STAPO: Stabilizing Reinforcement Learning for LLMs by Silencing Rare Spurious Tokens
von: Liu, Shiqi, et al.
Veröffentlicht: (2026)

Reinforcement Learning with Promising Tokens for Large Language Models
von: Pang, Jing-Cheng, et al.
Veröffentlicht: (2026)

Token Signature: Predicting Chain-of-Thought Gains with Token Decoding Feature in Large Language Models
von: Liu, Peijie, et al.
Veröffentlicht: (2025)

Geometry Informed Tokenization of Molecules for Language Model Generation
von: Li, Xiner, et al.
Veröffentlicht: (2024)

Guided Policy Optimization under Partial Observability
von: Li, Yueheng, et al.
Veröffentlicht: (2025)

One Token Is Enough: Improving Diffusion Language Models with a Sink Token
von: Zhang, Zihou, et al.
Veröffentlicht: (2026)

TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation
von: Chen, Yinda, et al.
Veröffentlicht: (2024)

Tokenization Matters! Degrading Large Language Models through Challenging Their Tokenization
von: Wang, Dixuan, et al.
Veröffentlicht: (2024)

Neuron-based Multifractal Analysis of Neuron Interaction Dynamics in Large Models
von: Xiao, Xiongye, et al.
Veröffentlicht: (2024)

Survey of Specialized Large Language Model
von: Yang, Chenghan, et al.
Veröffentlicht: (2025)

Emergent Collective Reproduction via Evolving Neuronal Flocks
von: Le, Nam H., et al.
Veröffentlicht: (2024)

SemToken: Semantic-Aware Tokenization for Efficient Long-Context Language Modeling
von: Liu, Dong, et al.
Veröffentlicht: (2025)

ST-MoE-BERT: A Spatial-Temporal Mixture-of-Experts Framework for Long-Term Cross-City Mobility Prediction
von: He, Haoyu, et al.
Veröffentlicht: (2024)

Layer Specialization Underlying Compositional Reasoning in Transformers
von: Liu, Jing
Veröffentlicht: (2025)

Backdoor Token Unlearning: Exposing and Defending Backdoors in Pretrained Language Models
von: Jiang, Peihai, et al.
Veröffentlicht: (2025)

Limits of Emergent Reasoning of Large Language Models in Agentic Frameworks for Deterministic Games
von: Su, Chris, et al.
Veröffentlicht: (2025)

Re-Initialization Token Learning for Tool-Augmented Large Language Models
von: Li, Chenghao, et al.
Veröffentlicht: (2025)

CRANE: Causal Relevance Analysis of Language-Specific Neurons in Multilingual Large Language Models
von: Le, Yifan, et al.
Veröffentlicht: (2026)

One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer
von: Shen, Jucheng, et al.
Veröffentlicht: (2026)

Unveiling Factual Recall Behaviors of Large Language Models through Knowledge Neurons
von: Wang, Yifei, et al.
Veröffentlicht: (2024)

Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models
von: Zhong, Linhao, et al.
Veröffentlicht: (2026)

Emergent Introspective Awareness in Large Language Models
von: Lindsey, Jack
Veröffentlicht: (2026)

Unlocking Emergent Modularity in Large Language Models
von: Qiu, Zihan, et al.
Veröffentlicht: (2023)

Cracking Factual Knowledge: A Comprehensive Analysis of Degenerate Knowledge Neurons in Large Language Models
von: Chen, Yuheng, et al.
Veröffentlicht: (2024)

How Syntax Specialization Emerges in Language Models
von: Duan, Xufeng, et al.
Veröffentlicht: (2025)

Bidirectional Emergent Language in Situated Environments
von: Wolff, Cornelius, et al.
Veröffentlicht: (2024)

Thinking Tokens for Language Modeling
von: Herel, David, et al.
Veröffentlicht: (2024)

Beyond Reproducibility: Token Probabilities Expose Large Language Model Nondeterminism
von: Fu, Tairan, et al.
Veröffentlicht: (2026)

Confidence Regulation Neurons in Language Models
von: Stolfo, Alessandro, et al.
Veröffentlicht: (2024)