Buchumschlag

Hierarchical Concept Geometry in Language Models Emerges from Word Co-occurrence

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Nava, Andres, Wyart, Matthieu
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On the Emergence of Linear Analogies in Word Embeddings
von: Korchinski, Daniel J., et al.
Veröffentlicht: (2025)

Symmetry in language statistics shapes the geometry of model representations
von: Karkada, Dhruva, et al.
Veröffentlicht: (2026)

Towards a theory of how the structure of language is acquired by deep neural networks
von: Cagnetta, Francesco, et al.
Veröffentlicht: (2024)

The Geometry of Categorical and Hierarchical Concepts in Large Language Models
von: Park, Kiho, et al.
Veröffentlicht: (2024)

Deep networks learn to parse uniform-depth context-free languages from local statistics
von: Parley, Jack T., et al.
Veröffentlicht: (2026)

Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis
von: Yang, Hongru, et al.
Veröffentlicht: (2024)

World Properties without World Models: Recovering Spatial and Temporal Structure from Co-occurrence Statistics in Static Word Embeddings
von: Barenholtz, Elan
Veröffentlicht: (2026)

A Phase Transition in Diffusion Models Reveals the Hierarchical Nature of Data
von: Sclocchi, Antonio, et al.
Veröffentlicht: (2024)

How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model
von: Tomasini, Umberto, et al.
Veröffentlicht: (2024)

The Geometry of Refusal in Large Language Models: Concept Cones and Representational Independence
von: Wollschläger, Tom, et al.
Veröffentlicht: (2025)

Interpretable Syntactic Representations Enable Hierarchical Word Vectors
von: Silwal, Biraj
Veröffentlicht: (2024)

The Geometry of Meaning: Perfect Spacetime Representations of Hierarchical Structures
von: Anabalon, Andres, et al.
Veröffentlicht: (2025)

Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models
von: Neitemeier, Pit, et al.
Veröffentlicht: (2025)

Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings
von: Patil, Sarang, et al.
Veröffentlicht: (2025)

Revisiting Hierarchical Text Classification: Inference and Metrics
von: Plaud, Roman, et al.
Veröffentlicht: (2024)

Concept Bottleneck Large Language Models
von: Sun, Chung-En, et al.
Veröffentlicht: (2024)

The Mosaic Memory of Large Language Models
von: Shilov, Igor, et al.
Veröffentlicht: (2024)

Geometry-Calibrated Conformal Abstention for Language Models
von: Xu, Rui, et al.
Veröffentlicht: (2026)

Word Embeddings Are Steers for Language Models
von: Han, Chi, et al.
Veröffentlicht: (2023)

Pay Less Attention to Function Words for Free Robustness of Vision-Language Models
von: Tian, Qiwei, et al.
Veröffentlicht: (2025)

Language Models Implement Simple Word2Vec-style Vector Arithmetic
von: Merullo, Jack, et al.
Veröffentlicht: (2023)

The Geometry of Tokens in Internal Representations of Large Language Models
von: Viswanathan, Karthik, et al.
Veröffentlicht: (2025)

Shared Global and Local Geometry of Language Model Embeddings
von: Lee, Andrew, et al.
Veröffentlicht: (2025)

Words That Make Language Models Perceive
von: Wang, Sophie L., et al.
Veröffentlicht: (2025)

Explicit Word Density Estimation for Language Modelling
von: Andonov, Jovan, et al.
Veröffentlicht: (2024)

How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective
von: Peng, Runyu, et al.
Veröffentlicht: (2026)

CLUE: Concept-Level Uncertainty Estimation for Large Language Models
von: Wang, Yu-Hsiang, et al.
Veröffentlicht: (2024)

Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions
von: Valentino, Marco, et al.
Veröffentlicht: (2023)

Spherical Steering: Geometry-Aware Activation Rotation for Language Models
von: You, Zejia, et al.
Veröffentlicht: (2026)

GeoBlock: Inferring Block Granularity from Dependency Geometry in Diffusion Language Models
von: Wan, Lipeng, et al.
Veröffentlicht: (2026)

Words as Beacons: Guiding RL Agents with High-Level Language Prompts
von: Ruiz-Gonzalez, Unai, et al.
Veröffentlicht: (2024)

Leveraging Large Language Models for Bengali Math Word Problem Solving with Chain of Thought Reasoning
von: Paul, Bidyarthi, et al.
Veröffentlicht: (2025)

Scale Determines Whether Language Models Organize Representation Geometry for Prediction
von: Xu, Weilun
Veröffentlicht: (2026)

Deception Abilities Emerged in Large Language Models
von: Hagendorff, Thilo
Veröffentlicht: (2023)

Analogical Reasoning Inside Large Language Models: Concept Vectors and the Limits of Abstraction
von: Opiełka, Gustaw, et al.
Veröffentlicht: (2025)

Concept Unlearning in Large Language Models via Self-Constructed Knowledge Triplets
von: Yamashita, Tomoya, et al.
Veröffentlicht: (2025)

Variational Language Concepts for Interpreting Foundation Language Models
von: Wang, Hengyi, et al.
Veröffentlicht: (2024)

Geometry of Decision Making in Language Models
von: Joshi, Abhinav, et al.
Veröffentlicht: (2025)

Explaining Datasets in Words: Statistical Models with Natural Language Parameters
von: Zhong, Ruiqi, et al.
Veröffentlicht: (2024)

Confidence Geometry Reveals Trace-Level Correctness in Large Language Model Reasoning
von: Liu, Shuo, et al.
Veröffentlicht: (2026)