Buchumschlag

Closed-Form Training Dynamics Reveal Learned Features and Linear Structure in Word2Vec-like Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Karkada, Dhruva, Simon, James B., Bahri, Yasaman, DeWeese, Michael R.
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On the Emergence of Linear Analogies in Word Embeddings
von: Korchinski, Daniel J., et al.
Veröffentlicht: (2025)

Symmetry in language statistics shapes the geometry of model representations
von: Karkada, Dhruva, et al.
Veröffentlicht: (2026)

Alternating Gradient Flows: A Theory of Feature Learning in Two-layer Neural Networks
von: Kunin, Daniel, et al.
Veröffentlicht: (2025)

Beyond Linear Response: Equivalence between Thermodynamic Geometry and Optimal Transport
von: Zhong, Adrianne, et al.
Veröffentlicht: (2024)

The lazy (NTK) and rich ($μ$P) regimes: a gentle tutorial
von: Karkada, Dhruva
Veröffentlicht: (2024)

Locally Interdependent Multi-Agent MDP: Theoretical Framework for Decentralized Agents with Dynamic Dependencies
von: DeWeese, Alex, et al.
Veröffentlicht: (2024)

Status Concerns and Library Professionalism
von: DeWeese, L. Carroll
Veröffentlicht: (1972)

Revisiting Policy Gradients for Restricted Policy Classes: Escaping Myopic Local Optima with $k$-step Policy Gradients
von: DeWeese, Alex, et al.
Veröffentlicht: (2026)

Thinking Beyond Visibility: A Near-Optimal Policy Framework for Locally Interdependent Multi-Agent MDPs
von: DeWeese, Alex, et al.
Veröffentlicht: (2025)

A Paradigm of Commitment: Toward Professional Identity for Librarians.
von: DeWeese, Lemuel Carroll, III
Veröffentlicht: (1970)

A Paradigm of Commitment
von: DeWeese, Lemuel Carroll, III
Veröffentlicht: (1970)

A Theory of Saddle Escape in Deep Nonlinear Networks
von: Rawal, Divit, et al.
Veröffentlicht: (2026)

More is Better in Modern Machine Learning: when Infinite Overparameterization is Optimal and Overfitting is Obligatory
von: Simon, James B., et al.
Veröffentlicht: (2023)

Temperature and flow data from a sediment tank experiment and numerical Advection-Dispersion Model code
von: Luce, Charles, et al.
Veröffentlicht: (2017)

Predicting kernel regression learning curves from only raw data statistics
von: Karkada, Dhruva, et al.
Veröffentlicht: (2025)

Context Structure Reshapes the Representational Geometry of Language Models
von: Hosseini, Eghbal A., et al.
Veröffentlicht: (2026)

Spoken Word2Vec: Learning Skipgram Embeddings from Speech
von: Sayeed, Mohammad Amaan, et al.
Veröffentlicht: (2023)

The Thermodynamic Costs of Simple Linear Regression
von: D'Ambrosia, Samuel H., et al.
Veröffentlicht: (2026)

Higher-order response theory in optimal stochastic thermodynamics
von: DAmbrosia, Samuel. H., et al.
Veröffentlicht: (2025)

Time-Asymmetric Fluctuation Theorem and Efficient Free Energy Estimation
von: Zhong, Adrianne, et al.
Veröffentlicht: (2023)

Language Models Implement Simple Word2Vec-style Vector Arithmetic
von: Merullo, Jack, et al.
Veröffentlicht: (2023)

Evaluating the Representation of Vowels in Wav2Vec Feature Extractor: A Layer-Wise Analysis Using MFCCs
von: De Cristofaro, Domenico, et al.
Veröffentlicht: (2025)

Tokenization Strategies for Low-Resource Agglutinative Languages in Word2Vec: Case Study on Turkish and Finnish
von: Hu, Jinfan Frank
Veröffentlicht: (2025)

Disaggregation Reveals Hidden Training Dynamics: The Case of Agreement Attraction
von: Michaelov, James A., et al.
Veröffentlicht: (2025)

From Word2Vec to Transformers: Text-Derived Composition Embeddings for Filtering Combinatorial Electrocatalysts
von: Zhang, Lei, et al.
Veröffentlicht: (2026)

The Entropy of Floating-Point Numbers
von: Daniels, Sultan, et al.
Veröffentlicht: (2026)

Constructions are Revealed in Word Distributions
von: Rozner, Joshua, et al.
Veröffentlicht: (2025)

Meta-Learning for Better Learning: Using Meta-Learning Methods to Automatically Label Exam Questions with Detailed Learning Objectives
von: Zur, Amir, et al.
Veröffentlicht: (2023)

Active Learning of Upward-Closed Sets of Words
von: Aristote, Quentin
Veröffentlicht: (2025)

Improving Detection of Watermarked Language Models
von: Bahri, Dara, et al.
Veröffentlicht: (2025)

GT2Vec: Large Language Models as Multi-Modal Encoders for Text and Graph-Structured Data
von: Lin, Jiacheng, et al.
Veröffentlicht: (2024)

VecGlypher: Unified Vector Glyph Generation with Language Models
von: Huang, Xiaoke, et al.
Veröffentlicht: (2026)

VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks
von: Jiang, Ziyan, et al.
Veröffentlicht: (2024)

Constructing Vec-tionaries to Extract Message Features from Texts: A Case Study of Moral Appeals
von: Duan, Zening, et al.
Veröffentlicht: (2023)

A Watermark for Black-Box Language Models
von: Bahri, Dara, et al.
Veröffentlicht: (2024)

Linear Dynamics in the RLVR Training of Large Language Models
von: Wang, Tianle, et al.
Veröffentlicht: (2026)

EchoPrompt: Instructing the Model to Rephrase Queries for Improved In-context Learning
von: Mekala, Rajasekhar Reddy, et al.
Veröffentlicht: (2023)

Gram2Vec: An Interpretable Document Vectorizer
von: Zeng, Peter, et al.
Veröffentlicht: (2024)

New Encoders for German Trained from Scratch: Comparing ModernGBERT with Converted LLM2Vec Models
von: Wunderle, Julia, et al.
Veröffentlicht: (2025)

Domain2Vec: Vectorizing Datasets to Find the Optimal Data Mixture without Training
von: Zhang, Mozhi, et al.
Veröffentlicht: (2025)