Buchumschlag

A Novel Spinor-Based Embedding Model for Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	White, Rick
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DisEmbed: Transforming Disease Understanding through Embeddings
von: Faroz, Salman
Veröffentlicht: (2024)

Enhancing Authorship Attribution through Embedding Fusion: A Novel Approach with Masked and Encoder-Decoder Language Models
von: Kaushik, Arjun Ramesh, et al.
Veröffentlicht: (2024)

Geometric Organization of Cognitive States in Transformer Embedding Spaces
von: Zhao, Sophie
Veröffentlicht: (2025)

LongEmbed: Extending Embedding Models for Long Context Retrieval
von: Zhu, Dawei, et al.
Veröffentlicht: (2024)

Learning Novel Transformer Architecture for Time-series Forecasting
von: Zhang, Juyuan, et al.
Veröffentlicht: (2025)

An Improved Deep Learning Model for Word Embeddings Based Clustering for Large Text Datasets
von: Sutrakar, Vijay Kumar, et al.
Veröffentlicht: (2025)

Learnable Multi-Scale Wavelet Transformer: A Novel Alternative to Self-Attention
von: Kiruluta, Andrew, et al.
Veröffentlicht: (2025)

Embedding-Based Approaches to Hyperpartisan News Detection
von: Mohan, Karthik
Veröffentlicht: (2025)

Too Big to Think: Capacity, Memorization, and Generalization in Pre-Trained Transformers
von: Barron, Joshua, et al.
Veröffentlicht: (2025)

Repetition Improves Language Model Embeddings
von: Springer, Jacob Mitchell, et al.
Veröffentlicht: (2024)

Scaling Embedding Layers in Language Models
von: Yu, Da, et al.
Veröffentlicht: (2025)

Towards Unified Task Embeddings Across Multiple Models: Bridging the Gap for Prompt-Based Large Language Models and Beyond
von: Wang, Xinyu, et al.
Veröffentlicht: (2024)

Physically Interpretable AlphaEarth Foundation Model Embeddings Enable LLM-Based Land Surface Intelligence
von: Rahman, Mashrekur
Veröffentlicht: (2026)

Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
von: Zuo, Chunsheng, et al.
Veröffentlicht: (2024)

Circuit Compositions: Exploring Modular Structures in Transformer-Based Language Models
von: Mondorf, Philipp, et al.
Veröffentlicht: (2024)

LLM In-Context Recall is Prompt Dependent
von: Machlab, Daniel, et al.
Veröffentlicht: (2024)

Evaluating K-Fold Cross Validation for Transformer Based Symbolic Regression Models
von: Kislay, Kaustubh, et al.
Veröffentlicht: (2024)

Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers
von: Liu, Feilong
Veröffentlicht: (2026)

Neural Isomorphic Fields: A Transformer-based Algebraic Numerical Embedding
von: Sadeghi, Hamidreza, et al.
Veröffentlicht: (2026)

Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings
von: Jiang, Yichen, et al.
Veröffentlicht: (2024)

DEPT: Decoupled Embeddings for Pre-training Language Models
von: Iacob, Alex, et al.
Veröffentlicht: (2024)

CEMTM: Contextual Embedding-based Multimodal Topic Modeling
von: Abaskohi, Amirhossein, et al.
Veröffentlicht: (2025)

Geometry-Preserving Aggregation for Mixture-of-Experts Embedding Models
von: Kachuee, Sajjad, et al.
Veröffentlicht: (2026)

Language Model Training Paradigms for Clinical Feature Embeddings
von: Hu, Yurong, et al.
Veröffentlicht: (2023)

Shared Global and Local Geometry of Language Model Embeddings
von: Lee, Andrew, et al.
Veröffentlicht: (2025)

Hierarchical Classification of Transversal Skills in Job Ads Based on Sentence Embeddings
von: Leon, Florin, et al.
Veröffentlicht: (2024)

BanglaEmbed: Efficient Sentence Embedding Models for a Low-Resource Language Using Cross-Lingual Distillation Techniques
von: Kabir, Muhammad Rafsan, et al.
Veröffentlicht: (2024)

Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free
von: Li, Ziyue, et al.
Veröffentlicht: (2024)

Foundation Model's Embedded Representations May Detect Distribution Shift
von: Vargas, Max, et al.
Veröffentlicht: (2023)

Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
von: Mamtani, Sumit, et al.
Veröffentlicht: (2025)

Towards Trustable Language Models: Investigating Information Quality of Large Language Models
von: Rejeleene, Rick, et al.
Veröffentlicht: (2024)

ScaffoldGPT: A Scaffold-based GPT Model for Drug Optimization
von: Liu, Xuefeng, et al.
Veröffentlicht: (2025)

Jamba: A Hybrid Transformer-Mamba Language Model
von: Lieber, Opher, et al.
Veröffentlicht: (2024)

GEM: Gaussian Embedding Modeling for Out-of-Distribution Detection in GUI Agents
von: Wu, Zheng, et al.
Veröffentlicht: (2025)

Enhancing Foundation Models in Transaction Understanding with LLM-based Sentence Embeddings
von: Fan, Xiran, et al.
Veröffentlicht: (2025)

Efficient and Flexible Topic Modeling using Pretrained Embeddings and Bag of Sentences
von: Schneider, Johannes
Veröffentlicht: (2023)

Dynamic Embedded Topic Models: properties and recommendations based on diverse corpora
von: Fittschen, Elisabeth, et al.
Veröffentlicht: (2025)

Early Transformers: A study on Efficient Training of Transformer Models through Early-Bird Lottery Tickets
von: Cheekati, Shravan
Veröffentlicht: (2024)

GuideWalk: A Novel Graph-Based Word Embedding for Enhanced Text Classification
von: Mohammed, Sarmad N., et al.
Veröffentlicht: (2024)

On the Theoretical Limitations of Embedding-Based Retrieval
von: Weller, Orion, et al.
Veröffentlicht: (2025)