Buchumschlag

Transformers Learn Faster with Semantic Focus

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ram, Parikshit, Clarkson, Kenneth L., Klinger, Tim, Ubaru, Shashanka, Gray, Alexander G.
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

What makes Models Compositional? A Theoretical View: With Supplement
von: Ram, Parikshit, et al.
Veröffentlicht: (2024)

Compositional Program Generation for Few-Shot Systematic Generalization
von: Klinger, Tim, et al.
Veröffentlicht: (2023)

Finding Clustering Algorithms in the Transformer Architecture
von: Clarkson, Kenneth L., et al.
Veröffentlicht: (2025)

Group-Algebraic Tensors: Provably-optimal Equivariant Learning and Physical Symmetry Discovery
von: Hoyos, Paulina, et al.
Veröffentlicht: (2026)

Learning interpretable positional encodings in transformers depends on initialization
von: Ito, Takuya, et al.
Veröffentlicht: (2024)

Multivariate trace estimation using quantum state space linear algebra
von: Yosef, Liron Mor, et al.
Veröffentlicht: (2024)

Quantifying artificial intelligence through algorithmic generalization
von: Ito, Takuya, et al.
Veröffentlicht: (2024)

Topological data analysis on noisy quantum computers
von: Akhalwaya, Ismail Yunus, et al.
Veröffentlicht: (2022)

Combinatorial Multi-armed Bandits: Arm Selection via Group Testing
von: Mukherjee, Arpan, et al.
Veröffentlicht: (2024)

PCENet: High Dimensional Surrogate Modeling for Learning Uncertainty
von: Shustin, Paz Fink, et al.
Veröffentlicht: (2022)

Neural Reasoning Networks: Efficient Interpretable Neural Networks With Automatic Textual Explanations
von: Carrow, Stephen, et al.
Veröffentlicht: (2024)

Learning to Focus: Focal Attention for Selective and Scalable Transformers
von: Ram, Dhananjay, et al.
Veröffentlicht: (2025)

Interpretable epistemic uncertainty decomposition in sequential generative models via polynomial chaos surrogates
von: Nartallo-Kaluarachchi, Ramón, et al.
Veröffentlicht: (2025)

On Learning Representations for Tabular Data Distillation
von: Kang, Inwon, et al.
Veröffentlicht: (2025)

Modern Methods in Associative Memory
von: Krotov, Dmitry, et al.
Veröffentlicht: (2025)

SemStruct: Contextualizing Semantic Embeddings with Structural Information for Schema Matching
von: Kang, Inwon, et al.
Veröffentlicht: (2026)

Dense Associative Memory with Epanechnikov Energy
von: Hoover, Benjamin, et al.
Veröffentlicht: (2025)

On Efficient Solutions of General Structured Markov Processes in Quantum Computational Environments
von: Kalantzis, Vasileios, et al.
Veröffentlicht: (2024)

Randomized matrix-free quadrature: unified and uniform bounds for stochastic Lanczos quadrature and the kernel polynomial method
von: Chen, Tyler, et al.
Veröffentlicht: (2022)

Balancing Multi-modal Sensor Learning via Multi-objective Optimization
von: Fernando, Heshan, et al.
Veröffentlicht: (2025)

Distribution Free Prediction Sets for Node Classification
von: Clarkson, Jase
Veröffentlicht: (2022)

Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation
von: Gray, Andy
Veröffentlicht: (2026)

Dense Associative Memory Through the Lens of Random Features
von: Hoover, Benjamin, et al.
Veröffentlicht: (2024)

Understanding Self-Supervised Learning via Gaussian Mixture Models
von: Bansal, Parikshit, et al.
Veröffentlicht: (2024)

Mixture-of-Transformers Learn Faster: A Theoretical Study on Classification Problems
von: Li, Hongbo, et al.
Veröffentlicht: (2025)

What Time Is It? How Data Geometry Makes Time Conditioning Optional for Flow Matching
von: Helbling, Alec, et al.
Veröffentlicht: (2026)

WAGLE: Strategic Weight Attribution for Effective and Modular Unlearning in Large Language Models
von: Jia, Jinghan, et al.
Veröffentlicht: (2024)

Beyond Sliding Windows: Learning to Manage Memory in Non-Markovian Environments
von: Tasse, Geraud Nangue, et al.
Veröffentlicht: (2025)

Deep Clustering with Associative Memories
von: Saha, Bishwajit, et al.
Veröffentlicht: (2026)

Context-Free Synthetic Data Mitigates Forgetting
von: Bansal, Parikshit, et al.
Veröffentlicht: (2025)

500+ Times Faster Than Deep Learning (A Case Study Exploring Faster Methods for Text Mining StackOverflow)
von: Majumder, Suvodeep, et al.
Veröffentlicht: (2018)

HashAttention: Semantic Sparsity for Faster Inference
von: Desai, Aditya, et al.
Veröffentlicht: (2024)

Enhancing In-context Learning via Linear Probe Calibration
von: Abbas, Momin, et al.
Veröffentlicht: (2024)

Learning Power Flow with Confidence: A Probabilistic Guarantee Framework for Voltage Risk
von: Pareek, Parikshit, et al.
Veröffentlicht: (2023)

On the Utility of Domain-Adjacent Fine-Tuned Model Ensembles for Few-shot Problems
von: Alam, Md Ibrahim Ibne, et al.
Veröffentlicht: (2024)

Enabling Approximate Joint Sampling in Diffusion LMs
von: Bansal, Parikshit, et al.
Veröffentlicht: (2025)

Sparser, Faster, Lighter Transformer Language Models
von: Cetin, Edoardo, et al.
Veröffentlicht: (2026)

Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding
von: Wang, Yixuan, et al.
Veröffentlicht: (2025)

Decoupled-Value Attention for Prior-Data Fitted Networks: GP Inference for Physical Equations
von: Sharma, Kaustubh, et al.
Veröffentlicht: (2025)

Model Sparsity Can Simplify Machine Unlearning
von: Jia, Jinghan, et al.
Veröffentlicht: (2023)