Buchumschlag

Don't Pay Attention, PLANT It: Pretraining Attention via Learning-to-Rank

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Roy, Debjyoti Saha, Wallace, Byron C., Aslam, Javed A.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Don't Pay Attention
von: Hammoud, Mohammad, et al.
Veröffentlicht: (2025)

Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
von: Saxena, Utkarsh, et al.
Veröffentlicht: (2024)

Don't Read Everything: A Curvature-Conditioned Query for Linear Attention
von: Le, Dong, et al.
Veröffentlicht: (2026)

Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers
von: Leemann, Tobias, et al.
Veröffentlicht: (2024)

Paying Attention to Facts: Quantifying the Knowledge Capacity of Attention Layers
von: Wong, Liang Ze
Veröffentlicht: (2025)

Attention Is All You Need But You Don't Need All Of It For Inference of Large Language Models
von: Tyukin, Georgy, et al.
Veröffentlicht: (2024)

Don't Shoot The Breeze: Topic Continuity Model Using Nonlinear Naive Bayes With Attention
von: Pi, Shu-Ting, et al.
Veröffentlicht: (2026)

Mask-Enhanced Autoregressive Prediction: Pay Less Attention to Learn More
von: Zhuang, Xialie, et al.
Veröffentlicht: (2025)

Don't Rank, Combine! Combining Machine Translation Hypotheses Using Quality Estimation
von: Vernikos, Giorgos, et al.
Veröffentlicht: (2024)

Can SAEs reveal and mitigate racial biases of LLMs in healthcare?
von: Ahsan, Hiba, et al.
Veröffentlicht: (2025)

If You Don't Understand It, Don't Use It: Eliminating Trojans with Filters Between Layers
von: Hernandez, Adriano
Veröffentlicht: (2024)

Pay Less Attention to Function Words for Free Robustness of Vision-Language Models
von: Tian, Qiwei, et al.
Veröffentlicht: (2025)

Don't Walk the Line: Boundary Guidance for Filtered Generation
von: Ball, Sarah, et al.
Veröffentlicht: (2025)

Sample, Don't Search: Rethinking Test-Time Alignment for Language Models
von: Faria, Gonçalo, et al.
Veröffentlicht: (2025)

Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models
von: Erden, Caner
Veröffentlicht: (2025)

I Don't Know: Explicit Modeling of Uncertainty with an [IDK] Token
von: Cohen, Roi, et al.
Veröffentlicht: (2024)

Reasoning Models Don't Just Think Longer, They Move Differently
von: Gjølbye, Anders, et al.
Veröffentlicht: (2026)

Don't lie to your friends: Learning what you know from collaborative self-play
von: Eisenstein, Jacob, et al.
Veröffentlicht: (2025)

LoLA: Low-Rank Linear Attention With Sparse Caching
von: McDermott, Luke, et al.
Veröffentlicht: (2025)

Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
von: He, Zhengfu, et al.
Veröffentlicht: (2025)

Can Safety Emerge from Weak Supervision? A Systematic Analysis of Small Language Models
von: Saha, Punyajoy, et al.
Veröffentlicht: (2026)

Predict, Don't React: Value-Based Safety Forecasting for LLM Streaming
von: Kavumba, Pride, et al.
Veröffentlicht: (2026)

Don't Throw Away Your Beams: Improving Consistency-based Uncertainties in LLMs via Beam Search
von: Fadeeva, Ekaterina, et al.
Veröffentlicht: (2025)

Ignore Me But Don't Replace Me: Utilizing Non-Linguistic Elements for Pretraining on the Cybersecurity Domain
von: Jang, Eugene, et al.
Veröffentlicht: (2024)

Learning to Attribute with Attention
von: Cohen-Wang, Benjamin, et al.
Veröffentlicht: (2025)

Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
von: Mamtani, Sumit, et al.
Veröffentlicht: (2025)

Reasoning Models Don't Always Say What They Think
von: Chen, Yanda, et al.
Veröffentlicht: (2025)

Compared to What? Baselines and Metrics for Counterfactual Prompting
von: Yang, Zihao, et al.
Veröffentlicht: (2026)

Condense, Don't Just Prune: Enhancing Efficiency and Performance in MoE Layer Pruning
von: Cao, Mingyu, et al.
Veröffentlicht: (2024)

Don't Ignore the Tail: Decoupling top-K Probabilities for Efficient Language Model Distillation
von: Dasgupta, Sayantan, et al.
Veröffentlicht: (2026)

A3 : an Analytical Low-Rank Approximation Framework for Attention
von: Wong, Jeffrey T. H., et al.
Veröffentlicht: (2025)

Why Don't Prompt-Based Fairness Metrics Correlate?
von: Zayed, Abdelrahman, et al.
Veröffentlicht: (2024)

AttnCache: Accelerating Self-Attention Inference for LLM Prefill via Attention Cache
von: Song, Dinghong, et al.
Veröffentlicht: (2025)

Don't Trust: Verify -- Grounding LLM Quantitative Reasoning with Autoformalization
von: Zhou, Jin Peng, et al.
Veröffentlicht: (2024)

You Don't Need Prompt Engineering Anymore: The Prompting Inversion
von: Khan, Imran
Veröffentlicht: (2025)

FLuRKA: Fast and accurate unified Low-Rank & Kernel Attention
von: Gupta, Ahan, et al.
Veröffentlicht: (2023)

LoQT: Low-Rank Adapters for Quantized Pretraining
von: Loeschcke, Sebastian, et al.
Veröffentlicht: (2024)

Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing
von: Piękos, Piotr, et al.
Veröffentlicht: (2025)

Why Softmax Attention Outperforms Linear Attention
von: Deng, Yichuan, et al.
Veröffentlicht: (2023)

Large Language Models Must Be Taught to Know What They Don't Know
von: Kapoor, Sanyam, et al.
Veröffentlicht: (2024)