Buchumschlag

Segment-Based Attention Masking for GPTs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Katz, Shahar, Ringel, Liran, Romano, Yaniv, Wolf, Lior
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Accelerating Speculative Decoding with Block Diffusion Draft Trees
von: Ringel, Liran, et al.
Veröffentlicht: (2026)

Reversed Attention: On The Gradient Descent Of Attention Layers In GPT
von: Katz, Shahar, et al.
Veröffentlicht: (2024)

Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models
von: Ringel, Liran, et al.
Veröffentlicht: (2026)

Learning a Continue-Thinking Token for Enhanced Test-Time Scaling
von: Ringel, Liran, et al.
Veröffentlicht: (2025)

Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models
von: Ali, Ameen, et al.
Veröffentlicht: (2025)

Backward Lens: Projecting Language Model Gradients into the Vocabulary Space
von: Katz, Shahar, et al.
Veröffentlicht: (2024)

Semi-Supervised Risk Control via Prediction-Powered Inference
von: Einbinder, Bat-Sheva, et al.
Veröffentlicht: (2024)

Early Time Classification with Accumulated Accuracy Gap Control
von: Ringel, Liran, et al.
Veröffentlicht: (2024)

SphereUFormer: A U-Shaped Transformer for Spherical 360 Perception
von: Benny, Yaniv, et al.
Veröffentlicht: (2024)

REMIND: Input Loss Landscapes Reveal Residual Memorization in Post-Unlearning LLMs
von: Cohen, Liran, et al.
Veröffentlicht: (2025)

PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation
von: Benedek, Nadav, et al.
Veröffentlicht: (2024)

GPTs Are Multilingual Annotators for Sequence Generation Tasks
von: Choi, Juhwan, et al.
Veröffentlicht: (2024)

Explaining GPTs' Schema of Depression: A Machine Behavior Analysis
von: Ganesan, Adithya V, et al.
Veröffentlicht: (2024)

AlignTree: Efficient Defense Against LLM Jailbreak Attacks
von: Goren, Gil, et al.
Veröffentlicht: (2025)

Execution Guided Line-by-Line Code Generation
von: Lavon, Boaz, et al.
Veröffentlicht: (2025)

ReliableEval: A Recipe for Stochastic LLM Evaluation via Method of Moments
von: Lior, Gili, et al.
Veröffentlicht: (2025)

TensorLens: End-to-End Transformer Analysis via High-Order Attention Tensors
von: Atad, Ido Andrew, et al.
Veröffentlicht: (2026)

SEAM: A Stochastic Benchmark for Multi-Document Tasks
von: Lior, Gili, et al.
Veröffentlicht: (2024)

RAM-Net: Expressive Linear Attention with Selectively Addressable Memory
von: Xiao, Kaicheng, et al.
Veröffentlicht: (2026)

Mitigating Copy Bias in In-Context Learning through Neuron Pruning
von: Ali, Ameen, et al.
Veröffentlicht: (2024)

Faithfulness Serum: Mitigating the Faithfulness Gap in Textual Explanations of LLM Decisions via Attribution Guidance
von: Alon, Bar, et al.
Veröffentlicht: (2026)

GPTs and Language Barrier: A Cross-Lingual Legal QA Examination
von: Nguyen, Ha-Thanh, et al.
Veröffentlicht: (2024)

Selective Attention Improves Transformer
von: Leviathan, Yaniv, et al.
Veröffentlicht: (2024)

Arithmetic OOD Failure Unfolds in Stages in Minimal GPTs
von: Shintani, Seine A.
Veröffentlicht: (2026)

Heuristic-enhanced Candidates Selection strategy for GPTs tackle Few-Shot Aspect-Based Sentiment Analysis
von: Jiang, Baoxing, et al.
Veröffentlicht: (2024)

Diffusion-Based Attention Warping for Consistent 3D Scene Editing
von: Gomel, Eyal, et al.
Veröffentlicht: (2024)

Knowledge Editing in Language Models via Adapted Direct Preference Optimization
von: Rozner, Amit, et al.
Veröffentlicht: (2024)

SEA: Sparse Linear Attention with Estimated Attention Mask
von: Lee, Heejun, et al.
Veröffentlicht: (2023)

LLM Questionnaire Completion for Automatic Psychiatric Assessment
von: Rosenman, Gony, et al.
Veröffentlicht: (2024)

Towards Safer Chatbots: Automated Policy Compliance Evaluation of Custom GPTs
von: Rodriguez, David, et al.
Veröffentlicht: (2025)

Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness
von: Ashuach, Tomer, et al.
Veröffentlicht: (2026)

Trainable Dynamic Mask Sparse Attention
von: Shi, Jingze, et al.
Veröffentlicht: (2025)

Improving Rare Word Translation With Dictionaries and Attention Masking
von: Sible, Kenneth J., et al.
Veröffentlicht: (2024)

Debiasing LLMs by Masking Unfairness-Driving Attention Heads
von: Han, Tingxu, et al.
Veröffentlicht: (2025)

Efficiently Dispatching Flash Attention For Partially Filled Attention Masks
von: Sharma, Agniv, et al.
Veröffentlicht: (2024)

A Large-Scale Empirical Analysis of Custom GPTs' Vulnerabilities in the OpenAI Ecosystem
von: Ogundoyin, Sunday Oyinlola, et al.
Veröffentlicht: (2025)

A closer look at how large language models trust humans: patterns and biases
von: Lerman, Valeria, et al.
Veröffentlicht: (2025)

Inferring Scientific Cross-Document Coreference and Hierarchy with Definition-Augmented Relational Reasoning
von: Forer, Lior, et al.
Veröffentlicht: (2024)

Comparing Humans and Models on a Similar Scale: Towards Cognitive Gender Bias Evaluation in Coreference Resolution
von: Lior, Gili, et al.
Veröffentlicht: (2023)

Faster Transformer Decoding: N-gram Masked Self-Attention
von: Chelba, Ciprian, et al.
Veröffentlicht: (2020)