Copertina

Unveiling the Magic: Investigating Attention Distillation in Retrieval-augmented Generation

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Li, Zizhong, Zhang, Haopeng, Zhang, Jiawei
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Computation and Language Information Retrieval
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Intermediate Distillation: Data-Efficient Distillation from Black-Box LLMs for Information Retrieval
di: Li, Zizhong, et al.
Pubblicazione: (2024)

Distillation Enhanced Generative Retrieval
di: Li, Yongqi, et al.
Pubblicazione: (2024)

Hallucination Detection and Evaluation of Large Language Model
di: Zhang, Chenggong, et al.
Pubblicazione: (2025)

xRAG: Extreme Context Compression for Retrieval-augmented Generation with One Token
di: Cheng, Xin, et al.
Pubblicazione: (2024)

Neurosymbolic Retrievers for Retrieval-augmented Generation
di: Saxena, Yash, et al.
Pubblicazione: (2026)

PairDistill: Pairwise Relevance Distillation for Dense Retrieval
di: Huang, Chao-Wei, et al.
Pubblicazione: (2024)

GeAR: Graph-enhanced Agent for Retrieval-augmented Generation
di: Shen, Zhili, et al.
Pubblicazione: (2024)

Distillation for Multilingual Information Retrieval
di: Yang, Eugene, et al.
Pubblicazione: (2024)

SARA: Selective and Adaptive Retrieval-augmented Generation with Context Compression
di: Jin, Yiqiao, et al.
Pubblicazione: (2025)

Retrieval-Augmented Generation by Evidence Retroactivity in LLMs
di: Xiao, Liang, et al.
Pubblicazione: (2025)

Translate-Distill: Learning Cross-Language Dense Retrieval by Translation and Distillation
di: Yang, Eugene, et al.
Pubblicazione: (2024)

Optimizing Retrieval for RAG via Reinforcement Learning
di: Zhou, Jiawei, et al.
Pubblicazione: (2025)

Investigating Retrieval-Augmented Generation Systems on Unanswerable, Uncheatable, Realistic, Multi-hop Queries
di: Liu, Gabrielle Kaili-May, et al.
Pubblicazione: (2025)

Context-Efficient Retrieval with Factual Decomposition
di: Li, Yanhong, et al.
Pubblicazione: (2025)

List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation
di: Xu, Shicheng, et al.
Pubblicazione: (2024)

OpenRAG: Optimizing RAG End-to-End via In-Context Retrieval Learning
di: Zhou, Jiawei, et al.
Pubblicazione: (2025)

Retrieval Augmented Generation with Collaborative Filtering for Personalized Text Generation
di: Shi, Teng, et al.
Pubblicazione: (2025)

Purely Semantic Indexing for LLM-based Generative Recommendation and Retrieval
di: Zhang, Ruohan, et al.
Pubblicazione: (2025)

FlexRAG: A Flexible and Comprehensive Framework for Retrieval-Augmented Generation
di: Zhang, Zhuocheng, et al.
Pubblicazione: (2025)

Exploring Training and Inference Scaling Laws in Generative Retrieval
di: Cai, Hongru, et al.
Pubblicazione: (2025)

Retrieval-augmented systems can be dangerous medical communicators
di: Wong, Lionel, et al.
Pubblicazione: (2025)

Beyond True or False: Retrieval-Augmented Hierarchical Analysis of Nuanced Claims
di: Kargupta, Priyanka, et al.
Pubblicazione: (2025)

MedRAG: Enhancing Retrieval-augmented Generation with Knowledge Graph-Elicited Reasoning for Healthcare Copilot
di: Zhao, Xuejiao, et al.
Pubblicazione: (2025)

GPR: Empowering Generation with Graph-Pretrained Retriever
di: Wang, Xiaochen, et al.
Pubblicazione: (2025)

mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval
di: Zhang, Xin, et al.
Pubblicazione: (2024)

GeAR: Generation Augmented Retrieval
di: Liu, Haoyu, et al.
Pubblicazione: (2025)

HetaRAG: Hybrid Deep Retrieval-Augmented Generation across Heterogeneous Data Stores
di: Yan, Guohang, et al.
Pubblicazione: (2025)

On Synthetic Data Strategies for Domain-Specific Generative Retrieval
di: Wen, Haoyang, et al.
Pubblicazione: (2025)

Investigating LLM Variability in Personalized Conversational Information Retrieval
di: Lupart, Simon, et al.
Pubblicazione: (2025)

DiSCo: LLM Knowledge Distillation for Efficient Sparse Retrieval in Conversational Search
di: Lupart, Simon, et al.
Pubblicazione: (2024)

LevelRAG: Enhancing Retrieval-Augmented Generation with Multi-hop Logic Planning over Rewriting Augmented Searchers
di: Zhang, Zhuocheng, et al.
Pubblicazione: (2025)

GME: Improving Universal Multimodal Retrieval by Multimodal LLMs
di: Zhang, Xin, et al.
Pubblicazione: (2024)

HopRAG: Multi-Hop Reasoning for Logic-Aware Retrieval-Augmented Generation
di: Liu, Hao, et al.
Pubblicazione: (2025)

Conversational Recommender System and Large Language Model Are Made for Each Other in E-commerce Pre-sales Dialogue
di: Liu, Yuanxing, et al.
Pubblicazione: (2023)

Evaluating Retrieval Quality in Retrieval-Augmented Generation
di: Salemi, Alireza, et al.
Pubblicazione: (2024)

Efficient Rationale-based Retrieval: On-policy Distillation from Generative Rerankers based on JEPA
di: Chen, Teng, et al.
Pubblicazione: (2026)

Generative Multi-Modal Knowledge Retrieval with Large Language Models
di: Long, Xinwei, et al.
Pubblicazione: (2024)

Adaptive Retrieval-Augmented Generation for Conversational Systems
di: Wang, Xi, et al.
Pubblicazione: (2024)

R^2AG: Incorporating Retrieval Information into Retrieval Augmented Generation
di: Ye, Fuda, et al.
Pubblicazione: (2024)

FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research
di: Jin, Jiajie, et al.
Pubblicazione: (2024)