Buchumschlag

Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Changin, Choi, Sungjun, Lim, Wonjong, Rhee
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Sound Artificial Intelligence Audio and Speech Processing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DRCap: Decoding CLAP Latents with Retrieval-Augmented Generation for Zero-shot Audio Captioning
von: Li, Xiquan, et al.
Veröffentlicht: (2024)

RECAP: Retrieval-Augmented Audio Captioning
von: Ghosh, Sreyan, et al.
Veröffentlicht: (2023)

Expanding on EnCLAP with Auxiliary Retrieval Model for Automated Audio Captioning
von: Kim, Jaeyeon, et al.
Veröffentlicht: (2024)

Retrieval-Augmented Audio Deepfake Detection
von: Kang, Zuheng, et al.
Veröffentlicht: (2024)

Retrieval-Augmented Text-to-Audio Generation
von: Yuan, Yi, et al.
Veröffentlicht: (2023)

Performance Improvement of Language-Queried Audio Source Separation Based on Caption Augmentation From Large Language Models for DCASE Challenge 2024 Task 9
von: Lee, Do Hyun, et al.
Veröffentlicht: (2024)

FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion
von: Chen, Shunian, et al.
Veröffentlicht: (2025)

WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models
von: Chen, Yifu, et al.
Veröffentlicht: (2025)

EnCLAP: Combining Neural Audio Codec and Audio-Text Joint Embedding for Automated Audio Captioning
von: Kim, Jaeyeon, et al.
Veröffentlicht: (2024)

Evaluating Hallucinations in Audio-Visual Multimodal LLMs with Spoken Queries under Diverse Acoustic Conditions
von: Park, Hansol, et al.
Veröffentlicht: (2025)

Towards Generating Diverse Audio Captions via Adversarial Training
von: Mei, Xinhao, et al.
Veröffentlicht: (2022)

EnCLAP++: Analyzing the EnCLAP Framework for Optimizing Automated Audio Captioning Performance
von: Kim, Jaeyeon, et al.
Veröffentlicht: (2024)

MMVA: Multimodal Matching Based on Valence and Arousal across Images, Music, and Musical Captions
von: Choi, Suhwan, et al.
Veröffentlicht: (2025)

PodEval: A Multimodal Evaluation Framework for Podcast Audio Generation
von: Xiao, Yujia, et al.
Veröffentlicht: (2025)

BrewCLIP: A Bifurcated Representation Learning Framework for Audio-Visual Retrieval
von: Lu, Zhenyu, et al.
Veröffentlicht: (2024)

Task-Specific Audio Coding for Machines: Machine-Learned Latent Features Are Codes for That Machine
von: Kuznetsova, Anastasia, et al.
Veröffentlicht: (2025)

Augmentation through Laundering Attacks for Audio Spoof Detection
von: Ali, Hashim, et al.
Veröffentlicht: (2024)

ModalityMirror: Improving Audio Classification in Modality Heterogeneity Federated Learning with Multimodal Distillation
von: Feng, Tiantian, et al.
Veröffentlicht: (2024)

LAVCap: LLM-based Audio-Visual Captioning using Optimal Transport
von: Rho, Kyeongha, et al.
Veröffentlicht: (2025)

Practical and Reproducible Symbolic Music Generation by Large Language Models with Structural Embeddings
von: Rhyu, Seungyeon, et al.
Veröffentlicht: (2024)

Revisiting Deep Audio-Text Retrieval Through the Lens of Transportation
von: Luong, Manh, et al.
Veröffentlicht: (2024)

Audio Codec Augmentation for Robust Collaborative Watermarking of Speech Synthesis
von: Juvela, Lauri, et al.
Veröffentlicht: (2024)

Audio-Guided Fusion Techniques for Multimodal Emotion Analysis
von: Shi, Pujin, et al.
Veröffentlicht: (2024)

GEC-RAG: Improving Generative Error Correction via Retrieval-Augmented Generation for Automatic Speech Recognition Systems
von: Robatian, Amin, et al.
Veröffentlicht: (2025)

AudioTurbo: Fast Text-to-Audio Generation with Rectified Diffusion
von: Zhao, Junqi, et al.
Veröffentlicht: (2025)

DreamAudio: Customized Text-to-Audio Generation with Diffusion Models
von: Yuan, Yi, et al.
Veröffentlicht: (2025)

PIAST: A Multimodal Piano Dataset with Audio, Symbolic and Text
von: Bang, Hayeon, et al.
Veröffentlicht: (2024)

UniverSR: Unified and Versatile Audio Super-Resolution via Vocoder-Free Flow Matching
von: Choi, Woongjib, et al.
Veröffentlicht: (2025)

Text Prompt is Not Enough: Sound Event Enhanced Prompt Adapter for Target Style Audio Generation
von: Xiong, Chenxu, et al.
Veröffentlicht: (2024)

MixAssist: An Audio-Language Dataset for Co-Creative AI Assistance in Music Mixing
von: Clemens, Michael, et al.
Veröffentlicht: (2025)

SLAM-AAC: Enhancing Audio Captioning with Paraphrasing Augmentation and CLAP-Refine through LLMs
von: Chen, Wenxi, et al.
Veröffentlicht: (2024)

Learning Frame-Wise Emotion Intensity for Audio-Driven Talking-Head Generation
von: Xu, Jingyi, et al.
Veröffentlicht: (2024)

Audio Mamba: Bidirectional State Space Model for Audio Representation Learning
von: Erol, Mehmet Hamza, et al.
Veröffentlicht: (2024)

ATRI: Mitigating Multilingual Audio Text Retrieval Inconsistencies by Reducing Data Distribution Errors
von: Yin, Yuguo, et al.
Veröffentlicht: (2025)

PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs
von: Dementyev, Artem, et al.
Veröffentlicht: (2026)

From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
von: Jia, Yuhang, et al.
Veröffentlicht: (2025)

CoLLAP: Contrastive Long-form Language-Audio Pretraining with Musical Temporal Structure Augmentation
von: Wu, Junda, et al.
Veröffentlicht: (2024)

Audio Explanation Synthesis with Generative Foundation Models
von: Akman, Alican, et al.
Veröffentlicht: (2024)

ViSAGe: Video-to-Spatial Audio Generation
von: Kim, Jaeyeon, et al.
Veröffentlicht: (2025)

Multimodal Laryngoscopic Video Analysis for Assisted Diagnosis of Vocal Fold Paralysis
von: Zhang, Yucong, et al.
Veröffentlicht: (2024)