Modeling User Preferences with Automatic Metrics: Creating a High-Quality Preference Dataset for Machine Translation
Fuente:
arXiv
Salvato in:
| Autori principali: | Agrawal, Sweta, de Souza, José G. C., Rei, Ricardo, Farinhas, António, Faria, Gonçalo, Fernandes, Patrick, Guerreiro, Nuno M, Martins, Andre |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Can Automatic Metrics Assess High-Quality Translations?
di: Agrawal, Sweta, et al.
Pubblicazione: (2024)
di: Agrawal, Sweta, et al.
Pubblicazione: (2024)
Translate Smart, not Hard: Cascaded Translation Systems with Quality-Aware Deferral
di: Farinhas, António, et al.
Pubblicazione: (2025)
di: Farinhas, António, et al.
Pubblicazione: (2025)
QUEST: Quality-Aware Metropolis-Hastings Sampling for Machine Translation
di: Faria, Gonçalo R. A., et al.
Pubblicazione: (2024)
di: Faria, Gonçalo R. A., et al.
Pubblicazione: (2024)
Adding Chocolate to Mint: Mitigating Metric Interference in Machine Translation
di: Pombal, José, et al.
Pubblicazione: (2025)
di: Pombal, José, et al.
Pubblicazione: (2025)
Is Context Helpful for Chat Translation Evaluation?
di: Agrawal, Sweta, et al.
Pubblicazione: (2024)
di: Agrawal, Sweta, et al.
Pubblicazione: (2024)
Aligning Neural Machine Translation Models: Human Feedback in Training and Inference
di: Ramos, Miguel Moura, et al.
Pubblicazione: (2023)
di: Ramos, Miguel Moura, et al.
Pubblicazione: (2023)
Multilingual Contextualization of Large Language Models for Document-Level Machine Translation
di: Ramos, Miguel Moura, et al.
Pubblicazione: (2025)
di: Ramos, Miguel Moura, et al.
Pubblicazione: (2025)
Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation
di: Zaranis, Emmanouil, et al.
Pubblicazione: (2024)
di: Zaranis, Emmanouil, et al.
Pubblicazione: (2024)
Zero-shot Benchmarking: A Framework for Flexible and Scalable Automatic Evaluation of Language Models
di: Pombal, José, et al.
Pubblicazione: (2025)
di: Pombal, José, et al.
Pubblicazione: (2025)
Is Preference Alignment Always the Best Option to Enhance LLM-Based Translation? An Empirical Analysis
di: Gisserot-Boukhlef, Hippolyte, et al.
Pubblicazione: (2024)
di: Gisserot-Boukhlef, Hippolyte, et al.
Pubblicazione: (2024)
MindEval: Benchmarking Language Models on Multi-turn Mental Health Support
di: Pombal, José, et al.
Pubblicazione: (2025)
di: Pombal, José, et al.
Pubblicazione: (2025)
xTower: A Multilingual LLM for Explaining and Correcting Translation Errors
di: Treviso, Marcos, et al.
Pubblicazione: (2024)
di: Treviso, Marcos, et al.
Pubblicazione: (2024)
A Context-aware Framework for Translation-mediated Conversations
di: Pombal, José, et al.
Pubblicazione: (2024)
di: Pombal, José, et al.
Pubblicazione: (2024)
Tower: An Open Multilingual Large Language Model for Translation-Related Tasks
di: Alves, Duarte M., et al.
Pubblicazione: (2024)
di: Alves, Duarte M., et al.
Pubblicazione: (2024)
Analyzing Context Contributions in LLM-based Machine Translation
di: Zaranis, Emmanouil, et al.
Pubblicazione: (2024)
di: Zaranis, Emmanouil, et al.
Pubblicazione: (2024)
Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering
di: Fernandes, Patrick, et al.
Pubblicazione: (2025)
di: Fernandes, Patrick, et al.
Pubblicazione: (2025)
Self-Preference Bias in Rubric-Based Evaluation of Large Language Models
di: Pombal, José, et al.
Pubblicazione: (2026)
di: Pombal, José, et al.
Pubblicazione: (2026)
Fine-Grained Reward Optimization for Machine Translation using Error Severity Mappings
di: Ramos, Miguel Moura, et al.
Pubblicazione: (2024)
di: Ramos, Miguel Moura, et al.
Pubblicazione: (2024)
Tower+: Bridging Generality and Translation Specialization in Multilingual LLMs
di: Rei, Ricardo, et al.
Pubblicazione: (2025)
di: Rei, Ricardo, et al.
Pubblicazione: (2025)
MindGuard: Guardrail Classifiers for Multi-Turn Mental Health Support
di: Farinhas, António, et al.
Pubblicazione: (2026)
di: Farinhas, António, et al.
Pubblicazione: (2026)
Quality and Quantity of Machine Translation References for Automatic Metrics
di: Zouhar, Vilém, et al.
Pubblicazione: (2024)
di: Zouhar, Vilém, et al.
Pubblicazione: (2024)
MetaMetrics-MT: Tuning Meta-Metrics for Machine Translation via Human Preference Calibration
di: Anugraha, David, et al.
Pubblicazione: (2024)
di: Anugraha, David, et al.
Pubblicazione: (2024)
Reranking Laws for Language Generation: A Communication-Theoretic Perspective
di: Farinhas, António, et al.
Pubblicazione: (2024)
di: Farinhas, António, et al.
Pubblicazione: (2024)
Word Alignment as Preference for Machine Translation
di: Wu, Qiyu, et al.
Pubblicazione: (2024)
di: Wu, Qiyu, et al.
Pubblicazione: (2024)
Déjà Vu: Multilingual LLM Evaluation through the Lens of Machine Translation Evaluation
di: Kreutzer, Julia, et al.
Pubblicazione: (2025)
di: Kreutzer, Julia, et al.
Pubblicazione: (2025)
Non-Exchangeable Conformal Risk Control
di: Farinhas, António, et al.
Pubblicazione: (2023)
di: Farinhas, António, et al.
Pubblicazione: (2023)
Cross-lingual Human-Preference Alignment for Neural Machine Translation with Direct Quality Optimization
di: Uhlig, Kaden, et al.
Pubblicazione: (2024)
di: Uhlig, Kaden, et al.
Pubblicazione: (2024)
CAPO: Confidence Aware Preference Optimization Learning for Multilingual Preferences
di: Pokharel, Rhitabrat, et al.
Pubblicazione: (2025)
di: Pokharel, Rhitabrat, et al.
Pubblicazione: (2025)
Evaluating Automatic Metrics with Incremental Machine Translation Systems
di: Wu, Guojun, et al.
Pubblicazione: (2024)
di: Wu, Guojun, et al.
Pubblicazione: (2024)
Controlled Document Authoring in a Machine Translation Age
di: Miyata, Rei
Pubblicazione: (2020)
di: Miyata, Rei
Pubblicazione: (2020)
A Dataset for Probing Translationese Preferences in English-to-Swedish Translation
di: Kunz, Jenny, et al.
Pubblicazione: (2026)
di: Kunz, Jenny, et al.
Pubblicazione: (2026)
Enhanced Hallucination Detection in Neural Machine Translation through Simple Detector Aggregation
di: Himmi, Anas, et al.
Pubblicazione: (2024)
di: Himmi, Anas, et al.
Pubblicazione: (2024)
Towards Data-Centric RLHF: Simple Metrics for Preference Dataset Comparison
di: Shen, Judy Hanwen, et al.
Pubblicazione: (2024)
di: Shen, Judy Hanwen, et al.
Pubblicazione: (2024)
Parents' and nurses' perceptions and behaviours of family‐centred care during periods of busyness: Letter to the Editor
di: Gonçalo Guerreiro, et al.
Pubblicazione: (2024)
di: Gonçalo Guerreiro, et al.
Pubblicazione: (2024)
Metric Distortion with Preference Intensities
di: Abbaszadeh, Mehrad, et al.
Pubblicazione: (2026)
di: Abbaszadeh, Mehrad, et al.
Pubblicazione: (2026)
Improving LLMs for Machine Translation Using Synthetic Preference Data
di: Vajda, Dario, et al.
Pubblicazione: (2025)
di: Vajda, Dario, et al.
Pubblicazione: (2025)
SimulPL: Aligning Human Preferences in Simultaneous Machine Translation
di: Yu, Donglei, et al.
Pubblicazione: (2025)
di: Yu, Donglei, et al.
Pubblicazione: (2025)
CRPO: Confidence-Reward Driven Preference Optimization for Machine Translation
di: Cui, Guofeng, et al.
Pubblicazione: (2025)
di: Cui, Guofeng, et al.
Pubblicazione: (2025)
Backtranslation Augmented Direct Preference Optimization for Neural Machine Translation
di: Ghassabi, Mehrdad, et al.
Pubblicazione: (2026)
di: Ghassabi, Mehrdad, et al.
Pubblicazione: (2026)
Image Quality Assessment: From Human to Machine Preference
di: Li, Chunyi, et al.
Pubblicazione: (2025)
di: Li, Chunyi, et al.
Pubblicazione: (2025)
Documenti analoghi
-
Can Automatic Metrics Assess High-Quality Translations?
di: Agrawal, Sweta, et al.
Pubblicazione: (2024) -
Translate Smart, not Hard: Cascaded Translation Systems with Quality-Aware Deferral
di: Farinhas, António, et al.
Pubblicazione: (2025) -
QUEST: Quality-Aware Metropolis-Hastings Sampling for Machine Translation
di: Faria, Gonçalo R. A., et al.
Pubblicazione: (2024) -
Adding Chocolate to Mint: Mitigating Metric Interference in Machine Translation
di: Pombal, José, et al.
Pubblicazione: (2025) -
Is Context Helpful for Chat Translation Evaluation?
di: Agrawal, Sweta, et al.
Pubblicazione: (2024)