Buchumschlag

A Deep Dive into the Trade-Offs of Parameter-Efficient Preference Alignment Techniques

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Thakkar, Megh, Fournier, Quentin, Riemer, Matthew D, Chen, Pin-Yu, Zouaq, Amal, Das, Payel, Chandar, Sarath
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Combining Domain and Alignment Vectors to Achieve Better Knowledge-Safety Trade-offs in LLMs
von: Thakkar, Megh, et al.
Veröffentlicht: (2024)

LLMs Can't Play Hangman: On the Necessity of a Private Working Memory for Language Agents
von: Baldelli, Davide, et al.
Veröffentlicht: (2026)

Probabilistic Calibration Is a Trainable Capability in Language Models
von: Baldelli, Davide, et al.
Veröffentlicht: (2026)

Too Big to Fool: Resisting Deception in Language Models
von: Samsami, Mohammad Reza, et al.
Veröffentlicht: (2024)

Exploring Quantization for Efficient Pre-Training of Transformer Language Models
von: Chitsaz, Kamran, et al.
Veröffentlicht: (2024)

Ontology-Constrained Generation of Domain-Specific Clinical Summaries
von: Mehenni, Gaya, et al.
Veröffentlicht: (2024)

NeoBERT: A Next-Generation BERT
von: Breton, Lola Le, et al.
Veröffentlicht: (2025)

Fundamental Safety-Capability Trade-offs in Fine-tuning Large Language Models
von: Chen, Pin-Yu, et al.
Veröffentlicht: (2025)

Revisiting Replay and Gradient Alignment for Continual Pre-Training of Large Language Models
von: Abbes, Istabrak, et al.
Veröffentlicht: (2025)

What is the Best Process Model Representation? A Comparative Analysis for Process Modeling with Large Language Models
von: Brissard, Alexis, et al.
Veröffentlicht: (2025)

Small Encoders Can Rival Large Decoders in Detecting Groundedness
von: Abbes, Istabrak, et al.
Veröffentlicht: (2025)

Reducing Hallucinations in Language Model-based SPARQL Query Generation Using Post-Generation Memory Retrieval
von: Sharma, Aditya, et al.
Veröffentlicht: (2025)

FRASE: Structured Representations for Generalizable SPARQL Query Generation
von: Diallo, Papa Abdou Karim Karou, et al.
Veröffentlicht: (2025)

Enhancing Frame Detection with Retrieval Augmented Generation
von: Diallo, Papa Abdou Karim Karou, et al.
Veröffentlicht: (2025)

Faithfulness Measurable Masked Language Models
von: Madsen, Andreas, et al.
Veröffentlicht: (2023)

NeuroFaith: Evaluating LLM Self-Explanation Faithfulness via Internal Representation Alignment
von: Bhan, Milan, et al.
Veröffentlicht: (2025)

Are self-explanations from Large Language Models faithful?
von: Madsen, Andreas, et al.
Veröffentlicht: (2024)

SEAL: Safety-enhanced Aligned LLM Fine-tuning via Bilevel Data Selection
von: Shen, Han, et al.
Veröffentlicht: (2024)

A Comprehensive Evaluation of Neural SPARQL Query Generation from Natural Language Questions
von: Diallo, Papa Abdou Karim Karou, et al.
Veröffentlicht: (2023)

CADmium: Fine-Tuning Code Language Models for Text-Driven Sequential CAD Design
von: Govindarajan, Prashant, et al.
Veröffentlicht: (2025)

CoPeP: Benchmarking Continual Pretraining for Protein Language Models
von: Patil, Darshan, et al.
Veröffentlicht: (2026)

Manifold Metric: A Loss Landscape Approach for Predicting Model Performance
von: Malviya, Pranshu, et al.
Veröffentlicht: (2024)

Effect of Document Packing on the Latent Multi-Hop Reasoning Capabilities of Large Language Models
von: Prato, Gabriele, et al.
Veröffentlicht: (2025)

Towards Practical Tool Usage for Continually Learning LLMs
von: Huang, Jerry, et al.
Veröffentlicht: (2024)

NovoMolGen: Rethinking Molecular Language Model Pretraining
von: Chitsaz, Kamran, et al.
Veröffentlicht: (2025)

Scopes of Alignment
von: Varshney, Kush R., et al.
Veröffentlicht: (2025)

DeSQ: Decomposition-based SPARQL Query Generation
von: Diallo, Papa Abdou Karim Karou, et al.
Veröffentlicht: (2026)

Interpretability Needs a New Paradigm
von: Madsen, Andreas, et al.
Veröffentlicht: (2024)

Why Don't Prompt-Based Fairness Metrics Correlate?
von: Zayed, Abdelrahman, et al.
Veröffentlicht: (2024)

Should We Attend More or Less? Modulating Attention for Fairness
von: Zayed, Abdelrahman, et al.
Veröffentlicht: (2023)

EpMAN: Episodic Memory AttentioN for Generalizing to Longer Contexts
von: Chaudhury, Subhajit, et al.
Veröffentlicht: (2025)

PMoL: Parameter Efficient MoE for Preference Mixing of LLM Alignment
von: Liu, Dongxu, et al.
Veröffentlicht: (2024)

GeoCoder: Solving Geometry Problems by Generating Modular Code through Vision-Language Models
von: Sharma, Aditya, et al.
Veröffentlicht: (2024)

EpiK-Eval: Evaluation for Language Models as Epistemic Models
von: Prato, Gabriele, et al.
Veröffentlicht: (2023)

MedHal: An Evaluation Dataset for Medical Hallucination Detection
von: Mehenni, Gaya, et al.
Veröffentlicht: (2025)

Exploring Safety-Utility Trade-Offs in Personalized Language Models
von: Vijjini, Anvesh Rao, et al.
Veröffentlicht: (2024)

Do Large Language Models Know How Much They Know?
von: Prato, Gabriele, et al.
Veröffentlicht: (2025)

Do Robot Snakes Dream like Electric Sheep? Investigating the Effects of Architectural Inductive Biases on Hallucination
von: Huang, Jerry, et al.
Veröffentlicht: (2024)

ChartGemma: Visual Instruction-tuning for Chart Reasoning in the Wild
von: Masry, Ahmed, et al.
Veröffentlicht: (2024)

The Rise of Darkness: Safety-Utility Trade-Offs in Role-Playing Dialogue Agents
von: Tang, Yihong, et al.
Veröffentlicht: (2025)