Buchumschlag

Contrastive Perplexity for Controlled Generation: An Application in Detoxifying Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Klein, Tassilo, Nabi, Moin
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Learning Private Representations through Entropy-based Adversarial Training
von: Klein, Tassilo, et al.
Veröffentlicht: (2025)

Large Language Models can be Strong Self-Detoxifiers
von: Ko, Ching-Yun, et al.
Veröffentlicht: (2024)

Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference Models
von: Ankner, Zachary, et al.
Veröffentlicht: (2024)

Detoxifying Large Language Models via Knowledge Editing
von: Wang, Mengru, et al.
Veröffentlicht: (2024)

Momentum Point-Perplexity Mechanics in Large Language Models
von: Tomaz, Lorenzo, et al.
Veröffentlicht: (2025)

Duo-LLM: A Framework for Studying Adaptive Computation in Large Language Models
von: Alizadeh, Keivan, et al.
Veröffentlicht: (2024)

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization
von: Samragh, Mohammad, et al.
Veröffentlicht: (2024)

What is Wrong with Perplexity for Long-context Language Modeling?
von: Fang, Lizhe, et al.
Veröffentlicht: (2024)

Thinking into the Future: Latent Lookahead Training for Transformers
von: Noci, Lorenzo, et al.
Veröffentlicht: (2026)

Alzheimer's Dementia Detection Using Perplexity from Paired Large Language Models
von: Xiao, Yao, et al.
Veröffentlicht: (2025)

Rethinking Perplexity: Revealing the Impact of Input Length on Perplexity Evaluation in LLMs
von: Cheng, Letian, et al.
Veröffentlicht: (2026)

Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models
von: Cui, Yingqian, et al.
Veröffentlicht: (2025)

An Interpretable N-gram Perplexity Threat Model for Large Language Model Jailbreaks
von: Boreiko, Valentyn, et al.
Veröffentlicht: (2024)

Perplexity-Aware Data Scaling Law: Perplexity Landscapes Predict Performance for Continual Pre-training
von: Liu, Lei, et al.
Veröffentlicht: (2025)

Low-Perplexity LLM-Generated Sequences and Where To Find Them
von: Wuhrmann, Arthur, et al.
Veröffentlicht: (2025)

Inconsistent Tokenizations Cause Language Models to be Perplexed by Japanese Grammar
von: Gambardella, Andrew, et al.
Veröffentlicht: (2025)

Can Perplexity Predict Fine-tuning Performance? An Investigation of Tokenization Effects on Sequential Language Models for Nepali
von: Luitel, Nishant, et al.
Veröffentlicht: (2024)

Improving Pretraining Data Using Perplexity Correlations
von: Thrush, Tristan, et al.
Veröffentlicht: (2024)

Rethinking GSPO: The Perplexity-Entropy Equivalence
von: Liu, Chi
Veröffentlicht: (2025)

CaLM: Contrasting Large and Small Language Models to Verify Grounded Generation
von: Hsu, I-Hung, et al.
Veröffentlicht: (2024)

Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation
von: Zhang, Hongxiang, et al.
Veröffentlicht: (2025)

Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization
von: Liu, Yixin, et al.
Veröffentlicht: (2023)

Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information
von: Hu, Zhengmian, et al.
Veröffentlicht: (2023)

Protected group bias and stereotypes in Large Language Models
von: Kotek, Hadas, et al.
Veröffentlicht: (2024)

Controlling Large Language Model with Latent Actions
von: Jia, Chengxing, et al.
Veröffentlicht: (2025)

CELL your Model: Contrastive Explanations for Large Language Models
von: Luss, Ronny, et al.
Veröffentlicht: (2024)

Perplexity Cannot Always Tell Right from Wrong
von: Veličković, Petar, et al.
Veröffentlicht: (2026)

Selective Generation for Controllable Language Models
von: Lee, Minjae, et al.
Veröffentlicht: (2023)

A Dynamic Self-Evolving Extraction System
von: Amin-Naseri, Moin, et al.
Veröffentlicht: (2026)

Improving Large Language Model Safety with Contrastive Representation Learning
von: Simko, Samuel, et al.
Veröffentlicht: (2025)

Unsupervised Contrast-Consistent Ranking with Language Models
von: Stoehr, Niklas, et al.
Veröffentlicht: (2023)

Identifying the Source of Generation for Large Language Models
von: Park, Bumjin, et al.
Veröffentlicht: (2024)

Do LLMs Find Human Answers To Fact-Driven Questions Perplexing? A Case Study on Reddit
von: Seegmiller, Parker, et al.
Veröffentlicht: (2024)

What Evidence Do Language Models Find Convincing?
von: Wan, Alexander, et al.
Veröffentlicht: (2024)

Hessian of Perplexity for Large Language Models by PyTorch autograd (Open Source)
von: Ilin, Ivan
Veröffentlicht: (2025)

Hansel: Output Length Controlling Framework for Large Language Models
von: Song, Seoha, et al.
Veröffentlicht: (2024)

Noise Contrastive Alignment of Language Models with Explicit Rewards
von: Chen, Huayu, et al.
Veröffentlicht: (2024)

Evaluating Large Language Models Using Contrast Sets: An Experimental Approach
von: Sanwal, Manish
Veröffentlicht: (2024)

Sequence-level Large Language Model Training with Contrastive Preference Optimization
von: Feng, Zhili, et al.
Veröffentlicht: (2025)

Data Augmentations for Improved (Large) Language Model Generalization
von: Feder, Amir, et al.
Veröffentlicht: (2023)