Buchumschlag

Pack of LLMs: Model Fusion at Test-Time via Perplexity Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mavromatis, Costas, Karypis, Petros, Karypis, George
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SemPool: Simple, robust, and interpretable KG pooling for enhancing language models
von: Mavromatis, Costas, et al.
Veröffentlicht: (2024)

GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
von: Mavromatis, Costas, et al.
Veröffentlicht: (2024)

Extending Input Contexts of Language Models through Training on Segmented Sequences
von: Karypis, Petros, et al.
Veröffentlicht: (2023)

Fine-Tuning Language Models on Multiple Datasets for Citation Intention Classification
von: Shui, Zeren, et al.
Veröffentlicht: (2024)

Learning to Generate Answers with Citations via Factual Consistency Models
von: Aly, Rami, et al.
Veröffentlicht: (2024)

BYOKG-RAG: Multi-Strategy Graph Retrieval for Knowledge Graph Question Answering
von: Mavromatis, Costas, et al.
Veröffentlicht: (2025)

Differentially Private Bias-Term Fine-tuning of Foundation Models
von: Bu, Zhiqi, et al.
Veröffentlicht: (2022)

Beyond instruction-conditioning, MoTE: Mixture of Task Experts for Multi-task Embedding Models
von: Romero, Miguel, et al.
Veröffentlicht: (2025)

Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning
von: Sarkar, Soumajyoti, et al.
Veröffentlicht: (2024)

Multimodal Chain-of-Thought Reasoning in Language Models
von: Zhang, Zhuosheng, et al.
Veröffentlicht: (2023)

Extreme Miscalibration and the Illusion of Adversarial Robustness
von: Raina, Vyas, et al.
Veröffentlicht: (2024)

MaxCode: A Max-Reward Reinforcement Learning Framework for Automated Code Optimization
von: Ou, Jiefu, et al.
Veröffentlicht: (2026)

Parameter-Efficient Tuning Large Language Models for Graph Representation Learning
von: Zhu, Qi, et al.
Veröffentlicht: (2024)

ProxSparse: Regularized Learning of Semi-Structured Sparsity Masks for Pretrained LLMs
von: Liu, Hongyi, et al.
Veröffentlicht: (2025)

AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents
von: Yang, Ke, et al.
Veröffentlicht: (2024)

Rethinking Perplexity: Revealing the Impact of Input Length on Perplexity Evaluation in LLMs
von: Cheng, Letian, et al.
Veröffentlicht: (2026)

Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference Models
von: Ankner, Zachary, et al.
Veröffentlicht: (2024)

Scalable Prompt Routing via Fine-Grained Latent Task Discovery
von: Zhang, Yunyi, et al.
Veröffentlicht: (2026)

OPERA: Online Data Pruning for Efficient Retrieval Model Adaptation
von: Fang, Haoyang, et al.
Veröffentlicht: (2026)

Demystifying Prompts in Language Models via Perplexity Estimation
von: Gonen, Hila, et al.
Veröffentlicht: (2022)

Ancient Greek to Modern Greek Machine Translation: A Novel Benchmark and Fine-Tuning Experiments on LLMs and NMT Models
von: Mavromatis, Spyridon, et al.
Veröffentlicht: (2026)

Confidence, Not Perplexity: A Better Metric for the Creative Era of LLMs
von: Parupudi, V. S. Raghu
Veröffentlicht: (2025)

Rectify Evaluation Preference: Improving LLMs' Critique on Math Reasoning via Perplexity-aware Reinforcement Learning
von: Tian, Changyuan, et al.
Veröffentlicht: (2025)

Understanding Silent Data Corruption in LLM Training
von: Ma, Jeffrey, et al.
Veröffentlicht: (2025)

DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors
von: Cheng, Yize, et al.
Veröffentlicht: (2025)

Is my model perplexed for the right reason? Contrasting LLMs' Benchmark Behavior with Token-Level Perplexity
von: Prins, Zoë, et al.
Veröffentlicht: (2026)

Perplexity Trap: PLM-Based Retrievers Overrate Low Perplexity Documents
von: Wang, Haoyu, et al.
Veröffentlicht: (2025)

Perplexity-Aware Data Scaling Law: Perplexity Landscapes Predict Performance for Continual Pre-training
von: Liu, Lei, et al.
Veröffentlicht: (2025)

destroR: Attacking Transfer Models with Obfuscous Examples to Discard Perplexity
von: Ahmed, Saadat Rafid, et al.
Veröffentlicht: (2025)

What is Wrong with Perplexity for Long-context Language Modeling?
von: Fang, Lizhe, et al.
Veröffentlicht: (2024)

Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning
von: Wu, Chao-Chung, et al.
Veröffentlicht: (2025)

Can Perplexity Reflect Large Language Model's Ability in Long Text Understanding?
von: Hu, Yutong, et al.
Veröffentlicht: (2024)

Beyond Perplexity: Let the Reader Select Retrieval Summaries via Spectrum Projection Score
von: Hu, Zhanghao, et al.
Veröffentlicht: (2025)

On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation
von: Hsu, Chan-Jan, et al.
Veröffentlicht: (2026)

Faster and Better LLMs via Latency-Aware Test-Time Scaling
von: Wang, Zili, et al.
Veröffentlicht: (2025)

A Perplexity and Menger Curvature-Based Approach for Similarity Evaluation of Large Language Models
von: Zhang, Yuantao, et al.
Veröffentlicht: (2025)

Do LLMs Find Human Answers To Fact-Driven Questions Perplexing? A Case Study on Reddit
von: Seegmiller, Parker, et al.
Veröffentlicht: (2024)

Momentum Point-Perplexity Mechanics in Large Language Models
von: Tomaz, Lorenzo, et al.
Veröffentlicht: (2025)

When Does Multimodality Lead to Better Time Series Forecasting?
von: Zhang, Xiyuan, et al.
Veröffentlicht: (2025)

LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling
von: Zheng, Tong, et al.
Veröffentlicht: (2026)