Buchumschlag

Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Xinyi, Antoniades, Antonis, Elazar, Yanai, Amayuelas, Alfonso, Albalak, Alon, Zhang, Kexun, Wang, William Yang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MultiAgent Collaboration Attack: Investigating Adversarial Attacks in Large Language Model Collaborations via Debate
von: Amayuelas, Alfonso, et al.
Veröffentlicht: (2024)

Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation
von: Wang, Xinyi, et al.
Veröffentlicht: (2024)

On Linear Representations and Pretraining Data Frequency in Language Models
von: Merullo, Jack, et al.
Veröffentlicht: (2025)

A Survey on Data Selection for Language Models
von: Albalak, Alon, et al.
Veröffentlicht: (2024)

Self-Resource Allocation in Multi-Agent LLM Systems
von: Amayuelas, Alfonso, et al.
Veröffentlicht: (2025)

Evaluating $n$-Gram Novelty of Language Models Using Rusty-DAWG
von: Merrill, William, et al.
Veröffentlicht: (2024)

LLM-Generated or Human-Written? Comparing Review and Non-Review Papers on ArXiv
von: Elazar, Yanai, et al.
Veröffentlicht: (2026)

DebUnc: Improving Large Language Model Agent Communication With Uncertainty Metrics
von: Yoffe, Luke, et al.
Veröffentlicht: (2024)

MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation
von: Juneja, Gurusha, et al.
Veröffentlicht: (2025)

Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge
von: Tanwar, Eshaan, et al.
Veröffentlicht: (2025)

Rewriting History: A Recipe for Interventional Analyses to Study Data Effects on Model Behavior
von: Nadkarni, Rahul, et al.
Veröffentlicht: (2025)

Investigating the Transferability of Code Repair for Low-Resource Programming Languages
von: Wong, Kyle, et al.
Veröffentlicht: (2024)

Knowledge of Knowledge: Exploring Known-Unknowns Uncertainty with Large Language Models
von: Amayuelas, Alfonso, et al.
Veröffentlicht: (2023)

Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data
von: Antoniades, Antonis, et al.
Veröffentlicht: (2023)

OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens
von: Liu, Jiacheng, et al.
Veröffentlicht: (2025)

Detection and Measurement of Syntactic Templates in Generated Text
von: Shaib, Chantal, et al.
Veröffentlicht: (2024)

Applying Intrinsic Debiasing on Downstream Tasks: Challenges and Considerations for Machine Translation
von: Iluz, Bar, et al.
Veröffentlicht: (2024)

MAGPIE: A benchmark for Multi-AGent contextual PrIvacy Evaluation
von: Juneja, Gurusha, et al.
Veröffentlicht: (2025)

SWE-Search: Enhancing Software Agents with Monte Carlo Tree Search and Iterative Refinement
von: Antoniades, Antonis, et al.
Veröffentlicht: (2024)

Better Aligned with Survey Respondents or Training Data? Unveiling Political Leanings of LLMs on U.S. Supreme Court Cases
von: Xu, Shanshan, et al.
Veröffentlicht: (2025)

Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback
von: Miranda, Lester James V., et al.
Veröffentlicht: (2024)

Confidence v.s. Critique: A Decomposition of Self-Correction Capability for LLMs
von: Yang, Zhe, et al.
Veröffentlicht: (2024)

Estimating the Causal Effect of Early ArXiving on Paper Acceptance
von: Elazar, Yanai, et al.
Veröffentlicht: (2023)

Calibrating Large Language Models with Sample Consistency
von: Lyu, Qing, et al.
Veröffentlicht: (2024)

SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints
von: Li, Zekun, et al.
Veröffentlicht: (2025)

Human Bias in the Face of AI: Examining Human Judgment Against Text Labeled as AI Generated
von: Zhu, Tiffany, et al.
Veröffentlicht: (2024)

Planning to Explore: Curiosity-Driven Planning for LLM Test Generation
von: Amayuelas, Alfonso, et al.
Veröffentlicht: (2026)

LMEnt: A Suite for Analyzing Knowledge in Language Models from Pretraining Data to Representations
von: Gottesman, Daniela, et al.
Veröffentlicht: (2025)

Grounding LLM Reasoning with Knowledge Graphs
von: Amayuelas, Alfonso, et al.
Veröffentlicht: (2025)

Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
von: Jiang, Liwei, et al.
Veröffentlicht: (2025)

Memorization Dynamics of Fill-in-the-Middle Pretraining
von: von Arx, Tobias, et al.
Veröffentlicht: (2026)

Scalable Influence and Fact Tracing for Large Language Model Pretraining
von: Chang, Tyler A., et al.
Veröffentlicht: (2024)

A Survey on Multi-Turn Interaction Capabilities of Large Language Models
von: Zhang, Chen, et al.
Veröffentlicht: (2025)

Forgetting Curve: A Reliable Method for Evaluating Memorization Capability for Long-context Models
von: Liu, Xinyu, et al.
Veröffentlicht: (2024)

Impact of Preference Noise on the Alignment Performance of Generative Language Models
von: Gao, Yang, et al.
Veröffentlicht: (2024)

Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions
von: Zhang, Kexun, et al.
Veröffentlicht: (2024)

Neuron-Level Differentiation of Memorization and Generalization in Large Language Models
von: Huang, Ko-Wei, et al.
Veröffentlicht: (2024)

Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models
von: Dong, Yihong, et al.
Veröffentlicht: (2024)

Don't Fine-Tune, Decode: Syntax Error-Free Tool Use via Constrained Decoding
von: Zhang, Kexun, et al.
Veröffentlicht: (2023)

Scaling LLM Inference with Optimized Sample Compute Allocation
von: Zhang, Kexun, et al.
Veröffentlicht: (2024)