Copertina

When Should We Introduce Safety Interventions During Pretraining?

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Sam, Dylan, Goyal, Sachin, Maini, Pratyush, Robey, Alexander, Kolter, J. Zico
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Safety Pretraining: Toward the Next Generation of Safe AI
di: Maini, Pratyush, et al.
Pubblicazione: (2025)

Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic
di: Goyal, Sachin, et al.
Pubblicazione: (2024)

T-MARS: Improving Visual Representations by Circumventing Text Feature Learning
di: Maini, Pratyush, et al.
Pubblicazione: (2023)

Evaluating Language Model Reasoning about Confidential Information
di: Sam, Dylan, et al.
Pubblicazione: (2025)

Understanding Hallucinations in Diffusion Models through Mode Interpolation
di: Aithal, Sumukh K, et al.
Pubblicazione: (2024)

Predicting the Performance of Black-box LLMs through Follow-up Queries
di: Sam, Dylan, et al.
Pubblicazione: (2025)

TOFU: A Task of Fictitious Unlearning for LLMs
di: Maini, Pratyush, et al.
Pubblicazione: (2024)

Rethinking LLM Memorization through the Lens of Adversarial Compression
di: Schwarzschild, Avi, et al.
Pubblicazione: (2024)

Context-Parametric Inversion: Why Instruction Finetuning Can Worsen Context Reliance
di: Goyal, Sachin, et al.
Pubblicazione: (2024)

Finetuning CLIP to Reason about Pairwise Differences
di: Sam, Dylan, et al.
Pubblicazione: (2024)

Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters
di: Li, Kevin Y., et al.
Pubblicazione: (2024)

Bayesian Neural Networks with Domain Knowledge Priors
di: Sam, Dylan, et al.
Pubblicazione: (2024)

AcceleratedLiNGAM: Learning Causal DAGs at the speed of GPUs
di: Akinwande, Victor, et al.
Pubblicazione: (2024)

FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers
di: Williams, Joshua Nathaniel, et al.
Pubblicazione: (2024)

Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning
di: Huang, Benhao, et al.
Pubblicazione: (2026)

Why is SAM Robust to Label Noise?
di: Baek, Christina, et al.
Pubblicazione: (2024)

Mimetic Initialization of MLPs
di: Trockman, Asher, et al.
Pubblicazione: (2026)

The Finetuner's Fallacy: When to Pretrain with Your Finetuning Data
di: Baek, Christina, et al.
Pubblicazione: (2026)

Antidistillation Fingerprinting
di: Xu, Yixuan Even, et al.
Pubblicazione: (2026)

Existing Large Language Model Unlearning Evaluations Are Inconclusive
di: Feng, Zhili, et al.
Pubblicazione: (2025)

Peeking Behind Closed Doors: Risks of LLM Evaluation by Private Data Curators
di: Bansal, Hritik, et al.
Pubblicazione: (2025)

One-Step Diffusion Distillation via Deep Equilibrium Models
di: Geng, Zhengyang, et al.
Pubblicazione: (2023)

Diffusing Differentiable Representations
di: Savani, Yash, et al.
Pubblicazione: (2024)

Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks
di: Kim, Eungyeup, et al.
Pubblicazione: (2026)

Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
di: Roderick, Melrose, et al.
Pubblicazione: (2023)

Algorithms for Adversarially Robust Deep Learning
di: Robey, Alexander
Pubblicazione: (2025)

A Granular Study of Safety Pretraining under Model Abliteration
di: Agnihotri, Shashank, et al.
Pubblicazione: (2025)

Distilled Pretraining: A modern lens of Data, In-Context Learning and Test-Time Scaling
di: Goyal, Sachin, et al.
Pubblicazione: (2025)

An Axiomatic Approach to Model-Agnostic Concept Explanations
di: Feng, Zhili, et al.
Pubblicazione: (2024)

Rethinking Distance Metrics for Counterfactual Explainability
di: Williams, Joshua Nathaniel, et al.
Pubblicazione: (2024)

Adversarial Training Should Be Cast as a Non-Zero-Sum Game
di: Robey, Alexander, et al.
Pubblicazione: (2023)

The Mixing method: low-rank coordinate descent for semidefinite programming with diagonal constraints
di: Wang, Po-Wei, et al.
Pubblicazione: (2017)

Massive Activations in Large Language Models
di: Sun, Mingjie, et al.
Pubblicazione: (2024)

STAMP Your Content: Proving Dataset Membership via Watermarked Rephrasings
di: Rastogi, Saksham, et al.
Pubblicazione: (2025)

OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents
di: Kuntz, Thomas, et al.
Pubblicazione: (2025)

Memorization Sinks: Isolating Memorization during LLM Training
di: Ghosal, Gaurav R., et al.
Pubblicazione: (2025)

Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws
di: Jiang, Yiding, et al.
Pubblicazione: (2024)

Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression
di: Zhai, Runtian, et al.
Pubblicazione: (2023)

When Should We Orchestrate Multiple Agents?
di: Bhatt, Umang, et al.
Pubblicazione: (2025)

A Simple and Effective Pruning Approach for Large Language Models
di: Sun, Mingjie, et al.
Pubblicazione: (2023)