Buchumschlag

Explaining the optimistic performance evaluation of newly proposed methods: a cross-design validation experiment

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Nießl, Christina, Hoffmann, Sabine, Ullmann, Theresa, Boulesteix, Anne-Laure
Format:	Preprint
Veröffentlicht:	2022
Schlagworte:	Methodology
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Over-optimism in benchmark studies and the multiplicity of design and analysis options when interpreting their results
von: Nießl, Christina, et al.
Veröffentlicht: (2021)

Beyond algorithm hyperparameters: on preprocessing hyperparameters and associated pitfalls in machine learning applications
von: Sauer, Christina, et al.
Veröffentlicht: (2024)

Addressing researcher degrees of freedom through minP adjustment
von: Mandl, Maximilian M, et al.
Veröffentlicht: (2024)

On "Confirmatory" Methodological Research in Statistics and Related Fields
von: Lange, F. J. D., et al.
Veröffentlicht: (2025)

Rethinking the handling of method failure in comparison studies
von: Wünsch, Milena, et al.
Veröffentlicht: (2024)

Statistical parametric simulation studies based on real data
von: Sauer, Christina, et al.
Veröffentlicht: (2025)

Outlier Detection in Mendelian Randomisation
von: Mandl, Maximilian M, et al.
Veröffentlicht: (2025)

permApprox: a general framework for accurate permutation p-value approximation
von: Peschel, Stefanie, et al.
Veröffentlicht: (2026)

Understanding overfitting in random forest for probability estimation: a visualization and simulation study
von: Barreñada, Lasai, et al.
Veröffentlicht: (2024)

Robustifying likelihoods by optimistically re-weighting data
von: Dewaskar, Miheer, et al.
Veröffentlicht: (2023)

A categorization of performance measures for estimated non-linear associations between an outcome and continuous predictors
von: Ullmann, Theresa, et al.
Veröffentlicht: (2025)

Moving beyond spatial and random cross-validation in environmental modelling: a call for prediction-domain adaptive evaluation
von: Linnenbrink, Jan, et al.
Veröffentlicht: (2026)

Developing a predictive signature for two trial endpoints using the cross-validated risk scores method
von: Cherlin, Svetlana, et al.
Veröffentlicht: (2020)

Systematic comparison of Bayesian basket trial designs with unequal sample sizes and proposal of a new method based on power priors
von: Schmitt, Sabrina, et al.
Veröffentlicht: (2024)

A review of regularised estimation methods and cross-validation in spatiotemporal statistics
von: Otto, Philipp, et al.
Veröffentlicht: (2024)

On cross-validated estimation of skew normal model
von: Zhang, Jian, et al.
Veröffentlicht: (2024)

Estimation of density functionals via cross-validation
von: Chacón, José E., et al.
Veröffentlicht: (2024)

Temporal cross-validation impacts multivariate time series subsequence anomaly detection evaluation
von: Hespeler, Steven C., et al.
Veröffentlicht: (2025)

On cross-validation for small area estimators
von: Dong, Qianyu, et al.
Veröffentlicht: (2026)

A totally non-compensatory multi-criteria method for evaluating and improving level of satisfaction (LoS): proposal and application on Airport Terminal of Passengers
von: da Rocha, Phelipe Medeiros, et al.
Veröffentlicht: (2025)

Bayesian cross-validation by parallel Markov Chain Monte Carlo
von: Cooper, Alex, et al.
Veröffentlicht: (2023)

Gibbs optimal design of experiments
von: Overstall, Antony M., et al.
Veröffentlicht: (2023)

Cross-validated risk scores adaptive enrichment (CADEN) design
von: Cherlin, Svetlana, et al.
Veröffentlicht: (2021)

Joint leave-group-out cross-validation in Bayesian spatial models
von: Cooper, Alex, et al.
Veröffentlicht: (2025)

Unified optimal model averaging with a general loss function based on cross-validation
von: Yu, Dalei, et al.
Veröffentlicht: (2024)

Graph fission and cross-validation
von: Leiner, James, et al.
Veröffentlicht: (2024)

Adaptive design of experiments methodology for noise resistance with unreplicated experiments
von: Caparini, Lucas, et al.
Veröffentlicht: (2024)

Fast and robust cross-validation-based scoring rule inference for spatial statistics
von: Olafsdottir, Helga Kristin, et al.
Veröffentlicht: (2024)

Explainable AI in Healthcare: to Explain, to Predict, or to Describe?
von: Carriero, Alex, et al.
Veröffentlicht: (2025)

The design of selection experiments using a model-based approach
von: Cullis, Brian R, et al.
Veröffentlicht: (2026)

Causal interpretation of the sibling comparison and its relation to the cross-over design
von: Kristensen, Simon Bang, et al.
Veröffentlicht: (2025)

Robust designs for Gaussian process emulation of computer experiments
von: Mak, Simon, et al.
Veröffentlicht: (2025)

On the inverse of covariance matrices for unbalanced crossed designs
von: Lyu, Ziyang, et al.
Veröffentlicht: (2025)

Bayesian sample size calculations for external validation studies of risk prediction models
von: Sadatsafavi, Mohsen, et al.
Veröffentlicht: (2025)

Experiment-selector cross-validated targeted maximum likelihood estimator for hybrid RCT-external data studies
von: Dang, Lauren Eyler, et al.
Veröffentlicht: (2022)

Determinants of financial and digital inclusion in West and Central Africa: Evidence from binary models with cross-validation
von: Jallow, Ismaila A., et al.
Veröffentlicht: (2025)

Optimal design of experiments for functional linear models with dynamic factors
von: May, Caterina, et al.
Veröffentlicht: (2024)

Fixed-budget optimal designs for multi-fidelity computer experiments
von: Chen, Gecheng, et al.
Veröffentlicht: (2024)

Refitted cross-validation estimation for high-dimensional subsamples from low-dimension full data
von: Zhang, Haixiang, et al.
Veröffentlicht: (2024)

Anytime-valid testing with e-values and confirmatory adaptive designs
von: Brannath, Werner, et al.
Veröffentlicht: (2026)