Buchumschlag

SmilesT5: Domain-specific pretraining for molecular language models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Spence, Philip, Paige, Brooks, Osbourn, Anne
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Evaluation of pretrained language models on music understanding
von: Vasilakis, Yannis, et al.
Veröffentlicht: (2024)

AsEP: Benchmarking Deep Learning Methods for Antibody-specific Epitope Prediction
von: Liu, Chunan, et al.
Veröffentlicht: (2024)

When marine radar target detection meets pretrained large language models
von: Hu, Qiying, et al.
Veröffentlicht: (2025)

Joint Embedding Predictive Architecture for self-supervised pretraining on polymer molecular graphs
von: Piccoli, Francesco, et al.
Veröffentlicht: (2025)

Time-varying Factor Augmented Vector Autoregression with Grouped Sparse Autoencoder
von: Luo, Yiyong, et al.
Veröffentlicht: (2025)

Can a Confident Prior Replace a Cold Posterior?
von: Marek, Martin, et al.
Veröffentlicht: (2024)

MedicalBERT: enhancing biomedical natural language processing using pretrained BERT-based model
von: Reddy, K. Sahit, et al.
Veröffentlicht: (2025)

Effects of Dropout on Performance in Long-range Graph Learning Tasks
von: Singh, Jasraj, et al.
Veröffentlicht: (2025)

Evolution Strategies for Deep RL pretraining
von: Martínez, Adrian, et al.
Veröffentlicht: (2026)

The effectiveness of MAE pre-pretraining for billion-scale pretraining
von: Singh, Mannat, et al.
Veröffentlicht: (2023)

A study of EHVI vs fixed scalarization for molecule design
von: Yong, Anabel, et al.
Veröffentlicht: (2025)

Synthetic continued pretraining
von: Yang, Zitong, et al.
Veröffentlicht: (2024)

Moment Matching Denoising Gibbs Sampling
von: Zhang, Mingtian, et al.
Veröffentlicht: (2023)

Gaussian Processes on Cellular Complexes
von: Alain, Mathieu, et al.
Veröffentlicht: (2023)

Panda: A pretrained forecast model for chaotic dynamics
von: Lai, Jeffrey, et al.
Veröffentlicht: (2025)

Smiles2Dock: an open large-scale multi-task dataset for ML-based molecular docking
von: Menestrel, Thomas Le, et al.
Veröffentlicht: (2024)

Self-Improving Pretraining: using post-trained models to pretrain better models
von: Tan, Ellen Xiaoqing, et al.
Veröffentlicht: (2026)

Prototype Guided Post-pretraining for Single-Cell Representation Learning
von: Weerasekara, Sachini, et al.
Veröffentlicht: (2026)

Curvature-Guided LoRA: Steering in the pretrained NTK subspace
von: Zheng, Frédéric, et al.
Veröffentlicht: (2026)

Next-token pretraining implies in-context learning
von: Riechers, Paul M., et al.
Veröffentlicht: (2025)

Large language models surpass domain-specific architectures for antepartum electronic fetal monitoring analysis
von: Wong, Sheng, et al.
Veröffentlicht: (2025)

Multitask finetuning and acceleration of chemical pretrained models for small molecule drug property prediction
von: Adrian, Matthew, et al.
Veröffentlicht: (2025)

Right Now, Wrong Then: Non-Stationary Direct Preference Optimization under Preference Drift
von: Son, Seongho, et al.
Veröffentlicht: (2024)

ECG-LLM -- training and evaluation of domain-specific large language models for electrocardiography
von: Ahrens, Lara, et al.
Veröffentlicht: (2025)

Question answering system of bridge design specification based on large language model
von: Zhang, Leye, et al.
Veröffentlicht: (2024)

Universal priors: solving empirical Bayes via Bayesian inference and pretraining
von: Cannella, Nick, et al.
Veröffentlicht: (2026)

The limits of bio-molecular modeling with large language models : a cross-scale evaluation
von: Xu, Yaxin, et al.
Veröffentlicht: (2026)

NukeBERT: A Pre-trained language model for Low Resource Nuclear Domain
von: Jain, Ayush, et al.
Veröffentlicht: (2020)

Physics-informed waveform inversion using pretrained wavefield neural operators
von: Huang, Xinquan, et al.
Veröffentlicht: (2025)

Towards a pretrained deep learning estimator of the Linfoot informational correlation
von: Berg, Stéphanie M. van den, et al.
Veröffentlicht: (2025)

TextGram: Towards a better domain-adaptive pretraining
von: Hiwarkhedkar, Sharayu, et al.
Veröffentlicht: (2024)

Boosting deep Reinforcement Learning using pretraining with Logical Options
von: Ye, Zihan, et al.
Veröffentlicht: (2026)

Text-guided multi-property molecular optimization with a diffusion language model
von: Xiong, Yida, et al.
Veröffentlicht: (2024)

Towards Healing the Blindness of Score Matching
von: Zhang, Mingtian, et al.
Veröffentlicht: (2022)

A foundation model of vision, audition, and language for in-silico neuroscience
von: d'Ascoli, Stéphane, et al.
Veröffentlicht: (2026)

Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers
von: Grzywaczewski, Jakub, et al.
Veröffentlicht: (2026)

SLTrain: a sparse plus low-rank approach for parameter and memory efficient pretraining
von: Han, Andi, et al.
Veröffentlicht: (2024)

Diffusive Gibbs Sampling
von: Chen, Wenlin, et al.
Veröffentlicht: (2024)

Unsupervised Parameter Efficient Source-free Post-pretraining
von: Jha, Abhishek, et al.
Veröffentlicht: (2025)

Do pretrained Transformers Learn In-Context by Gradient Descent?
von: Shen, Lingfeng, et al.
Veröffentlicht: (2023)