Buchumschlag

LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Peng, Liangzu, Elenter, Juan, Agterberg, Joshua, Ribeiro, Alejandro, Vidal, René
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

RanPAC: Random Projections and Pre-trained Models for Continual Learning
von: McDonnell, Mark D., et al.
Veröffentlicht: (2023)

Mathematics of Continual Learning
von: Peng, Liangzu, et al.
Veröffentlicht: (2025)

A High-Dimensional Statistical Theory for Convex and Nonconvex Matrix Sensing
von: Agterberg, Joshua, et al.
Veröffentlicht: (2025)

Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation
von: Elenter, Juan, et al.
Veröffentlicht: (2023)

Recovery Guarantees for Continual Learning of Dependent Tasks: Memory, Data-Dependent Regularization, and Data-Dependent Weights
von: Peng, Liangzu, et al.
Veröffentlicht: (2026)

Near-Optimal Solutions of Constrained Learning Problems
von: Elenter, Juan, et al.
Veröffentlicht: (2024)

Scalable 3D Registration via Truncated Entry-wise Absolute Residuals
von: Huang, Tianyu, et al.
Veröffentlicht: (2024)

Statistical Inference for Low-Rank Tensors: Heteroskedasticity, Subgaussianity, and Applications
von: Agterberg, Joshua, et al.
Veröffentlicht: (2024)

Statistical Inference for Linear Functions of Eigenvectors with Small Eigengaps
von: Agterberg, Joshua
Veröffentlicht: (2023)

Nonparametric two-sample hypothesis testing for low-rank random graphs of differing sizes
von: Agterberg, Joshua, et al.
Veröffentlicht: (2020)

Lo sublime en Ran de Akira Kurosawa
von: Alfonso Cisneros
Veröffentlicht: (2005)

An Overview of Asymptotic Normality in Stochastic Blockmodels: Cluster Analysis and Inference
von: Agterberg, Joshua, et al.
Veröffentlicht: (2023)

C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models
von: Zhang, Xin, et al.
Veröffentlicht: (2025)

A Convex Relaxation Approach to Generalization Analysis for Parallel Positively Homogeneous Networks
von: Tadipatri, Uday Kiran Reddy, et al.
Veröffentlicht: (2024)

Block Acceleration Without Momentum: On Optimal Stepsizes of Block Gradient Descent for Least-Squares
von: Peng, Liangzu, et al.
Veröffentlicht: (2024)

Estimating Higher-Order Mixed Memberships via the $\ell_{2,\infty}$ Tensor Perturbation Bound
von: Agterberg, Joshua, et al.
Veröffentlicht: (2022)

Nonconvex Linear System Identification with Minimal State Representation
von: Tadipatri, Uday Kiran Reddy, et al.
Veröffentlicht: (2025)

Feasible Learning
von: Ramirez, Juan, et al.
Veröffentlicht: (2025)

SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations
von: Liang, Buyun, et al.
Veröffentlicht: (2025)

RanDeS: Randomized Delta Superposition for Multi-Model Compression
von: Zhou, Hangyu, et al.
Veröffentlicht: (2025)

LOST: Low-rank and Sparse Pre-training for Large Language Models
von: Li, Jiaxi, et al.
Veröffentlicht: (2025)

Practical Continual Forgetting for Pre-trained Vision Models
von: Zhao, Hongbo, et al.
Veröffentlicht: (2025)

DiNo and RanBu: Lightweight Predictions from Shallow Random Forests
von: Santos, Tiago Mendonça dos, et al.
Veröffentlicht: (2025)

RanAT4BIE: Random Adversarial Training for Biomedical Information Extraction
von: Chen, Jian, et al.
Veröffentlicht: (2025)

Guarantees of a Preconditioned Subgradient Algorithm for Overparameterized Asymmetric Low-rank Matrix Recovery
von: Giampouras, Paris, et al.
Veröffentlicht: (2024)

RoseLoRA: Row and Column-wise Sparse Low-rank Adaptation of Pre-trained Language Model for Knowledge Editing and Fine-tuning
von: Wang, Haoyu, et al.
Veröffentlicht: (2024)

RanSOM: Second-Order Momentum with Randomized Scaling for Constrained and Unconstrained Optimization
von: Chayti, El Mahdi
Veröffentlicht: (2026)

PreLoRA: Hybrid Pre-training of Vision Transformers with Full Training and Low-Rank Adapters
von: Thapa, Krishu K, et al.
Veröffentlicht: (2025)

Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA
von: Qin, Laiqiao, et al.
Veröffentlicht: (2024)

Joint Spectral Clustering in Multilayer Degree-Corrected Stochastic Blockmodels
von: Agterberg, Joshua, et al.
Veröffentlicht: (2022)

PAC Guarantees for Reinforcement Learning: Sample Complexity, Coverage, and Structure
von: Steier, Joshua
Veröffentlicht: (2026)

Linear Gradient Prediction with Control Variates
von: Ciosek, Kamil, et al.
Veröffentlicht: (2025)

Efficient Continual Pre-training of LLMs for Low-resource Languages
von: Nag, Arijit, et al.
Veröffentlicht: (2024)

Randomness Helps Rigor: A Probabilistic Learning Rate Scheduler Bridging Theory and Deep Learning Practice
von: Devapriya, Dahlia, et al.
Veröffentlicht: (2024)

Accelerating Globally Optimal Consensus Maximization in Geometric Vision
von: Zhang, Xinyue, et al.
Veröffentlicht: (2023)

Overcoming Brittleness in Pareto-Optimal Learning-Augmented Algorithms
von: Angelopoulos, Spyros, et al.
Veröffentlicht: (2024)

BiPFT: Binary Pre-trained Foundation Transformer with Low-rank Estimation of Binarization Residual Polynomials
von: Xing, Xingrun, et al.
Veröffentlicht: (2023)

Cross-domain Random Pre-training with Prototypes for Reinforcement Learning
von: Liu, Xin, et al.
Veröffentlicht: (2023)

Bridging Speech and Text: Enhancing ASR with Pinyin-to-Character Pre-training in LLMs
von: Yuhang, Yang, et al.
Veröffentlicht: (2024)

Pollen profile RANTOT, Ran Viken, Sweden
von: Digerfeldt, Gunnar
Veröffentlicht: (2009)