Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization
Fuente:
arXiv
Salvato in:
| Autori principali: | Liu, Weiyang, Qiu, Zeju, Feng, Yao, Xiu, Yuliang, Xue, Yuxuan, Yu, Longhui, Feng, Haiwen, Liu, Zhen, Heo, Juyeon, Peng, Songyou, Wen, Yandong, Black, Michael J., Weller, Adrian, Schölkopf, Bernhard |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2023
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Orthogonal Finetuning Made Scalable
di: Qiu, Zeju, et al.
Pubblicazione: (2025)
di: Qiu, Zeju, et al.
Pubblicazione: (2025)
Controlling Text-to-Image Diffusion by Orthogonal Finetuning
di: Qiu, Zeju, et al.
Pubblicazione: (2023)
di: Qiu, Zeju, et al.
Pubblicazione: (2023)
PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective
di: Huang, Yangyi, et al.
Pubblicazione: (2026)
di: Huang, Yangyi, et al.
Pubblicazione: (2026)
Can Large Language Models Understand Symbolic Graphics Programs?
di: Qiu, Zeju, et al.
Pubblicazione: (2024)
di: Qiu, Zeju, et al.
Pubblicazione: (2024)
POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation
di: Qiu, Zeju, et al.
Pubblicazione: (2026)
di: Qiu, Zeju, et al.
Pubblicazione: (2026)
Ghost on the Shell: An Expressive Representation of General 3D Shapes
di: Liu, Zhen, et al.
Pubblicazione: (2023)
di: Liu, Zhen, et al.
Pubblicazione: (2023)
Reparameterized LLM Training via Orthogonal Equivalence Transformation
di: Qiu, Zeju, et al.
Pubblicazione: (2025)
di: Qiu, Zeju, et al.
Pubblicazione: (2025)
Re-Thinking Inverse Graphics With Large Language Models
di: Kulits, Peter, et al.
Pubblicazione: (2024)
di: Kulits, Peter, et al.
Pubblicazione: (2024)
ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness
di: Li, Boqian, et al.
Pubblicazione: (2025)
di: Li, Boqian, et al.
Pubblicazione: (2025)
Rethinking Easy-to-Hard: Limits of Curriculum Learning in Post-Training for Deductive Reasoning
di: Mordig, Maximilian, et al.
Pubblicazione: (2026)
di: Mordig, Maximilian, et al.
Pubblicazione: (2026)
Symbolic Graphics Programming with Large Language Models
di: Chen, Yamei, et al.
Pubblicazione: (2025)
di: Chen, Yamei, et al.
Pubblicazione: (2025)
Pion: A Spectrum-Preserving Optimizer via Orthogonal Equivalence Transformation
di: Shi, Kexuan, et al.
Pubblicazione: (2026)
di: Shi, Kexuan, et al.
Pubblicazione: (2026)
Verbalized Machine Learning: Revisiting Machine Learning with Language Models
di: Xiao, Tim Z., et al.
Pubblicazione: (2024)
di: Xiao, Tim Z., et al.
Pubblicazione: (2024)
Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling
di: Xiao, Tim Z., et al.
Pubblicazione: (2025)
di: Xiao, Tim Z., et al.
Pubblicazione: (2025)
Estimation of Concept Explanations Should be Uncertainty Aware
di: Piratla, Vihari, et al.
Pubblicazione: (2023)
di: Piratla, Vihari, et al.
Pubblicazione: (2023)
Identifying Intervenable and Interpretable Features via Orthogonality Regularization
di: Miller, Moritz, et al.
Pubblicazione: (2026)
di: Miller, Moritz, et al.
Pubblicazione: (2026)
GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs
di: Gao, Gege, et al.
Pubblicazione: (2023)
di: Gao, Gege, et al.
Pubblicazione: (2023)
Towards Anatomically Plausible Human Image Generation via Synthetic Localized Preferences
di: Li, Bao, et al.
Pubblicazione: (2026)
di: Li, Bao, et al.
Pubblicazione: (2026)
PuzzleAvatar: Assembling 3D Avatars from Personal Albums
di: Xiu, Yuliang, et al.
Pubblicazione: (2024)
di: Xiu, Yuliang, et al.
Pubblicazione: (2024)
ChatHuman: Chatting about 3D Humans with Tools
di: Lin, Jing, et al.
Pubblicazione: (2024)
di: Lin, Jing, et al.
Pubblicazione: (2024)
Rigidity-Aware Geometric Pretraining for Protein Design and Conformational Ensembles
di: Ni, Zhanghan, et al.
Pubblicazione: (2026)
di: Ni, Zhanghan, et al.
Pubblicazione: (2026)
Renovating Names in Open-Vocabulary Segmentation Benchmarks
di: Huang, Haiwen, et al.
Pubblicazione: (2024)
di: Huang, Haiwen, et al.
Pubblicazione: (2024)
ChatGarment: Garment Estimation, Generation and Editing via Large Language Models
di: Bian, Siyuan, et al.
Pubblicazione: (2024)
di: Bian, Siyuan, et al.
Pubblicazione: (2024)
ButterflyQuant: Ultra-low-bit LLM Quantization through Learnable Orthogonal Butterfly Transforms
di: Xu, Bingxin, et al.
Pubblicazione: (2025)
di: Xu, Bingxin, et al.
Pubblicazione: (2025)
MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models
di: Yu, Longhui, et al.
Pubblicazione: (2023)
di: Yu, Longhui, et al.
Pubblicazione: (2023)
OMoE: Diversifying Mixture of Low-Rank Adaptation by Orthogonal Finetuning
di: Feng, Jinyuan, et al.
Pubblicazione: (2025)
di: Feng, Jinyuan, et al.
Pubblicazione: (2025)
Toward Human Understanding with Controllable Synthesis
di: Cuevas-Velasquez, Hanz, et al.
Pubblicazione: (2024)
di: Cuevas-Velasquez, Hanz, et al.
Pubblicazione: (2024)
Agentic Design of Compositional Machines
di: Zhang, Wenqian, et al.
Pubblicazione: (2025)
di: Zhang, Wenqian, et al.
Pubblicazione: (2025)
A diverse Multilingual News Headlines Dataset from around the World
di: Leeb, Felix, et al.
Pubblicazione: (2024)
di: Leeb, Felix, et al.
Pubblicazione: (2024)
Predicting 4D Hand Trajectory from Monocular Videos
di: Ye, Yufei, et al.
Pubblicazione: (2025)
di: Ye, Yufei, et al.
Pubblicazione: (2025)
Knowledge Augmented Finetuning Matters in both RAG and Agent Based Dialog Systems
di: Cai, Yucheng, et al.
Pubblicazione: (2025)
di: Cai, Yucheng, et al.
Pubblicazione: (2025)
Orthogonal Finetuning for Direct Preference Optimization
di: Yang, Chenxu, et al.
Pubblicazione: (2024)
di: Yang, Chenxu, et al.
Pubblicazione: (2024)
Streaming Autoregressive Video Generation via Diagonal Distillation
di: Liu, Jinxiu, et al.
Pubblicazione: (2026)
di: Liu, Jinxiu, et al.
Pubblicazione: (2026)
Your Finetuned Large Language Model is Already a Powerful Out-of-distribution Detector
di: Zhang, Andi, et al.
Pubblicazione: (2024)
di: Zhang, Andi, et al.
Pubblicazione: (2024)
Physics of Learning: A Lagrangian perspective to different learning paradigms
di: Guo, Siyuan, et al.
Pubblicazione: (2025)
di: Guo, Siyuan, et al.
Pubblicazione: (2025)
Text Style Transfer with Parameter-efficient LLM Finetuning and Round-trip Translation
di: Liu, Ruoxi, et al.
Pubblicazione: (2026)
di: Liu, Ruoxi, et al.
Pubblicazione: (2026)
InterDyn: Controllable Interactive Dynamics with Video Diffusion Models
di: Akkerman, Rick, et al.
Pubblicazione: (2024)
di: Akkerman, Rick, et al.
Pubblicazione: (2024)
Do LLMs estimate uncertainty well in instruction-following?
di: Heo, Juyeon, et al.
Pubblicazione: (2024)
di: Heo, Juyeon, et al.
Pubblicazione: (2024)
Rethinking Preference Alignment for Diffusion Models with Classifier-Free Guidance
di: Jiang, Zhou, et al.
Pubblicazione: (2026)
di: Jiang, Zhou, et al.
Pubblicazione: (2026)
Customizing Large Language Model Generation Style using Parameter-Efficient Finetuning
di: Liu, Xinyue, et al.
Pubblicazione: (2024)
di: Liu, Xinyue, et al.
Pubblicazione: (2024)
Documenti analoghi
-
Orthogonal Finetuning Made Scalable
di: Qiu, Zeju, et al.
Pubblicazione: (2025) -
Controlling Text-to-Image Diffusion by Orthogonal Finetuning
di: Qiu, Zeju, et al.
Pubblicazione: (2023) -
PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective
di: Huang, Yangyi, et al.
Pubblicazione: (2026) -
Can Large Language Models Understand Symbolic Graphics Programs?
di: Qiu, Zeju, et al.
Pubblicazione: (2024) -
POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation
di: Qiu, Zeju, et al.
Pubblicazione: (2026)