ScaleBITS: Scalable Bitwidth Search for Hardware-Aligned Mixed-Precision LLMs

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Li, Xinlin, Chou, Timothy, Fromm, Josh, Liu, Zichang, Pan, Yunjie, Fragouli, Christina
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

ICQuant: Index Coding enables Low-bit LLM Quantization
di: Li, Xinlin, et al.
Pubblicazione: (2025)

Bitwidth-Specific Logarithmic Arithmetic for Future Hardware-Accelerated Training
di: Hamad, Hassan, et al.
Pubblicazione: (2025)

On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks
di: Huang, Wei, et al.
Pubblicazione: (2023)

StableQAT: Stable Quantization-Aware Training at Ultra-Low Bitwidths
di: Chen, Tianyi, et al.
Pubblicazione: (2026)

QLLM: Accurate and Efficient Low-Bitwidth Quantization for Large Language Models
di: Liu, Jing, et al.
Pubblicazione: (2023)

Balancing Fidelity and Plasticity: Aligning Mixed-Precision Fine-Tuning with Linguistic Hierarchies
di: Zhou, Changhai, et al.
Pubblicazione: (2025)

Aligning Tree-Search Policies with Fixed Token Budgets in Test-Time Scaling of LLMs
di: Miyamoto, Sora, et al.
Pubblicazione: (2026)

PQS (Prune, Quantize, and Sort): Low-Bitwidth Accumulation of Dot Products in Neural Network Computations
di: Natesh, Vikas, et al.
Pubblicazione: (2025)

AnyBCQ: Hardware Efficient Flexible Binary-Coded Quantization for Multi-Precision LLMs
di: Park, Gunho, et al.
Pubblicazione: (2025)

APreQEL: Adaptive Mixed Precision Quantization For Edge LLMs
di: Bouzouad, Meriem, et al.
Pubblicazione: (2026)

Quantifying the Capabilities of LLMs across Scale and Precision
di: Badshah, Sher, et al.
Pubblicazione: (2024)

Revisiting Tree Search for LLMs: Gumbel and Sequential Halving for Budget-Scalable Reasoning
di: Ugadiarov, Leonid, et al.
Pubblicazione: (2026)

Aligning CodeLLMs with Direct Preference Optimization
di: Miao, Yibo, et al.
Pubblicazione: (2024)

Scale When Needed: Adaptive Neuron-level Mixed Precision Quantization Aware Training
di: Varshney, Ayush K., et al.
Pubblicazione: (2026)

Multi-Objective Hardware Aware Neural Architecture Search using Hardware Cost Diversity
di: Sinha, Nilotpal, et al.
Pubblicazione: (2024)

MicroMix: Efficient Mixed-Precision Quantization with Microscaling Formats for Large Language Models
di: Liu, Wenyuan, et al.
Pubblicazione: (2025)

AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs
di: Kang, Feiyang, et al.
Pubblicazione: (2024)

Every Bit Counts: A Theoretical Study of Precision-Expressivity Tradeoffs in Quantized Transformers
di: Chakrabarti, Sayak, et al.
Pubblicazione: (2026)

STaMP: Sequence Transformation and Mixed Precision for Low-Precision Activation Quantization
di: Federici, Marco, et al.
Pubblicazione: (2025)

Mixed-Precision Federated Learning via Multi-Precision Over-The-Air Aggregation
di: Yuan, Jinsheng, et al.
Pubblicazione: (2024)

Divide-Verify-Refine: Can LLMs Self-Align with Complex Instructions?
di: Zhang, Xianren, et al.
Pubblicazione: (2024)

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
di: Yuan, Jingyang, et al.
Pubblicazione: (2025)

A Metric Driven Approach to Mixed Precision Training
di: Rasquinha, Mitchelle, et al.
Pubblicazione: (2024)

Mixed-Precision Quantization for Language Models: Techniques and Prospects
di: Rakka, Mariam, et al.
Pubblicazione: (2025)

MoR: Mixture Of Representations For Mixed-Precision Training
di: Su, Bor-Yiing, et al.
Pubblicazione: (2025)

HAWX: A Hardware-Aware FrameWork for Fast and Scalable ApproXimation of DNNs
di: Nazari, Samira, et al.
Pubblicazione: (2026)

MixPE: Quantization and Hardware Co-design for Efficient LLM Inference
di: Zhang, Yu, et al.
Pubblicazione: (2024)

Scalable Generative Game Engine: Breaking the Resolution Wall via Hardware-Algorithm Co-Design
di: Zeng, Wei, et al.
Pubblicazione: (2026)

Comprehensive Description of Uncertainty in Measurement for Representation and Propagation with Scalable Precision
di: Darijani, Ali, et al.
Pubblicazione: (2026)

HATA: Trainable and Hardware-Efficient Hash-Aware Top-k Attention for Scalable Large Model Inference
di: Gong, Ping, et al.
Pubblicazione: (2025)

Scalable Meta-Learning via Mixed-Mode Differentiation
di: Kemaev, Iurii, et al.
Pubblicazione: (2025)

MixKVQ: Query-Aware Mixed-Precision KV Cache Quantization for Long-Context Reasoning
di: Zhang, Tao, et al.
Pubblicazione: (2025)

On Learning Informative Trajectory Embeddings for Imitation, Classification and Regression
di: Ge, Zichang, et al.
Pubblicazione: (2025)

Weak-to-Strong Search: Align Large Language Models via Searching over Small Language Models
di: Zhou, Zhanhui, et al.
Pubblicazione: (2024)

Aligning LLMs with Biomedical Knowledge using Balanced Fine-Tuning
di: Tang, Zhenchao, et al.
Pubblicazione: (2025)

Steering LLMs via Scalable Interactive Oversight
di: Zhou, Enyu, et al.
Pubblicazione: (2026)

ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks
di: You, Haoran, et al.
Pubblicazione: (2022)

A Unified Framework for Generative Data Augmentation: A Comprehensive Survey
di: Chen, Yunhao, et al.
Pubblicazione: (2023)

The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation
di: Liu, Mingyi
Pubblicazione: (2026)

MixGCN: Scalable GCN Training by Mixture of Parallelism and Mixture of Accelerators
di: Wan, Cheng, et al.
Pubblicazione: (2025)