Buchumschlag

Breaking MLPerf Training: A Case Study on Optimizing BERT

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kim, Yongdeok, Ahn, Jaehyung, Kim, Myeongwoo, Choi, Changin, Kim, Heejae, Tuvshinjargal, Narankhuu, Lee, Seungwon, Zhang, Yanzi, Pei, Yuan, Linghu, Xiongzhan, Ma, Jingkun, Chen, Lin, Dai, Yuehua, Yoo, Sungjoo
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

vTrain: A Simulation Framework for Evaluating Cost-effective and Compute-optimal Large Language Model Training
von: Bang, Jehyeon, et al.
Veröffentlicht: (2023)

Gaussian Weight Sampling for Scalable, Efficient and Stable Pseudo-Quantization Training
von: Ahn, Myeonghwan, et al.
Veröffentlicht: (2025)

Phys3DGS: Physically-based 3D Gaussian Splatting for Inverse Rendering
von: Choi, Euntae, et al.
Veröffentlicht: (2024)

An Image Grid Can Be Worth a Video: Zero-shot Video Question Answering Using a VLM
von: Kim, Wonkyun, et al.
Veröffentlicht: (2024)

Soft Head Selection for Injecting ICL-Derived Task Embeddings
von: Park, Jungwon, et al.
Veröffentlicht: (2025)

Structural Reasoning Improves Molecular Understanding of LLM
von: Jang, Yunhui, et al.
Veröffentlicht: (2024)

Improving Chemical Understanding of LLMs via SMILES Parsing
von: Jang, Yunhui, et al.
Veröffentlicht: (2025)

MLPerf Automotive
von: Shojaei, Radoyeh, et al.
Veröffentlicht: (2025)

Non-split, alternating links bound unique Seifert surfaces in the 4-ball
von: Kim, Seungwon, et al.
Veröffentlicht: (2024)

Reasoning or Fluency? Dissecting Probabilistic Confidence in Best-of-N Selection
von: Kim, Hojin, et al.
Veröffentlicht: (2026)

SPRInG: Continual LLM Personalization via Selective Parametric Adaptation and Retrieval-Interpolated Generation
von: Kim, Seoyeon, et al.
Veröffentlicht: (2026)

Design of Wavelet Filter Banks for Any Dilation Using Extended Laplacian Pyramid Matrices
von: Hur, Youngmi, et al.
Veröffentlicht: (2024)

Training-free LLM Verification via Recycling Few-shot Examples
von: Lee, Dongseok, et al.
Veröffentlicht: (2025)

MetaMix: Meta-state Precision Searcher for Mixed-precision Activation Quantization
von: Kim, Han-Byul, et al.
Veröffentlicht: (2023)

LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss
von: Choi, Euntae, et al.
Veröffentlicht: (2026)

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache
von: Son, Donghyun, et al.
Veröffentlicht: (2025)

Can LLMs Generate Diverse Molecules? Towards Alignment with Structural Diversity
von: Jang, Hyosoon, et al.
Veröffentlicht: (2024)

INDIBATOR: Diverse and Fact-Grounded Individuality for Multi-Agent Debate in Molecular Discovery
von: Jang, Yunhui, et al.
Veröffentlicht: (2026)

Twenty Years of Innovation: SAINT Paving the Way for Nanotechnology and Breaking New Ground Through Convergence of Next‐Generation Technologies
von: Il Jeon, et al.
Veröffentlicht: (2025)

Query-Calibrated Segmental Admission for Descriptor-Agnostic LiDAR Loop Closure in Repetitive Environments
von: Kim, Jaehyun, et al.
Veröffentlicht: (2025)

Align to Misalign: Automatic LLM Jailbreak with Meta-Optimized LLM Judges
von: Koo, Hamin, et al.
Veröffentlicht: (2025)

Learning to Correct for QA Reasoning with Black-box LLMs
von: Kim, Jaehyung, et al.
Veröffentlicht: (2024)

Personalized Language Models via Privacy-Preserving Evolutionary Model Merging
von: Kim, Kyuyoung, et al.
Veröffentlicht: (2025)

Revisit What You See: Revealing Visual Semantics in Vision Tokens to Guide LVLM Decoding
von: Cho, Beomsik, et al.
Veröffentlicht: (2025)

EMCEE: Improving Multilingual Capability of LLMs via Bridging Knowledge and Reasoning with Extracted Synthetic Multilingual Context
von: Koo, Hamin, et al.
Veröffentlicht: (2025)

Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data
von: Kwak, Minseo, et al.
Veröffentlicht: (2026)

Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score
von: Hong, Jimyung, et al.
Veröffentlicht: (2026)

Enhancing Instruction Following of LLMs via Activation Steering with Dynamic Rejection
von: Kang, Minjae, et al.
Veröffentlicht: (2026)

Few-shot Personalization of LLMs with Mis-aligned Responses
von: Kim, Jaehyung, et al.
Veröffentlicht: (2024)

TiTok: Transfer Token-level Knowledge via Contrastive Excess to Transplant LoRA
von: Jung, Chanjoo, et al.
Veröffentlicht: (2025)

InterPol: De-anonymizing LM Arena via Interpolated Preference Learning
von: Cho, Minsung, et al.
Veröffentlicht: (2026)

Twenty Years of Innovation: SAINT Paving the Way for Nanotechnology and Breaking New Ground Through Convergence of Next‐Generation Technologies (Adv. Mater. 26/2025)
von: Il Jeon, et al.
Veröffentlicht: (2025)

IM-BERT: Enhancing Robustness of BERT through the Implicit Euler Method
von: Kim, Mihyeon, et al.
Veröffentlicht: (2025)

Orthogonal Negative Guidance in Attention Feature Space for Text-to-Image Generation
von: Ko, Jungmin, et al.
Veröffentlicht: (2026)

A Practical Gated Recurrent Transformer Network Incorporating Multiple Fusions for Video Denoising
von: Guo, Kai, et al.
Veröffentlicht: (2024)

Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
von: Changin, Choi, et al.
Veröffentlicht: (2024)

Rotate, Clip, and Partition: Towards W2A4KV4 Quantization by Integrating Rotation and Learnable Non-uniform Quantizer
von: Choi, Euntae, et al.
Veröffentlicht: (2025)

Baking Relightable NeRF for Real-time Direct/Indirect Illumination Rendering
von: Choi, Euntae, et al.
Veröffentlicht: (2024)

Grouped Sequency-arranged Rotation: Optimizing Rotation Transformation for Quantization for Free
von: Choi, Euntae, et al.
Veröffentlicht: (2025)

BERT-APC: A Reference-free Framework for Automatic Pitch Correction via Musical Context Inference
von: Kim, Sungjae, et al.
Veröffentlicht: (2025)