Buchumschlag

Spectra: Rethinking Optimizers for LLMs Under Spectral Anisotropy

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Huang, Zhendong, Cao, Hengjie, Dong, Fang, Huang, Ruijun, Chen, Mengyi, Yang, Yifeng, Zhang, Xin, Chen, Anrui, Dong, Mingzhi, Wang, Yujiang, Hou, Jinlong, Lv, Qin, Dick, Robert P., Cheng, Yuan, Yang, Fan, Lu, Tun, Shang, Li
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SD-MoE: Spectral Decomposition for Effective Expert Specialization
von: Huang, Ruijun, et al.
Veröffentlicht: (2026)

Metis: Training LLMs with FP4 Quantization
von: Cao, Hengjie, et al.
Veröffentlicht: (2025)

Multi-Head Attention as a Source of Catastrophic Forgetting in MoE Transformers
von: Chen, Anrui, et al.
Veröffentlicht: (2026)

The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training
von: Cao, Hengjie, et al.
Veröffentlicht: (2026)

Dispelling the Curse of Singularities in Neural Network Optimizations
von: Cao, Hengjie, et al.
Veröffentlicht: (2026)

Denoising Reuse: Exploiting Inter-frame Motion Consistency for Efficient Video Latent Generation
von: Wang, Chenyu, et al.
Veröffentlicht: (2024)

Train Faster, Perform Better: Modular Adaptive Training in Over-Parameterized Models
von: Shi, Yubin, et al.
Veröffentlicht: (2024)

Continuity of Weighted Dirac Spectra
von: Qiu, Zixuan, et al.
Veröffentlicht: (2026)

Medical records condensation: a roadmap towards healthcare data democratisation
von: Wang, Yujiang, et al.
Veröffentlicht: (2023)

Non-Diffracting Beams for Near-Field Millimeter-Wave Communications: Advantage Regimes Under Aperture and Blockage Constraints
von: Qin, Yifeng, et al.
Veröffentlicht: (2025)

Enabling and Enacting: Interplay of Agency and Emotions in the Learning Experiences of Successful EFL Learners
von: Hengjie Chen, et al.
Veröffentlicht: (2025)

All Circuits Lead to Rome: Rethinking Functional Anisotropy in Circuit and Sheaf Discovery for LLMs
von: Chen, Xi, et al.
Veröffentlicht: (2026)

Meerkat: A Distributed Reactive Programming Language with Live Updates
von: Zhong, Heng, et al.
Veröffentlicht: (2024)

Skyrmion Motion in Ferrimagnets Driven by Magnetic Anisotropy Gradient
von: Huan Xu, et al.
Veröffentlicht: (2024)

Beyond Spectral Similarity: How to Distinguish Polymorphs with Similar Solid‐State Circular Dichroism Anisotropy Spectra?
von: Marcin Górecki, et al.
Veröffentlicht: (2025)

Bayesian experimental design: grouped geometric pooled posterior via ensemble Kalman methods
von: Yang, Huchen, et al.
Veröffentlicht: (2026)

Pro3D-Editor : A Progressive-Views Perspective for Consistent and Precise 3D Editing
von: Zheng, Yang, et al.
Veröffentlicht: (2025)

Probing CLIP's Comprehension of 360-Degree Textual and Visual Semantics
von: Wang, Hai, et al.
Veröffentlicht: (2026)

Decoding the Single-peaked HI Spectra of Low Redshift Post-starburst Galaxies
von: Huang, Qifeng, et al.
Veröffentlicht: (2025)

Power Spectra of Velocity Fluctuations in Granular Heap Flow
von: Yu, ShuChang, et al.
Veröffentlicht: (2025)

SpectraLLM: Uncovering the Ability of LLMs for Molecular Structure Elucidation from Multi-Spectral Data
von: Su, Yunyue, et al.
Veröffentlicht: (2025)

Scalable learning of macroscopic stochastic dynamics
von: Chen, Mengyi, et al.
Veröffentlicht: (2025)

High-Quality Data Augmentation for Low-Resource NMT: Combining a Translation Memory, a GAN Generator, and Filtering
von: Liu, Hengjie, et al.
Veröffentlicht: (2024)

BrainNPT: Pre-training of Transformer networks for brain network classification
von: Hu, Jinlong, et al.
Veröffentlicht: (2023)

Improved Focus on Hard Samples for Lung Nodule Detection
von: Chen, Yujiang, et al.
Veröffentlicht: (2024)

Time-optimal Qubit Reset via Environmental Spectral Structure
von: Huang, Hong-Bo, et al.
Veröffentlicht: (2026)

Rethinking Multiple Instance Learning: Developing an Instance-Level Classifier via Weakly-Supervised Self-Training
von: Ma, Yingfan, et al.
Veröffentlicht: (2024)

A Local Information Aggregation based Multi-Agent Reinforcement Learning for Robot Swarm Dynamic Task Allocation
von: Lv, Yang, et al.
Veröffentlicht: (2024)

HGFormer: A Hierarchical Graph Transformer Framework for Two-Stage Colonel Blotto Games via Reinforcement Learning
von: Lv, Yang, et al.
Veröffentlicht: (2025)

Adaptive H∞$$ {H}_{\infty } $$ Control of Switched Cyber‐Physical Systems Under Bilateral Cyber‐Attacks
von: Linlin Hou, et al.
Veröffentlicht: (2025)

Learning Macroscopic Dynamics from Partial Microscopic Observations
von: Chen, Mengyi, et al.
Veröffentlicht: (2024)

Rethinking Repetition Problems of LLMs in Code Generation
von: Dong, Yihong, et al.
Veröffentlicht: (2025)

AMG: Avatar Motion Guided Video Generation
von: Yang, Zhangsihao, et al.
Veröffentlicht: (2024)

Introducing Environmental Constraints to Grasping Strategies for Paper-Like Flexible Materials Using a Soft Gripper
von: Dong, Yi, et al.
Veröffentlicht: (2026)

Generation of Novel Natural Products by Disrupting Azaphilone Synthesis in E23Y-1A.
von: Chang, Wenjun, et al.
Veröffentlicht: (2026)

Testing Correlation in Graphs by Counting Bounded Degree Motifs
von: Huang, Dong, et al.
Veröffentlicht: (2025)

Information-Theoretic and Computational Limits of Correlation Detection under Graph Sampling
von: Huang, Dong, et al.
Veröffentlicht: (2026)

Sample Complexity of Correlation Detection in the Gaussian Wigner Model
von: Huang, Dong, et al.
Veröffentlicht: (2025)

Spectra and eigenspaces of non-normal Cayley graphs
von: Chen, Yang, et al.
Veröffentlicht: (2025)

Spatio-Temporal Attention Graph Neural Network for Remaining Useful Life Prediction
von: Huang, Zhixin, et al.
Veröffentlicht: (2024)