Salvato in:
| Autori principali: | Xiao, Chaojun, Zhang, Zhengyan, Song, Chenyang, Jiang, Dazhi, Yao, Feng, Han, Xu, Wang, Xiaozhi, Wang, Shuo, Huang, Yufei, Lin, Guanyu, Chen, Yingfa, Zhao, Weilin, Tu, Yuge, Zhong, Zexuan, Zhang, Ao, Si, Chenglei, Moo, Khai Hao, Zhao, Chenyang, Chen, Huimin, Lin, Yankai, Liu, Zhiyuan, Shang, Jingbo, Sun, Maosong |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | https://arxiv.org/abs/2409.02877 |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
BlockFFN: Towards End-Side Acceleration-Friendly Mixture-of-Experts with Chunk-Level Activation Sparsity
di: Song, Chenyang, et al.
Pubblicazione: (2025)
di: Song, Chenyang, et al.
Pubblicazione: (2025)
DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices
di: Song, Chenyang, et al.
Pubblicazione: (2026)
di: Song, Chenyang, et al.
Pubblicazione: (2026)
ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs
di: Zhang, Zhengyan, et al.
Pubblicazione: (2024)
di: Zhang, Zhengyan, et al.
Pubblicazione: (2024)
Robust and Scalable Model Editing for Large Language Models
di: Chen, Yingfa, et al.
Pubblicazione: (2024)
di: Chen, Yingfa, et al.
Pubblicazione: (2024)
InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory
di: Xiao, Chaojun, et al.
Pubblicazione: (2024)
di: Xiao, Chaojun, et al.
Pubblicazione: (2024)
Sparsing Law: Towards Large Language Models with Greater Activation Sparsity
di: Luo, Yuqi, et al.
Pubblicazione: (2024)
di: Luo, Yuqi, et al.
Pubblicazione: (2024)
Exploring the Benefit of Activation Sparsity in Pre-training
di: Zhang, Zhengyan, et al.
Pubblicazione: (2024)
di: Zhang, Zhengyan, et al.
Pubblicazione: (2024)
Multi-Modal Multi-Granularity Tokenizer for Chu Bamboo Slip Scripts
di: Chen, Yingfa, et al.
Pubblicazione: (2024)
di: Chen, Yingfa, et al.
Pubblicazione: (2024)
Variator: Accelerating Pre-trained Models with Plug-and-Play Compression Modules
di: Xiao, Chaojun, et al.
Pubblicazione: (2023)
di: Xiao, Chaojun, et al.
Pubblicazione: (2023)
$\infty$Bench: Extending Long Context Evaluation Beyond 100K Tokens
di: Zhang, Xinrong, et al.
Pubblicazione: (2024)
di: Zhang, Xinrong, et al.
Pubblicazione: (2024)
Beyond the Turn-Based Game: Enabling Real-Time Conversations with Duplex Models
di: Zhang, Xinrong, et al.
Pubblicazione: (2024)
di: Zhang, Xinrong, et al.
Pubblicazione: (2024)
Cost-Optimal Grouped-Query Attention for Long-Context Modeling
di: Chen, Yingfa, et al.
Pubblicazione: (2025)
di: Chen, Yingfa, et al.
Pubblicazione: (2025)
H-Neurons: On the Existence, Impact, and Origin of Hallucination-Associated Neurons in LLMs
di: Gao, Cheng, et al.
Pubblicazione: (2025)
di: Gao, Cheng, et al.
Pubblicazione: (2025)
CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices
di: Zhao, Weilin, et al.
Pubblicazione: (2023)
di: Zhao, Weilin, et al.
Pubblicazione: (2023)
Representation Learning for Natural Language Processing
di: Liu, Zhiyuan, et al.
Pubblicazione: (2020)
di: Liu, Zhiyuan, et al.
Pubblicazione: (2020)
Student-in-the-Loop Chain-of-Thought Distillation via Generation-Time Selection
di: He, Chaoqun, et al.
Pubblicazione: (2026)
di: He, Chaoqun, et al.
Pubblicazione: (2026)
Enhancing Legal Case Retrieval via Scaling High-quality Synthetic Query-Candidate Pairs
di: Gao, Cheng, et al.
Pubblicazione: (2024)
di: Gao, Cheng, et al.
Pubblicazione: (2024)
Stuffed Mamba: Oversized States Lead to the Inability to Forget
di: Chen, Yingfa, et al.
Pubblicazione: (2024)
di: Chen, Yingfa, et al.
Pubblicazione: (2024)
Correlation and Navigation in the Vocabulary Key Representation Space of Language Models
di: Peng, Letian, et al.
Pubblicazione: (2024)
di: Peng, Letian, et al.
Pubblicazione: (2024)
APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs
di: Huang, Yuxiang, et al.
Pubblicazione: (2025)
di: Huang, Yuxiang, et al.
Pubblicazione: (2025)
Densing Law of LLMs
di: Xiao, Chaojun, et al.
Pubblicazione: (2024)
di: Xiao, Chaojun, et al.
Pubblicazione: (2024)
ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
di: Song, Chenyang, et al.
Pubblicazione: (2024)
di: Song, Chenyang, et al.
Pubblicazione: (2024)
Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding
di: Zhao, Weilin, et al.
Pubblicazione: (2024)
di: Zhao, Weilin, et al.
Pubblicazione: (2024)
Point-to-Region Loss for Semi-Supervised Point-Based Crowd Counting
di: Lin, Wei, et al.
Pubblicazione: (2025)
di: Lin, Wei, et al.
Pubblicazione: (2025)
Modular PE-Structured Learning for Cross-Task Wireless Communications
di: Duan, Yuxuan, et al.
Pubblicazione: (2025)
di: Duan, Yuxuan, et al.
Pubblicazione: (2025)
HiHPQ: Hierarchical Hyperbolic Product Quantization for Unsupervised Image Retrieval
di: Qiu, Zexuan, et al.
Pubblicazione: (2024)
di: Qiu, Zexuan, et al.
Pubblicazione: (2024)
Effects of cold joints on concrete mechanical properties and tunnel service performance
di: Chenyang Zhao, et al.
Pubblicazione: (2025)
di: Chenyang Zhao, et al.
Pubblicazione: (2025)
Gradient-Driven Graph Neural Networks for Learning Digital and Hybrid Precoder
di: Zhang, Lin, et al.
Pubblicazione: (2025)
di: Zhang, Lin, et al.
Pubblicazione: (2025)
Win in Chinese Courts
di: Zhang, Chenyang
Pubblicazione: (2023)
di: Zhang, Chenyang
Pubblicazione: (2023)
A Distributed Gradient-based Algorithm for Optimization Problems with Coupled Equality Constraints
di: Qiu, Chenyang, et al.
Pubblicazione: (2025)
di: Qiu, Chenyang, et al.
Pubblicazione: (2025)
Non-Ergodic Convergence Algorithms for Distributed Consensus and Coupling-Constrained Optimization
di: Qiu, Chenyang, et al.
Pubblicazione: (2025)
di: Qiu, Chenyang, et al.
Pubblicazione: (2025)
CFDBench: A Large-Scale Benchmark for Machine Learning Methods in Fluid Dynamics
di: Luo, Yining, et al.
Pubblicazione: (2023)
di: Luo, Yining, et al.
Pubblicazione: (2023)
Seq1F1B: Efficient Sequence-Level Pipeline Parallelism for Large Language Model Training
di: Sun, Ao, et al.
Pubblicazione: (2024)
di: Sun, Ao, et al.
Pubblicazione: (2024)
BurstAttention: An Efficient Distributed Attention Framework for Extremely Long Sequences
di: Sun, Ao, et al.
Pubblicazione: (2024)
di: Sun, Ao, et al.
Pubblicazione: (2024)
BurstEngine: an Efficient Distributed Framework for Training Transformers on Extremely Long Sequences of over 1M Tokens
di: Sun, Ao, et al.
Pubblicazione: (2025)
di: Sun, Ao, et al.
Pubblicazione: (2025)
Safety assessment of shield tunnels with initially mechanically damaged concrete in water‐rich strata
di: Chenyang Zhao, et al.
Pubblicazione: (2025)
di: Chenyang Zhao, et al.
Pubblicazione: (2025)
StateX: Enhancing RNN Recall via Post-training State Expansion
di: Shen, Xingyu, et al.
Pubblicazione: (2025)
di: Shen, Xingyu, et al.
Pubblicazione: (2025)
Can We Hear from Events? Generating Speech from Event Camera
di: Fang, Jingping, et al.
Pubblicazione: (2026)
di: Fang, Jingping, et al.
Pubblicazione: (2026)
KARL: Mitigating Hallucinations in LLMs via Knowledge-Boundary-Aware Reinforcement Learning
di: Gao, Cheng, et al.
Pubblicazione: (2026)
di: Gao, Cheng, et al.
Pubblicazione: (2026)
Predicting Emergent Abilities with Infinite Resolution Evaluation
di: Hu, Shengding, et al.
Pubblicazione: (2023)
di: Hu, Shengding, et al.
Pubblicazione: (2023)
Documenti analoghi
-
BlockFFN: Towards End-Side Acceleration-Friendly Mixture-of-Experts with Chunk-Level Activation Sparsity
di: Song, Chenyang, et al.
Pubblicazione: (2025) -
DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices
di: Song, Chenyang, et al.
Pubblicazione: (2026) -
ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs
di: Zhang, Zhengyan, et al.
Pubblicazione: (2024) -
Robust and Scalable Model Editing for Large Language Models
di: Chen, Yingfa, et al.
Pubblicazione: (2024) -
InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory
di: Xiao, Chaojun, et al.
Pubblicazione: (2024)