Buchumschlag

PhoneLM:an Efficient and Capable Small Language Model Family through Principled Pre-training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yi, Rongjie, Li, Xiang, Xie, Weikai, Lu, Zhenyan, Wang, Chenghua, Zhou, Ao, Wang, Shangguang, Zhang, Xiwen, Xu, Mengwei
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Small Language Models: Survey, Measurements, and Insights
von: Lu, Zhenyan, et al.
Veröffentlicht: (2024)

EdgeMoE: Empowering Sparse Large Language Models on Mobile Devices
von: Yi, Rongjie, et al.
Veröffentlicht: (2023)

DroidCall: A Dataset for LLM-powered Android Intent Invocation
von: Xie, Weikai, et al.
Veröffentlicht: (2024)

FwdLLM: Efficient FedLLM using Forward Gradient
von: Xu, Mengwei, et al.
Veröffentlicht: (2023)

FedRDMA: Communication-Efficient Cross-Silo Federated LLM via Chunked RDMA Transmission
von: Zhang, Zeling, et al.
Veröffentlicht: (2024)

FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts
von: Mei, Hanzi, et al.
Veröffentlicht: (2024)

MobiEdit: Resource-efficient Knowledge Editing for Personalized On-device LLMs
von: Lu, Zhenyan, et al.
Veröffentlicht: (2025)

Quant.npu: Enabling Efficient Mobile NPU Inference for on-device LLMs via Fully Static Quantization
von: Zhang, Jinghe, et al.
Veröffentlicht: (2026)

LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
von: Li, Yanan, et al.
Veröffentlicht: (2025)

B-cos LM: Efficiently Transforming Pre-trained Language Models for Improved Explainability
von: Wang, Yifan, et al.
Veröffentlicht: (2025)

SA-WavLM: Speaker-Aware Self-Supervised Pre-training for Mixture Speech
von: Lin, Jingru, et al.
Veröffentlicht: (2024)

How Does Sequence Modeling Architecture Influence Base Capabilities of Pre-trained Language Models? Exploring Key Architecture Design Principles to Avoid Base Capabilities Degradation
von: Lu, Xin, et al.
Veröffentlicht: (2025)

Deciphering the Enigma of Satellite Computing with COTS Devices: Measurement and Analysis
von: Xing, Ruolin, et al.
Veröffentlicht: (2024)

Recall: Empowering Multimodal Embedding for Edge Devices
von: Cai, Dongqi, et al.
Veröffentlicht: (2024)

A Survey of Resource-efficient LLM and Multimodal Foundation Models
von: Xu, Mengwei, et al.
Veröffentlicht: (2024)

Black-box Membership Inference Attacks on the Pre-training Data of Image-generation Models
von: Qi, Tao, et al.
Veröffentlicht: (2026)

IMU-1: Sample-Efficient Pre-training of Small Language Models
von: Grigorev, George
Veröffentlicht: (2026)

Noise-Mitigated Variational Quantum Eigensolver with Pre-training and Zero-Noise Extrapolation
von: Sun, Wanqi, et al.
Veröffentlicht: (2025)

More is Different: Prototyping and Analyzing a New Form of Edge Server with Massive Mobile SoCs
von: Zhang, Li, et al.
Veröffentlicht: (2022)

OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration
von: Wang, Shaobo, et al.
Veröffentlicht: (2026)

Accelerating Mobile Language Model via Speculative Decoding and NPU-Coordinated Execution
von: Chen, Zhiyang, et al.
Veröffentlicht: (2025)

LoRA-C: Parameter-Efficient Fine-Tuning of Robust CNN for IoT Devices
von: Ding, Chuntao, et al.
Veröffentlicht: (2024)

nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales
von: Yao, Yiqun, et al.
Veröffentlicht: (2023)

SlimLM: An Efficient Small Language Model for On-Device Document Assistance
von: Pham, Thang M., et al.
Veröffentlicht: (2024)

NEVLP: Noise-Robust Framework for Efficient Vision-Language Pre-training
von: Tao, Yiyi, et al.
Veröffentlicht: (2024)

ReaderLM-v2: Small Language Model for HTML to Markdown and JSON
von: Wang, Feng, et al.
Veröffentlicht: (2025)

Transformer-Lite: High-efficiency Deployment of Large Language Models on Mobile Phone GPUs
von: Li, Luchang, et al.
Veröffentlicht: (2024)

Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
von: Abdin, Marah, et al.
Veröffentlicht: (2024)

Tiny-Critic RAG: Empowering Agentic Fallback with Parameter-Efficient Small Language Models
von: Wu, Yichao, et al.
Veröffentlicht: (2026)

Efficient Continual Pre-training for Building Domain Specific Large Language Models
von: Xie, Yong, et al.
Veröffentlicht: (2023)

OpusLM: A Family of Open Unified Speech Language Models
von: Tian, Jinchuan, et al.
Veröffentlicht: (2025)

RLOMM: An Efficient and Robust Online Map Matching Framework with Reinforcement Learning
von: Chen, Minxiao, et al.
Veröffentlicht: (2025)

Elastic On-Device LLM Service
von: Yin, Wangsong, et al.
Veröffentlicht: (2024)

From Earth to Space: A First Deployment of 5G Core Network on Satellite
von: Xing, Ruolin, et al.
Veröffentlicht: (2022)

Accelerating Vertical Federated Learning
von: Cai, Dongqi, et al.
Veröffentlicht: (2022)

Are Transformers in Pre-trained LM A Good ASR Encoder? An Empirical Study
von: An, Keyu, et al.
Veröffentlicht: (2024)

Machine Unlearning of Pre-trained Large Language Models
von: Yao, Jin, et al.
Veröffentlicht: (2024)

NetMamba: Efficient Network Traffic Classification via Pre-training Unidirectional Mamba
von: Wang, Tongze, et al.
Veröffentlicht: (2024)

Neural Network–Based Precipitable Water Vapor Estimation Integrating Ground Observations and GFS Data
von: Chenghua Xie
Veröffentlicht: (2026)

WeakSupCon: Weakly Supervised Contrastive Learning for Encoder Pre-training
von: Zhang, Bodong, et al.
Veröffentlicht: (2025)