Buchumschlag

ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Qin, Xiaohan, Wang, Xiaoxing, Liao, Ning, Zhang, Cancheng, Zhang, Xiangdong, Feng, Mingquan, Wang, Jingzhi, Yan, Junchi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

JTok: On Token Embedding as another Axis of Scaling Law via Joint Token Self-modulation
von: Yang, Yebin, et al.
Veröffentlicht: (2026)

FineRMoE: Dimension Expansion for Finer-Grained Expert with Its Upcycling Approach
von: Liao, Ning, et al.
Veröffentlicht: (2026)

Boosting Order-Preserving and Transferability for Neural Architecture Search: a Joint Architecture Refined Search and Fine-tuning Approach
von: Zhang, Beichen, et al.
Veröffentlicht: (2024)

NITP: Next Implicit Token Prediction for LLM Pre-training
von: Zhang, Xiangdong, et al.
Veröffentlicht: (2026)

NTKMTL: Mitigating Task Imbalance in Multi-Task Learning from Neural Tangent Kernel Perspective
von: Qin, Xiaohan, et al.
Veröffentlicht: (2025)

EvoTok: A Unified Image Tokenizer via Residual Latent Evolution for Visual Understanding and Generation
von: Li, Yan, et al.
Veröffentlicht: (2026)

Token-level Data Selection for Safe LLM Fine-tuning
von: Li, Yanping, et al.
Veröffentlicht: (2026)

Disentangling Reasoning Tokens and Boilerplate Tokens For Language Model Fine-tuning
von: Ye, Ziang, et al.
Veröffentlicht: (2024)

Token Encoding for Semantic Recovery
von: Hu, Jingzhi, et al.
Veröffentlicht: (2026)

Semantic-aware Token Selection and Resource Optimization for Communication-efficient Split Federated Fine-tuning in Edge Intelligence
von: Qiang, Xianke, et al.
Veröffentlicht: (2026)

Explainable Token-level Noise Filtering for LLM Fine-tuning Datasets
von: Yang, Yuchen, et al.
Veröffentlicht: (2026)

Semantic-aware Adversarial Fine-tuning for CLIP
von: Zhang, Jiacheng, et al.
Veröffentlicht: (2026)

Towards More Diverse and Challenging Pre-training for Point Cloud Learning: Self-Supervised Cross Reconstruction with Decoupled Views
von: Zhang, Xiangdong, et al.
Veröffentlicht: (2025)

Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning
von: Wang, Guoli, et al.
Veröffentlicht: (2026)

Preference-grounded Token-level Guidance for Language Model Fine-tuning
von: Yang, Shentao, et al.
Veröffentlicht: (2023)

BudgetThinker: Empowering Budget-aware LLM Reasoning with Control Tokens
von: Wen, Hao, et al.
Veröffentlicht: (2025)

LeMo: Enabling LEss Token Involvement for MOre Context Fine-tuning
von: Wang, Tuowei, et al.
Veröffentlicht: (2025)

Towards Semantic Equivalence of Tokenization in Multimodal LLM
von: Wu, Shengqiong, et al.
Veröffentlicht: (2024)

PCP-MAE: Learning to Predict Centers for Point Masked Autoencoders
von: Zhang, Xiangdong, et al.
Veröffentlicht: (2024)

Joint Semantic-Channel Coding and Modulation for Token Communications
von: Ying, Jingkai, et al.
Veröffentlicht: (2025)

Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning
von: Pang, Jinlong, et al.
Veröffentlicht: (2025)

KO: Kinetics-inspired Neural Optimizer with PDE Simulation Approaches
von: Feng, Mingquan, et al.
Veröffentlicht: (2025)

Robust Reasoning via Dynamic Token Selection for Distribution-Aligned Self-Distillation
von: Zhang, Ruiqi, et al.
Veröffentlicht: (2026)

CrossEarth-SAR: A SAR-Centric and Billion-Scale Geospatial Foundation Model for Domain Generalizable Semantic Segmentation
von: Ye, Ziqi, et al.
Veröffentlicht: (2026)

Beyong Tokens: Item-aware Attention for LLM-based Recommendation
von: Zhang, Xiaokun, et al.
Veröffentlicht: (2026)

Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework
von: Wang, Shaobo, et al.
Veröffentlicht: (2023)

Efficient Reinforcement Learning with Semantic and Token Entropy for LLM Reasoning
von: Cao, Hongye, et al.
Veröffentlicht: (2025)

Memento: Fine-tuning LLM Agents without Fine-tuning LLMs
von: Zhou, Huichi, et al.
Veröffentlicht: (2025)

HELP: HyperNode Expansion and Logical Path-Guided Evidence Localization for Accurate and Efficient GraphRAG
von: Huang, Yuqi, et al.
Veröffentlicht: (2026)

Entropy-KL Divergence-based Token Masking: A Novel Approach for Selective Fine-tuning of Large Language Models
von: Liu, Qi, et al.
Veröffentlicht: (2026)

Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space
von: Li, Yan, et al.
Veröffentlicht: (2025)

Magic Tokens: Select Diverse Tokens for Multi-modal Object Re-Identification
von: Zhang, Pingping, et al.
Veröffentlicht: (2024)

TokenSeek: Memory Efficient Fine Tuning via Instance-Aware Token Ditching
von: Zeng, Runjia, et al.
Veröffentlicht: (2026)

MSL: Not All Tokens Are What You Need for Tuning LLM as a Recommender
von: Wang, Bohao, et al.
Veröffentlicht: (2025)

Extending Token Computation for LLM Reasoning
von: Liao, Bingli, et al.
Veröffentlicht: (2024)

MergeDNA: Context-aware Genome Modeling with Dynamic Tokenization through Token Merging
von: Li, Siyuan, et al.
Veröffentlicht: (2025)

PMSS: Pretrained Matrices Skeleton Selection for LLM Fine-tuning
von: Wang, Qibin, et al.
Veröffentlicht: (2024)

From Values to Tokens: An LLM-Driven Framework for Context-aware Time Series Forecasting via Symbolic Discretization
von: Tao, Xiaoyu, et al.
Veröffentlicht: (2025)

AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving
von: Jia, Xiaosong, et al.
Veröffentlicht: (2024)

Representation Learning with Semantic-aware Instance and Sparse Token Alignments
von: Bui, Phuoc-Nguyen, et al.
Veröffentlicht: (2026)