Copertina

Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhang, Zhen, Yang, Changyi, Xia, Zijie, Yang, Zhen, Liu, Chengzhi, Weng, Zhaotiao, Liu, Yepeng, Chen, Haobo, Pan, Jin, Zhao, Chenyang, Bu, Yuheng, Patel, Alkesh, Gan, Zhe, Wang, Xin Eric
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Adaptive Text Watermark for Large Language Models
di: Liu, Yepeng, et al.
Pubblicazione: (2024)

In-Context Watermarks for Large Language Models
di: Liu, Yepeng, et al.
Pubblicazione: (2025)

Advancing Egocentric Video Question Answering with Multimodal Large Language Models
di: Patel, Alkesh, et al.
Pubblicazione: (2025)

A Reinforcement Learning Framework for Robust and Secure LLM Watermarking
di: An, Li, et al.
Pubblicazione: (2025)

Defending LLM Watermarking Against Spoofing Attacks with Contrastive Representation Learning
di: An, Li, et al.
Pubblicazione: (2025)

Dataset Protection via Watermarked Canaries in Retrieval-Augmented LLMs
di: Liu, Yepeng, et al.
Pubblicazione: (2025)

Length-MAX Tokenizer for Language Models
di: Dong, Dong, et al.
Pubblicazione: (2025)

A Benchmark for Databases with Varying Value Lengths
di: Liyanage, Danushka, et al.
Pubblicazione: (2025)

Iterative Length-Regularized Direct Preference Optimization: A Case Study on Improving 7B Language Models to GPT-4 Level
di: Liu, Jie, et al.
Pubblicazione: (2024)

Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models
di: Zhang, Xiang, et al.
Pubblicazione: (2025)

Efficient Pretraining Length Scaling
di: Wu, Bohong, et al.
Pubblicazione: (2025)

Joint Optimization of Pilot Length, Pilot Assignment, and Power Allocation for Cell-free MIMO Systems with Graph Neural Networks
di: Peng, Yao, et al.
Pubblicazione: (2025)

Distributional Information Embedding: A Framework for Multi-bit Watermarking
di: He, Haiyun, et al.
Pubblicazione: (2025)

Theoretically Grounded Framework for LLM Watermarking: A Distribution-Adaptive Approach
di: He, Haiyun, et al.
Pubblicazione: (2024)

An Algorithm for Computing the Capacity of Symmetrized KL Information for Discrete Channels
di: Chen, Haobo, et al.
Pubblicazione: (2024)

Reward Models Inherit Value Biases from Pretraining
di: Christian, Brian, et al.
Pubblicazione: (2026)

Length Desensitization in Direct Preference Optimization
di: Liu, Wei, et al.
Pubblicazione: (2024)

Can GRPO Help LLMs Transcend Their Pretraining Origin?
di: Ni, Kangqi, et al.
Pubblicazione: (2025)

Position: LLM Watermarking Should Align Stakeholders' Incentives for Practical Adoption
di: Liu, Yepeng, et al.
Pubblicazione: (2025)

ConvexBench: Can LLMs Recognize Convex Functions?
di: Liu, Yepeng, et al.
Pubblicazione: (2026)

Length-Factoriality and Pure Irreducibility
di: Bu, Alan, et al.
Pubblicazione: (2022)

TokenPure: Watermark Removal through Tokenized Appearance and Structural Guidance
di: Yang, Pei, et al.
Pubblicazione: (2025)

Auditing Agent Harness Safety
di: Liu, Chengzhi, et al.
Pubblicazione: (2026)

Pretrain Value, Not Reward: Decoupled Value Policy Optimization
di: Huang, Chenghua, et al.
Pubblicazione: (2025)

Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length
di: Ma, Xuezhe, et al.
Pubblicazione: (2024)

Various Lengths, Constant Speed: Efficient Language Modeling with Lightning Attention
di: Qin, Zhen, et al.
Pubblicazione: (2024)

Improving Variable-Length Generation in Diffusion Language Models via Length Regularization
di: Cheng, Zicong, et al.
Pubblicazione: (2026)

Do Language Models Think Consistently? A Study of Value Preferences Across Varying Response Lengths
di: Nair, Inderjeet, et al.
Pubblicazione: (2025)

On the Value of Tokeniser Pretraining in Physics Foundation Models
di: Sotoudeh, Hadi, et al.
Pubblicazione: (2026)

LLM Serving Optimization with Variable Prefill and Decode Lengths
di: Wang, Meixuan, et al.
Pubblicazione: (2025)

Fundamental Trade-Offs in Multi-Bit Watermarking of Stochastic Processes
di: He, Haiyun, et al.
Pubblicazione: (2026)

TokenShapley: Token Level Context Attribution with Shapley Value
di: Xiao, Yingtai, et al.
Pubblicazione: (2025)

Finite Correlation Length Scaling of Disorder Parameter at Quantum Criticality
di: Xu, Wen-Tao, et al.
Pubblicazione: (2024)

Sets of Lengths of Integer-Valued Polynomials on Prime Ideals of Principal Ideal Domains
di: Kansiime, Zaituni, et al.
Pubblicazione: (2026)

An Extreme Value Theory Approach for Understanding Queue Length Dynamics in Adaptive Corridors
di: Mustavee, Shakib, et al.
Pubblicazione: (2024)

Length Matters: Length-Aware Transformer for Temporal Sentence Grounding
di: Wang, Yifan, et al.
Pubblicazione: (2025)

Length-Unbiased Sequence Policy Optimization: Revealing and Controlling Response Length Variation in RLVR
di: Liu, Fanfan, et al.
Pubblicazione: (2026)

DVMap: Fine-Grained Pluralistic Value Alignment via High-Consensus Demographic-Value Mapping
di: Zhu, Pengyun, et al.
Pubblicazione: (2026)

Learning Variable-Length Tokenization for Generative Recommendation
di: Wang, Minhao, et al.
Pubblicazione: (2026)

Tokenizing Semantic Segmentation with Run Length Encoding
di: Singh, Abhineet, et al.
Pubblicazione: (2026)