Copertina

Increasing transformer token length with a Maximum Entropy Principle Method

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autore principale:	Cukier, R. I.
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

The Principle of Uncertain Maximum Entropy
di: Bogert, Kenneth, et al.
Pubblicazione: (2023)

Bayesian Hierarchical Models and the Maximum Entropy Principle
di: Brewer, Brendon J.
Pubblicazione: (2026)

GQ-VAE: A gated quantized VAE for learning variable length tokens
di: Datta, Theo, et al.
Pubblicazione: (2025)

The Maximum von Neumann Entropy Principle: Theory and Applications in Machine Learning
di: Wu, Youqi, et al.
Pubblicazione: (2026)

Hierarchical Maximum Entropy via the Renormalization Group
di: Asadi, Amir R.
Pubblicazione: (2025)

On Maximum Entropy Linear Feature Inversion
di: Baggenstoss, Paul M
Pubblicazione: (2024)

Maximum Entropy Hindsight Experience Replay
di: Crowder, Douglas C., et al.
Pubblicazione: (2024)

MEP-Net: Generating Solutions to Scientific Problems with Limited Knowledge by Maximum Entropy Principle
di: Yang, Wuyue, et al.
Pubblicazione: (2024)

Not all tokens are needed(NAT): token efficient reinforcement learning
di: Sang, Hejian, et al.
Pubblicazione: (2026)

Statistics-Informed Parameterized Quantum Circuit via Maximum Entropy Principle for Data Science and Finance
di: Zhuang, Xi-Ning, et al.
Pubblicazione: (2024)

Mind Your Entropy: From Maximum Entropy to Trajectory Entropy-Constrained RL
di: Zhan, Guojian, et al.
Pubblicazione: (2025)

Maximum Entropy Exploration Without the Rollouts
di: Adamczyk, Jacob, et al.
Pubblicazione: (2026)

Failure Modes of Maximum Entropy RLHF
di: Çağatan, Ömer Veysel, et al.
Pubblicazione: (2025)

Evidence on the Regularisation Properties of Maximum-Entropy Reinforcement Learning
di: Hosseinkhan-Boucher, Rémy, et al.
Pubblicazione: (2025)

Maximum Entropy Semi-Supervised Inverse Reinforcement Learning
di: Audiffren, Julien, et al.
Pubblicazione: (2026)

MGD: Moment Guided Diffusion for Maximum Entropy Generation
di: Lempereur, Etienne, et al.
Pubblicazione: (2026)

DIME:Diffusion-Based Maximum Entropy Reinforcement Learning
di: Celik, Onur, et al.
Pubblicazione: (2025)

Clip-Low Increases Entropy and Clip-High Decreases Entropy in Reinforcement Learning of Large Language Models
di: Park, Jaesung R., et al.
Pubblicazione: (2025)

Maximum Entropy On-Policy Actor-Critic via Entropy Advantage Estimation
di: Choe, Jean Seong Bjorn, et al.
Pubblicazione: (2024)

Sourcerer: Sample-based Maximum Entropy Source Distribution Estimation
di: Vetter, Julius, et al.
Pubblicazione: (2024)

Provable Maximum Entropy Manifold Exploration via Diffusion Models
di: De Santi, Riccardo, et al.
Pubblicazione: (2025)

Maximum-Entropy Exploration with Future State-Action Visitation Measures
di: Bolland, Adrien, et al.
Pubblicazione: (2026)

Quantum Maximum Entropy Inference and Hamiltonian Learning
di: Gao, Minbo, et al.
Pubblicazione: (2024)

When Maximum Entropy Misleads Policy Optimization
di: Zhang, Ruipeng, et al.
Pubblicazione: (2025)

Maximum Entropy Reinforcement Learning with Diffusion Policy
di: Dong, Xiaoyi, et al.
Pubblicazione: (2025)

Maximum Entropy Heterogeneous-Agent Reinforcement Learning
di: Liu, Jiarong, et al.
Pubblicazione: (2023)

Next-token pretraining implies in-context learning
di: Riechers, Paul M., et al.
Pubblicazione: (2025)

Where is the signal in tokenization space?
di: Geh, Renato Lui, et al.
Pubblicazione: (2024)

Physics in Next-token Prediction
di: An, Hongjun, et al.
Pubblicazione: (2024)

Unified token representations for sequential decision models
di: Tian, Zhuojing, et al.
Pubblicazione: (2025)

Nutrition Facts, Drug Facts, and Model Facts: Putting AI Ethics into Practice in Gun Violence Research
di: Zhu, Jessica, et al.
Pubblicazione: (2024)

Deriving the Scaled-Dot-Function via Maximum Likelihood Estimation and Maximum Entropy Approach
di: Ma, Jiyong
Pubblicazione: (2025)

Maximum Entropy Reinforcement Learning via Energy-Based Normalizing Flow
di: Chao, Chen-Hao, et al.
Pubblicazione: (2024)

Scalable Maximum Entropy Population Synthesis via Persistent Contrastive Divergence
di: Esposti, Mirko Degli
Pubblicazione: (2026)

Next-token prediction capacity: general upper bounds and a lower bound for transformers
di: Madden, Liam, et al.
Pubblicazione: (2024)

Reward-Punishment Reinforcement Learning with Maximum Entropy
di: Wang, Jiexin, et al.
Pubblicazione: (2024)

Out-of-Distribution Detection using Maximum Entropy Coding
di: Abolfazli, Mojtaba, et al.
Pubblicazione: (2024)

ELEMENT: Episodic and Lifelong Exploration via Maximum Entropy
di: Li, Hongming, et al.
Pubblicazione: (2024)

Off-Policy Maximum Entropy RL with Future State and Action Visitation Measures
di: Bolland, Adrien, et al.
Pubblicazione: (2024)

Enhancing Diversity in Parallel Agents: A Maximum State Entropy Exploration Story
di: De Paola, Vincenzo, et al.
Pubblicazione: (2025)