Buchumschlag

State Rank Dynamics in Linear Attention LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sun, Ao, Zhang, Hongtao, Zhou, Heng, Ma, Yixuan, Qin, Yiran, Su, Tongrui, Liu, Yan, Ma, Zhanyu, Xu, Jun, Gao, Jiuchong, Hao, Jinghua, He, Renqing
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Silence the Judge: Reinforcement Learning with Self-Verifier via Latent Geometric Clustering
von: Zhang, Nonghai, et al.
Veröffentlicht: (2026)

LTS-VoiceAgent: A Listen-Think-Speak Framework for Efficient Streaming Voice Interaction via Semantic Triggering and Incremental Reasoning
von: Zou, Wenhao, et al.
Veröffentlicht: (2026)

Efficient Paths and Dense Rewards: Probabilistic Flow Reasoning for Large Language Models
von: Liu, Yan, et al.
Veröffentlicht: (2026)

GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR
von: Zhang, Jiaying, et al.
Veröffentlicht: (2026)

Fine-Mem: Fine-Grained Feedback Alignment for Long-Horizon Memory Management
von: Ma, Weitao, et al.
Veröffentlicht: (2026)

UserLM-R1: Modeling Human Reasoning in User Language Models with Multi-Reward Reinforcement Learning
von: Zhang, Feng, et al.
Veröffentlicht: (2026)

Long-term Task-oriented Agent: Proactive Long-term Intent Maintenance in Dynamic Environments
von: Shi, Qinglong, et al.
Veröffentlicht: (2026)

MUSE: Multi-Domain Chinese User Simulation via Self-Evolving Profiles and Rubric-Guided Alignment
von: Liu, Zihao, et al.
Veröffentlicht: (2026)

Hidden States Know Where Reasoning Diverges: Credit Assignment via Span-Level Wasserstein Distance
von: Chen, Xinzhu, et al.
Veröffentlicht: (2026)

VoiceAgentEval: A Dual-Dimensional Benchmark for Expert-Level Intelligent Voice-Agent Evaluation of Xbench's Professional-Aligned Series
von: Xu, Pengyu, et al.
Veröffentlicht: (2025)

From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning
von: Niu, Wenzhe, et al.
Veröffentlicht: (2026)

Elucidating the Design Space of Decay in Linear Attention
von: Qin, Zhen, et al.
Veröffentlicht: (2025)

Linear Attention Sequence Parallelism
von: Sun, Weigao, et al.
Veröffentlicht: (2024)

Measurement-Constrained Sampling for Text-Prompted Blind Face Restoration
von: Li, Wenjie, et al.
Veröffentlicht: (2025)

Self-Supervised Selective-Guided Diffusion Model for Old-Photo Face Restoration
von: Li, Wenjie, et al.
Veröffentlicht: (2025)

Dual-domain Modulation Network for Lightweight Image Super-Resolution
von: Li, Wenjie, et al.
Veröffentlicht: (2025)

An Integral Equation Method for Linear Two-Point Boundary Value Systems
von: Zhang, Tianze, et al.
Veröffentlicht: (2025)

Breaking the Low-Rank Dilemma of Linear Attention
von: Fan, Qihang, et al.
Veröffentlicht: (2024)

FourierSR: A Fourier Token-based Plugin for Efficient Image Super-Resolution
von: Li, Wenjie, et al.
Veröffentlicht: (2025)

SpecGen: Neural Spectral BRDF Generation via Spectral-Spatial Tri-plane Aggregation
von: Jin, Zhenyu, et al.
Veröffentlicht: (2025)

Harvesting Efficient On-Demand Order Pooling from Skilled Couriers: Enhancing Graph Representation Learning for Refining Real-time Many-to-One Assignments
von: Liang, Yile, et al.
Veröffentlicht: (2024)

Benchmarking Semantic Segmentation Models via Appearance and Geometry Attribute Editing
von: Yin, Zijin, et al.
Veröffentlicht: (2026)

Multiplicity one for equivariant min-max theory in prescribed homology classes
von: Wang, Tongrui
Veröffentlicht: (2026)

Equivariant min-max hypersurface in $G$-manifolds with positive Ricci curvature
von: Wang, Tongrui
Veröffentlicht: (2023)

HGRN2: Gated Linear RNNs with State Expansion
von: Qin, Zhen, et al.
Veröffentlicht: (2024)

Reduction of $ε$-expanded Feynman integrals
von: Ma, Yan-Qing, et al.
Veröffentlicht: (2025)

The Key to State Reduction in Linear Attention: A Rank-based Perspective
von: Nazari, Philipp, et al.
Veröffentlicht: (2026)

HFFO ‐ ACRP : Hybrid Fruit Fly Optimization‐Ant Colony Routing Protocol
von: Lijun Hao, et al.
Veröffentlicht: (2025)

MixTex: Unambiguous Recognition Should Not Rely Solely on Real Data
von: Luo, Renqing, et al.
Veröffentlicht: (2024)

Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs at Test Time
von: Han, Yixuan, et al.
Veröffentlicht: (2025)

PMNI: Pose-free Multi-view Normal Integration for Reflective and Textureless Surface Reconstruction
von: Pei, Mingzhi, et al.
Veröffentlicht: (2025)

Seeing Through the Rain: Resolving High-Frequency Conflicts in Deraining and Super-Resolution via Diffusion Guidance
von: Li, Wenjie, et al.
Veröffentlicht: (2025)

Detailed Object Description with Controllable Dimensions
von: Wang, Xinran, et al.
Veröffentlicht: (2024)

LASP-2: Rethinking Sequence Parallelism for Linear Attention and Its Hybrid
von: Sun, Weigao, et al.
Veröffentlicht: (2025)

Multimodal Conditional Information Bottleneck for Generalizable AI-Generated Image Detection
von: Qin, Haotian, et al.
Veröffentlicht: (2025)

IncreFA: Breaking the Static Wall of Generative Model Attribution
von: Qin, Haotian, et al.
Veröffentlicht: (2026)

Efficient Face Super-Resolution via Wavelet-based Feature Enhancement Network
von: Li, Wenjie, et al.
Veröffentlicht: (2024)

Cyanogroup‐Modified PEO‐Based Electrolytes Achieve High Free Al 3+ Concentration and Improve the Transport Dynamics in Solid‐State Aluminum‐Ion Batteries
von: Hongquan Pan, et al.
Veröffentlicht: (2024)

Amorphization Engineering via Multi‐Anion Doping Toward Fast Li + Transport and Conformable Interfaces for Stable Solid‐State Batteries
von: Haiming Su, et al.
Veröffentlicht: (2026)

RURANET++: An Unsupervised Learning Method for Diabetic Macular Edema Based on SCSE Attention Mechanisms and Dynamic Multi-Projection Head Clustering
von: Yang, Wei, et al.
Veröffentlicht: (2025)