Buchumschlag

In-Context Learning State Vector with Inner and Momentum Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Dongfang, Liu, Zhenyu, Hu, Xinshuo, Sun, Zetian, Hu, Baotian, Zhang, Min
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CMT: A Memory Compression Method for Continual Knowledge Learning of Large Language Models
von: Li, Dongfang, et al.
Veröffentlicht: (2024)

Improving Attributed Text Generation of Large Language Models via Preference Learning
von: Li, Dongfang, et al.
Veröffentlicht: (2024)

Improving Value-based Process Verifier via Low-Cost Variance Reduction
von: Sun, Zetian, et al.
Veröffentlicht: (2025)

Is On-Policy Data always the Best Choice for Direct Preference Optimization-based LM Alignment?
von: Sun, Zetian, et al.
Veröffentlicht: (2025)

Improving Value-based Process Verifier via Structural Prior Injection
von: Sun, Zetian, et al.
Veröffentlicht: (2025)

Stabilizing Long-term Multi-turn Reinforcement Learning with Gated Rewards
von: Sun, Zetian, et al.
Veröffentlicht: (2025)

Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning
von: Chen, Zhuoen, et al.
Veröffentlicht: (2026)

Take Off the Training Wheels Progressive In-Context Learning for Effective Alignment
von: Liu, Zhenyu, et al.
Veröffentlicht: (2025)

LycheeCluster: Efficient Long-Context Inference with Structure-Aware Chunking and Hierarchical KV Indexing
von: Li, Dongfang, et al.
Veröffentlicht: (2026)

FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG
von: Zhao, Xinping, et al.
Veröffentlicht: (2024)

Separate the Wheat from the Chaff: Model Deficiency Unlearning via Parameter-Efficient Module Operation
von: Hu, Xinshuo, et al.
Veröffentlicht: (2023)

Does the Generator Mind its Contexts? An Analysis of Generative Model Faithfulness under Context Transfer
von: Hu, Xinshuo, et al.
Veröffentlicht: (2024)

LycheeDecode: Accelerating Long-Context LLM Inference via Hybrid-Head Sparse Decoding
von: Lin, Gang, et al.
Veröffentlicht: (2026)

Temporal Knowledge Question Answering via Abstract Reasoning Induction
von: Chen, Ziyang, et al.
Veröffentlicht: (2023)

SelectIT: Selective Instruction Tuning for LLMs via Uncertainty-Aware Self-Reflection
von: Liu, Liangxin, et al.
Veröffentlicht: (2024)

VisionGraph: Leveraging Large Multimodal Models for Graph Theory Problems in Visual Context
von: Li, Yunxin, et al.
Veröffentlicht: (2024)

Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage and Sharing in LLMs
von: Li, Yunxin, et al.
Veröffentlicht: (2023)

KaLM-Embedding: Superior Training Data Brings A Stronger Embedding Model
von: Hu, Xinshuo, et al.
Veröffentlicht: (2025)

WindowsWorld: A Process-Centric Benchmark of Autonomous GUI Agents in Professional Cross-Application Environments
von: Li, Jinchao, et al.
Veröffentlicht: (2026)

Beyond Chunking: Discourse-Aware Hierarchical Retrieval for Long Document Question Answering
von: Chen, Huiyao, et al.
Veröffentlicht: (2025)

VideoVista: A Versatile Benchmark for Video Understanding and Reasoning
von: Li, Yunxin, et al.
Veröffentlicht: (2024)

Learning to Extract Rational Evidence via Reinforcement Learning for Retrieval-Augmented Generation
von: Zhao, Xinping, et al.
Veröffentlicht: (2025)

Uni-MoE-2.0-Omni: Scaling Language-Centric Omnimodal Large Model with Advanced MoE, Training and Data
von: Li, Yunxin, et al.
Veröffentlicht: (2025)

KaLM-Embedding-V2: Superior Training Techniques and Data Inspire A Versatile Embedding Model
von: Zhao, Xinping, et al.
Veröffentlicht: (2025)

A Prompt-Based Knowledge Graph Foundation Model for Universal In-Context Reasoning
von: Cui, Yuanning, et al.
Veröffentlicht: (2024)

Distributional Alignment as a Criterion for Designing Task Vectors in In-Context Learning
von: Kwon, Jihoon, et al.
Veröffentlicht: (2026)

In-Context Sharpness as Alerts: An Inner Representation Perspective for Hallucination Mitigation
von: Chen, Shiqi, et al.
Veröffentlicht: (2024)

How Far Can In-Context Alignment Go? Exploring the State of In-Context Alignment
von: Huang, Heyan, et al.
Veröffentlicht: (2024)

Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation
von: Wang, Zhengbo, et al.
Veröffentlicht: (2026)

Vector-ICL: In-context Learning with Continuous Vector Representations
von: Zhuang, Yufan, et al.
Veröffentlicht: (2024)

Uni-DPO: A Unified Paradigm for Dynamic Preference Optimization of LLMs
von: Peng, Shangpin, et al.
Veröffentlicht: (2025)

Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts
von: Li, Yunxin, et al.
Veröffentlicht: (2024)

Debiasing LLMs by Masking Unfairness-Driving Attention Heads
von: Han, Tingxu, et al.
Veröffentlicht: (2025)

FocusLLM: Precise Understanding of Long Context by Dynamic Condensing
von: Li, Zhenyu, et al.
Veröffentlicht: (2024)

Quantized Embedding Vectors for Controllable Diffusion Language Models
von: Kang, Cheng, et al.
Veröffentlicht: (2024)

LLM Factoscope: Uncovering LLMs' Factual Discernment through Inner States Analysis
von: He, Jinwen, et al.
Veröffentlicht: (2023)

Self-Instructed Derived Prompt Generation Meets In-Context Learning: Unlocking New Potential of Black-Box LLMs
von: Li, Zhuo, et al.
Veröffentlicht: (2024)

Towards Faithful Explanations for Text Classification with Robustness Improvement and Explanation Guided Training
von: Li, Dongfang, et al.
Veröffentlicht: (2023)

Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification
von: Hu, Yuxuan, et al.
Veröffentlicht: (2024)

M-GRPO: Stabilizing Self-Supervised Reinforcement Learning for Large Language Models with Momentum-Anchored Policy Optimization
von: Bai, Bizhe, et al.
Veröffentlicht: (2025)