Copertina

In-Context Learning (and Unlearning) of Length Biases

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Schoch, Stephanie, Ji, Yangfeng
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Monte Carlo Sampling for Analyzing In-Context Examples
di: Schoch, Stephanie, et al.
Pubblicazione: (2025)

Context-aware Biases for Length Extrapolation
di: Veisi, Ali, et al.
Pubblicazione: (2025)

A Comparative Study of Learning Paradigms in Large Language Models via Intrinsic Dimension
di: Janapati, Saahith, et al.
Pubblicazione: (2024)

Unsupervised Concept Vector Extraction for Bias Control in LLMs
di: Cyberey, Hannah, et al.
Pubblicazione: (2025)

Do Prevalent Bias Metrics Capture Allocational Harms from LLMs?
di: Cyberey, Hannah, et al.
Pubblicazione: (2024)

Mitigating Biases in Language Models via Bias Unlearning
di: Liu, Dianqing, et al.
Pubblicazione: (2025)

White-Box Sensitivity Auditing with Steering Vectors
di: Cyberey, Hannah, et al.
Pubblicazione: (2026)

Addressing Both Statistical and Causal Gender Fairness in NLP Models
di: Chen, Hannah, et al.
Pubblicazione: (2024)

Mitigating Social Biases in Language Models through Unlearning
di: Dige, Omkar, et al.
Pubblicazione: (2024)

Syntactic Blind Spots: How Misalignment Leads to LLMs Mathematical Errors
di: Williamson, Dane, et al.
Pubblicazione: (2025)

Evaluating Biases in Context-Dependent Health Questions
di: Levy, Sharon, et al.
Pubblicazione: (2024)

Base of RoPE Bounds Context Length
di: Men, Xin, et al.
Pubblicazione: (2024)

Eliminating Biased Length Reliance of Direct Preference Optimization via Down-Sampled KL Divergence
di: Lu, Junru, et al.
Pubblicazione: (2024)

Think Longer to Explore Deeper: Learn to Explore In-Context via Length-Incentivized Reinforcement Learning
di: Wang, Futing, et al.
Pubblicazione: (2026)

Positional Biases Shift as Inputs Approach Context Window Limits
di: Veseli, Blerta, et al.
Pubblicazione: (2025)

Flora: Effortless Context Construction to Arbitrary Length and Scale
di: Chen, Tianxiang, et al.
Pubblicazione: (2025)

Bootstrap Your Own Context Length
di: Wang, Liang, et al.
Pubblicazione: (2024)

Conditional Language Learning with Context
di: Zhang, Xiao, et al.
Pubblicazione: (2024)

ParallelComp: Parallel Long-Context Compressor for Length Extrapolation
di: Xiong, Jing, et al.
Pubblicazione: (2025)

Why Does the Effective Context Length of LLMs Fall Short?
di: An, Chenxin, et al.
Pubblicazione: (2024)

Extensible Embedding: A Flexible Multipler For LLM's Context Length
di: Shao, Ninglu, et al.
Pubblicazione: (2024)

Squeezed Attention: Accelerating Long Context Length LLM Inference
di: Hooper, Coleman, et al.
Pubblicazione: (2024)

Intrinsic Entropy of Context Length Scaling in LLMs
di: Shi, Jingzhe, et al.
Pubblicazione: (2025)

Context Biasing for Pronunciation-Orthography Mismatch in Automatic Speech Recognition
di: Huber, Christian, et al.
Pubblicazione: (2025)

An Empirical Study on the Characteristics of Bias upon Context Length Variation for Bangla
di: Sadhu, Jayanta, et al.
Pubblicazione: (2024)

Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges
di: Li, Weiyuan, et al.
Pubblicazione: (2025)

Using Context to Improve Word Segmentation
di: Hu, Stephanie, et al.
Pubblicazione: (2025)

Estimating Optimal Context Length for Hybrid Retrieval-augmented Multi-document Summarization
di: Pratapa, Adithya, et al.
Pubblicazione: (2025)

IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context
di: Sahoo, Nihar Ranjan, et al.
Pubblicazione: (2024)

LLMs are Biased Evaluators But Not Biased for Retrieval Augmented Generation
di: Chen, Yen-Shan, et al.
Pubblicazione: (2024)

Exclusive Unlearning
di: Sasaki, Mutsumi, et al.
Pubblicazione: (2026)

Answer When Needed, Forget When Not: Language Models Pretend to Forget via In-Context Knowledge Unlearning
di: Takashiro, Shota, et al.
Pubblicazione: (2024)

SELF: Self-Extend the Context Length With Logistic Growth Function
di: Dang, Phat Thanh, et al.
Pubblicazione: (2025)

Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length
di: Ma, Xuezhe, et al.
Pubblicazione: (2024)

Separating Semantic Competition from Context Length in RAG Reading
di: Repantis, Vyzantinos, et al.
Pubblicazione: (2026)

Beyond Length: Quantifying Long-Range Information for Long-Context LLM Pretraining Data
di: Deng, Haoran, et al.
Pubblicazione: (2025)

Unshackling Context Length: An Efficient Selective Attention Approach through Query-Key Compression
di: Wang, Haoyu, et al.
Pubblicazione: (2025)

Modeling LLM Unlearning as an Asymmetric Two-Task Learning Problem
di: Xiao, Zeguan, et al.
Pubblicazione: (2026)

Context Discipline and Performance Correlation: Analyzing LLM Performance and Quality Degradation Under Varying Context Lengths
di: Ponnusamy, Ahilan Ayyachamy Nadar, et al.
Pubblicazione: (2025)

Context Length Alone Hurts LLM Performance Despite Perfect Retrieval
di: Du, Yufeng, et al.
Pubblicazione: (2025)