Buchumschlag

Heterogeneity in Formal Linguistic Competence of Language Models: Is Data the Real Bottleneck?

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Renduchintala, H S V N S Kowndinya, Bhatia, Sumit
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SMART: Submodular Data Mixture Strategy for Instruction Tuning
von: Renduchintala, H S V N S Kowndinya, et al.
Veröffentlicht: (2024)

POSIX: A Prompt Sensitivity Index For Large Language Models
von: Chatterjee, Anwoy, et al.
Veröffentlicht: (2024)

On the Effect of Instruction Tuning Loss on Generalization
von: Chatterjee, Anwoy, et al.
Veröffentlicht: (2025)

Tied-Lora: Enhancing parameter efficiency of LoRA with weight tying
von: Renduchintala, Adithya, et al.
Veröffentlicht: (2023)

Between Circuits and Chomsky: Pre-pretraining on Formal Languages Imparts Linguistic Biases
von: Hu, Michael Y., et al.
Veröffentlicht: (2025)

Language Bottleneck Models for Qualitative Knowledge State Modeling
von: Berthon, Antonin, et al.
Veröffentlicht: (2025)

Consistency Is the Key: Detecting Hallucinations in LLM Generated Text By Checking Inconsistencies About Key Facts
von: Gupta, Raavi, et al.
Veröffentlicht: (2025)

Perceptions of Linguistic Uncertainty by Language Models and Humans
von: Belem, Catarina G, et al.
Veröffentlicht: (2024)

Linguistic Blind Spots of Large Language Models
von: Cheng, Jiali, et al.
Veröffentlicht: (2025)

Policy Learning with a Language Bottleneck
von: Srivastava, Megha, et al.
Veröffentlicht: (2024)

Are Small Language Models Ready to Compete with Large Language Models for Practical Applications?
von: Sinha, Neelabh, et al.
Veröffentlicht: (2024)

Uncovering Competency Gaps in Large Language Models and Their Benchmarks
von: Bohacek, Maty, et al.
Veröffentlicht: (2025)

Regurgitative Training: The Value of Real Data in Training Large Language Models
von: Zhang, Jinghui, et al.
Veröffentlicht: (2024)

LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety
von: Yang, Junxiao, et al.
Veröffentlicht: (2026)

ABBEL: LLM Agents Acting through Belief Bottlenecks Expressed in Language
von: Lidayan, Aly, et al.
Veröffentlicht: (2025)

Mixture of Heterogeneous Grouped Experts for Language Modeling
von: Ma, Zhicheng, et al.
Veröffentlicht: (2026)

Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards
von: Padula, Alexander G., et al.
Veröffentlicht: (2024)

Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces
von: Chen, Jiawei, et al.
Veröffentlicht: (2026)

FVEL: Interactive Formal Verification Environment with Large Language Models via Theorem Proving
von: Lin, Xiaohan, et al.
Veröffentlicht: (2024)

Concurrent Linguistic Error Detection (CLED): a New Methodology for Error Detection in Large Language Models
von: Zhu, Jinhua, et al.
Veröffentlicht: (2024)

Experience Sharing in Mutual Reinforcement Learning for Heterogeneous Language Models
von: Liu, Xiaoze, et al.
Veröffentlicht: (2026)

BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models
von: Chang, Aofei, et al.
Veröffentlicht: (2024)

IndicSentEval: How Effectively do Multilingual Transformer Models encode Linguistic Properties for Indic Languages?
von: Aravapalli, Akhilesh, et al.
Veröffentlicht: (2024)

AraLingBench A Human-Annotated Benchmark for Evaluating Arabic Linguistic Capabilities of Large Language Models
von: Zbeeb, Mohammad, et al.
Veröffentlicht: (2025)

Towards a Theoretical Understanding of Synthetic Data in LLM Post-Training: A Reverse-Bottleneck Perspective
von: Gan, Zeyu, et al.
Veröffentlicht: (2024)

Artificial Conversations, Real Results: Fostering Language Detection with Synthetic Data
von: Mohammadi, Fatemeh, et al.
Veröffentlicht: (2025)

Safe: Enhancing Mathematical Reasoning in Large Language Models via Retrospective Step-aware Formal Verification
von: Liu, Chengwu, et al.
Veröffentlicht: (2025)

Marco-o1 v2: Towards Widening The Distillation Bottleneck for Reasoning Models
von: Yin, Huifeng, et al.
Veröffentlicht: (2025)

FormalProofBench: Can Models Write Graduate Level Math Proofs That Are Formally Verified?
von: Ravi, Nikil, et al.
Veröffentlicht: (2026)

Deception Detection from Linguistic and Physiological Data Streams Using Bimodal Convolutional Neural Networks
von: Li, Panfeng, et al.
Veröffentlicht: (2023)

Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
von: Mamtani, Sumit, et al.
Veröffentlicht: (2025)

Efficient Real-time Refinement of Language Model Text Generation
von: Ko, Joonho, et al.
Veröffentlicht: (2025)

Formal-LLM: Integrating Formal Language and Natural Language for Controllable LLM-based Agents
von: Li, Zelong, et al.
Veröffentlicht: (2024)

LexC-Gen: Generating Data for Extremely Low-Resource Languages with Large Language Models and Bilingual Lexicons
von: Yong, Zheng-Xin, et al.
Veröffentlicht: (2024)

Lean-ing on Quality: How High-Quality Data Beats Diverse Multilingual Data in AutoFormalization
von: Chan, Willy, et al.
Veröffentlicht: (2025)

Linguistic Calibration of Long-Form Generations
von: Band, Neil, et al.
Veröffentlicht: (2024)

Sectoral Coupling in Linguistic State Space
von: Dumbrava, Sebastian
Veröffentlicht: (2025)

Scaling Data-Constrained Language Models
von: Muennighoff, Niklas, et al.
Veröffentlicht: (2023)

RWKU: Benchmarking Real-World Knowledge Unlearning for Large Language Models
von: Jin, Zhuoran, et al.
Veröffentlicht: (2024)

RealCritic: Towards Effectiveness-Driven Evaluation of Language Model Critiques
von: Tang, Zhengyang, et al.
Veröffentlicht: (2025)