Buchumschlag

Unveiling Reasoning Thresholds in Language Models: Scaling, Fine-Tuning, and Interpretability through Attention Maps

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hsiao, Yen-Che, Dutta, Abhishek
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Towards Autonomous Agents: Adaptive-planning, Reasoning, and Acting in Language Models
von: Dutta, Abhishek, et al.
Veröffentlicht: (2024)

Adaptive Reasoning and Acting in Medical Language Agents
von: Dutta, Abhishek, et al.
Veröffentlicht: (2024)

Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning
von: Zhang, Xinlu, et al.
Veröffentlicht: (2024)

GRIP: In-Parameter Graph Reasoning through Fine-Tuning Large Language Models
von: Feng, Jiarui, et al.
Veröffentlicht: (2025)

Pramana: Fine-Tuning Large Language Models for Epistemic Reasoning through Navya-Nyaya
von: Sathish, Sharath
Veröffentlicht: (2026)

Efficient transformer with reinforced position embedding for language models
von: Hsiao, Yen-Che, et al.
Veröffentlicht: (2024)

Small Language Models Fine-tuned to Coordinate Larger Language Models improve Complex Reasoning
von: Juneja, Gurusha, et al.
Veröffentlicht: (2023)

Reasoning Towards Fairness: Mitigating Bias in Language Models through Reasoning-Guided Fine-Tuning
von: Kabra, Sanchit, et al.
Veröffentlicht: (2025)

Model Fusion through Bayesian Optimization in Language Model Fine-Tuning
von: Jang, Chaeyun, et al.
Veröffentlicht: (2024)

Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment
von: Song, Feifan, et al.
Veröffentlicht: (2024)

Enhancing ML Model Interpretability: Leveraging Fine-Tuned Large Language Models for Better Understanding of AI
von: Bokstaller, Jonas, et al.
Veröffentlicht: (2025)

Scaling Sparse Fine-Tuning to Large Language Models
von: Ansell, Alan, et al.
Veröffentlicht: (2024)

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models
von: Han, Kairong, et al.
Veröffentlicht: (2025)

Overtrained Language Models Are Harder to Fine-Tune
von: Springer, Jacob Mitchell, et al.
Veröffentlicht: (2025)

Memorization in Fine-Tuned Large Language Models
von: Savine, Danil
Veröffentlicht: (2025)

Parallel Scaling Law: Unveiling Reasoning Generalization through A Cross-Linguistic Perspective
von: Yang, Wen, et al.
Veröffentlicht: (2025)

Domain-Adaptation through Synthetic Data: Fine-Tuning Large Language Models for German Law
von: Bashir, Ali Hamza, et al.
Veröffentlicht: (2026)

Natural Language Fine-Tuning
von: Liu, Jia, et al.
Veröffentlicht: (2024)

Safety-Aware Fine-Tuning of Large Language Models
von: Choi, Hyeong Kyu, et al.
Veröffentlicht: (2024)

Phased Instruction Fine-Tuning for Large Language Models
von: Pang, Wei, et al.
Veröffentlicht: (2024)

Mitigating Content Effects on Reasoning in Language Models through Fine-Grained Activation Steering
von: Valentino, Marco, et al.
Veröffentlicht: (2025)

Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models
von: Barnett, Scott, et al.
Veröffentlicht: (2024)

Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning
von: Luo, Linhao, et al.
Veröffentlicht: (2023)

TS-PEFT: Unveiling Token-Level Redundancy in Parameter-Efficient Fine-Tuning
von: Ma, Dabiao, et al.
Veröffentlicht: (2025)

CARE: A QLoRA-Fine Tuned Multi-Domain Chatbot With Fast Learning On Minimal Hardware
von: Dutta, Ankit, et al.
Veröffentlicht: (2025)

Indic-TunedLens: Interpreting Multilingual Models in Indian Languages
von: Panchal, Mihir, et al.
Veröffentlicht: (2026)

Activation Scaling for Steering and Interpreting Language Models
von: Stoehr, Niklas, et al.
Veröffentlicht: (2024)

Attention-Aligned Reasoning for Large Language Models
von: Zhang, Hongxiang, et al.
Veröffentlicht: (2025)

Reversing Large Language Models for Efficient Training and Fine-Tuning
von: Gal, Eshed, et al.
Veröffentlicht: (2025)

Impact of Fine-Tuning Methods on Memorization in Large Language Models
von: Hou, Jie, et al.
Veröffentlicht: (2025)

Fine-Tuned Language Models for Domain-Specific Summarization and Tagging
von: Wang, Jun, et al.
Veröffentlicht: (2025)

Reinforcement Fine-Tuning Powers Reasoning Capability of Multimodal Large Language Models
von: Sun, Haoyuan, et al.
Veröffentlicht: (2025)

SignAttention: On the Interpretability of Transformer Models for Sign Language Translation
von: Bianco, Pedro Alejandro Dal, et al.
Veröffentlicht: (2024)

Cognitive BASIC: An In-Model Interpreted Reasoning Language for LLMs
von: Kramer, Oliver
Veröffentlicht: (2025)

Unveiling Language Routing Isolation in Multilingual MoE Models for Interpretable Subnetwork Adaptation
von: Zheng, Kening, et al.
Veröffentlicht: (2026)

Noise Augmented Fine Tuning for Mitigating Hallucinations in Large Language Models
von: Khadangi, Afshin, et al.
Veröffentlicht: (2025)

KnowTuning: Knowledge-aware Fine-tuning for Large Language Models
von: Lyu, Yougang, et al.
Veröffentlicht: (2024)

Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models
von: Liu, Xinxin, et al.
Veröffentlicht: (2024)

LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models
von: Zheng, Yaowei, et al.
Veröffentlicht: (2024)

Efficient Fine-Tuning of Large Language Models for Automated Medical Documentation
von: Leong, Hui Yi, et al.
Veröffentlicht: (2024)