Buchumschlag

ShishuLM : Achieving Optimal and Efficient Parameterization with Low Attention Transformer Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kumar, Shivanshu, Srinivasan, Gopalakrishnan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Can reasoning models comprehend mathematical problems in Chinese ancient texts? An empirical study based on data from Suanjing Shishu
von: Liu, Chang, et al.
Veröffentlicht: (2025)

B-cos LM: Efficiently Transforming Pre-trained Language Models for Improved Explainability
von: Wang, Yifan, et al.
Veröffentlicht: (2025)

Leveraging In-Context Learning for Language Model Agents
von: Gupta, Shivanshu, et al.
Veröffentlicht: (2025)

UrduLM: A Resource-Efficient Monolingual Urdu Language Model
von: Ali, Syed Muhammad, et al.
Veröffentlicht: (2026)

Parallax: Parameterized Local Linear Attention for Language Modeling
von: Zuo, Yifei, et al.
Veröffentlicht: (2026)

$π$-Attention: Periodic Sparse Transformers for Efficient Long-Context Modeling
von: Liu, Dong, et al.
Veröffentlicht: (2025)

Overview of the First Workshop on Language Models for Low-Resource Languages (LoResLM 2025)
von: Hettiarachchi, Hansi, et al.
Veröffentlicht: (2024)

LM2: Large Memory Models
von: Kang, Jikun, et al.
Veröffentlicht: (2025)

An Effective Deployment of Diffusion LM for Data Augmentation in Low-Resource Sentiment Classification
von: Chen, Zhuowei, et al.
Veröffentlicht: (2024)

Thinking in Many Modes: How Composite Reasoning Elevates Large Language Model Performance with Limited Data
von: Ahmad, Zishan, et al.
Veröffentlicht: (2025)

TacoLM: GaTed Attention Equipped Codec Language Model are Efficient Zero-Shot Text to Speech Synthesizers
von: Song, Yakun, et al.
Veröffentlicht: (2024)

Adapt-Pruner: Adaptive Structural Pruning for Efficient Small Language Model Training
von: Pan, Rui, et al.
Veröffentlicht: (2025)

Rethinking KenLM: Good and Bad Model Ensembles for Efficient Text Quality Filtering in Large Web Corpora
von: Kim, Yungi, et al.
Veröffentlicht: (2024)

Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers
von: Tang, Zecheng, et al.
Veröffentlicht: (2026)

LayerIF: Estimating Layer Quality for Large Language Models using Influence Functions
von: Askari, Hadi, et al.
Veröffentlicht: (2025)

PonderLM: Pretraining Language Models to Ponder in Continuous Space
von: Zeng, Boyi, et al.
Veröffentlicht: (2025)

Xmodel-LM Technical Report
von: Wang, Yichuan, et al.
Veröffentlicht: (2024)

CogLM: Tracking Cognitive Development of Large Language Models
von: Wang, Xinglin, et al.
Veröffentlicht: (2024)

The Attentional White Bear Effect in Transformer Language Models
von: Ramnauth, Rebecca, et al.
Veröffentlicht: (2026)

Efficient Streaming Language Models with Attention Sinks
von: Xiao, Guangxuan, et al.
Veröffentlicht: (2023)

TernaryLM: Memory-Efficient Language Modeling via Native 1.5-Bit Quantization with Adaptive Layer-wise Scaling
von: Nargund, Nisharg, et al.
Veröffentlicht: (2026)

SPRING Lab IITM's submission to Low Resource Indic Language Translation Shared Task
von: Sayed, Hamees, et al.
Veröffentlicht: (2024)

PASCAL: Precise and Efficient ANN- SNN Conversion using Spike Accumulation and Adaptive Layerwise Activation
von: Ramesh, Pranav, et al.
Veröffentlicht: (2025)

ArXiv-to-Model: A Practical Study of Scientific LM Training
von: Gupta, Anuj
Veröffentlicht: (2026)

JudgeLM: Fine-tuned Large Language Models are Scalable Judges
von: Zhu, Lianghui, et al.
Veröffentlicht: (2023)

REFINE-LM: Mitigating Language Model Stereotypes via Reinforcement Learning
von: Qureshi, Rameez, et al.
Veröffentlicht: (2024)

Scalable Efficient Training of Large Language Models with Low-dimensional Projected Attention
von: Lv, Xingtai, et al.
Veröffentlicht: (2024)

InternLM2 Technical Report
von: Cai, Zheng, et al.
Veröffentlicht: (2024)

SignAttention: On the Interpretability of Transformer Models for Sign Language Translation
von: Bianco, Pedro Alejandro Dal, et al.
Veröffentlicht: (2024)

Memorization in Attention-only Transformers
von: Dana, Léo, et al.
Veröffentlicht: (2024)

Identifying the Risks of LM Agents with an LM-Emulated Sandbox
von: Ruan, Yangjun, et al.
Veröffentlicht: (2023)

Affine-Scaled Attention: Towards Flexible and Stable Transformer Attention
von: Bae, Jeongin, et al.
Veröffentlicht: (2026)

KG-BiLM: Knowledge Graph Embedding via Bidirectional Language Models
von: Chen, Zirui, et al.
Veröffentlicht: (2025)

LM-Infinite: Zero-Shot Extreme Length Generalization for Large Language Models
von: Han, Chi, et al.
Veröffentlicht: (2023)

FlowLM: Few-Step Language Modeling via Diffusion-to-Flow Adaptation
von: Zhang, Runzhe, et al.
Veröffentlicht: (2026)

Foundation CAN LM: A Pretrained Language Model For Automotive CAN Data
von: Esashi, Akiharu, et al.
Veröffentlicht: (2026)

Tandem Transformers for Inference Efficient LLMs
von: S, Aishwarya P, et al.
Veröffentlicht: (2024)

PhoneLM:an Efficient and Capable Small Language Model Family through Principled Pre-training
von: Yi, Rongjie, et al.
Veröffentlicht: (2024)

CoPE-VideoLM: Leveraging Codec Primitives For Efficient Video Language Modeling
von: Sarkar, Sayan Deb, et al.
Veröffentlicht: (2026)

Shiksha: A Technical Domain focused Translation Dataset and Model for Indian Languages
von: Joglekar, Advait, et al.
Veröffentlicht: (2024)