Buchumschlag

On Importance of Pruning and Distillation for Efficient Low Resource NLP

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mirashi, Aishwarya, Lingayat, Purva, Sonavane, Srushti, Padhiyar, Tejas, Joshi, Raviraj, Kale, Geetanjali
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

L3Cube-IndicNews: News-based Short Text and Long Document Classification Datasets in Indic Languages
von: Mirashi, Aishwarya, et al.
Veröffentlicht: (2024)

L3Cube-MahaSTS: A Marathi Sentence Similarity Dataset and Models
von: Mirashi, Aishwarya, et al.
Veröffentlicht: (2025)

On Importance of Layer Pruning for Smaller BERT Models and Low Resource Languages
von: Shirke, Mayur, et al.
Veröffentlicht: (2025)

Chain-of-Translation Prompting (CoTR): A Novel Prompting Technique for Low Resource Languages
von: Deshpande, Tejas, et al.
Veröffentlicht: (2024)

A Data Selection Approach for Enhancing Low Resource Machine Translation Using Cross-Lingual Sentence Representations
von: Kowtal, Nidhi, et al.
Veröffentlicht: (2024)

Long Range Named Entity Recognition for Marathi Documents
von: Deshmukh, Pranita, et al.
Veröffentlicht: (2024)

Towards Building Efficient Sentence BERT Models using Layer Pruning
von: Shelke, Anushka, et al.
Veröffentlicht: (2024)

TextGram: Towards a better domain-adaptive pretraining
von: Hiwarkhedkar, Sharayu, et al.
Veröffentlicht: (2024)

Leveraging Parameter Efficient Training Methods for Low Resource Text Classification: A Case Study in Marathi
von: Deshmukh, Pranita, et al.
Veröffentlicht: (2024)

On Limitations of LLM as Annotator for Low Resource Languages
von: Jadhav, Suramya, et al.
Veröffentlicht: (2024)

Better To Ask in English? Evaluating Factual Accuracy of Multilingual LLMs in English and Low-Resource Languages
von: Rohera, Pritika, et al.
Veröffentlicht: (2025)

On Importance of Code-Mixed Embeddings for Hate Speech Identification
von: Jagdale, Shruti, et al.
Veröffentlicht: (2024)

Challenges in Adapting Multilingual LLMs to Low-Resource Languages using LoRA PEFT Tuning
von: Khade, Omkar, et al.
Veröffentlicht: (2024)

Compact Language Models via Pruning and Knowledge Distillation
von: Muralidharan, Saurav, et al.
Veröffentlicht: (2024)

When Every Token Counts: Optimal Segmentation for Low-Resource Language Models
von: Raj, Bharath, et al.
Veröffentlicht: (2024)

L3Cube-IndicHeadline-ID: A Dataset for Headline Identification and Semantic Evaluation in Low-Resource Indian Languages
von: Tanksale, Nishant, et al.
Veröffentlicht: (2025)

L3Cube-MahaEmotions: A Marathi Emotion Recognition Dataset with Synthetic Annotations using CoTR prompting and Large Language Models
von: Kowtal, Nidhi, et al.
Veröffentlicht: (2025)

Topic Modeling in Marathi
von: Shinde, Sanket, et al.
Veröffentlicht: (2025)

Aligning Large Language Models to Low-Resource Languages through LLM-Based Selective Translation: A Systematic Study
von: Paul, Rakesh, et al.
Veröffentlicht: (2025)

Efficient Zero-Shot Long Document Classification by Reducing Context Through Sentence Ranking
von: Kokate, Prathamesh, et al.
Veröffentlicht: (2025)

Adapting Multilingual LLMs to Low-Resource Languages using Continued Pre-training and Synthetic Corpus
von: Joshi, Raviraj, et al.
Veröffentlicht: (2024)

LLM Pruning and Distillation in Practice: The Minitron Approach
von: Sreenivas, Sharath Turuvekere, et al.
Veröffentlicht: (2024)

Curating Stopwords in Marathi: A TF-IDF Approach for Improved Text Analysis and Information Retrieval
von: Chavan, Rohan, et al.
Veröffentlicht: (2024)

Improving the Efficiency of Long Document Classification using Sentence Ranking Approach
von: Kokate, Prathamesh, et al.
Veröffentlicht: (2025)

Universal Cross-Lingual Text Classification
von: Savant, Riya, et al.
Veröffentlicht: (2024)

MahaParaphrase: A Marathi Paraphrase Detection Corpus and BERT-based Models
von: Jadhav, Suramya, et al.
Veröffentlicht: (2025)

Non-Contextual BERT or FastText? A Comparative Analysis
von: Shanbhag, Abhay, et al.
Veröffentlicht: (2024)

L3Cube-MahaSum: A Comprehensive Dataset and BART Models for Abstractive Text Summarization in Marathi
von: Deshmukh, Pranita, et al.
Veröffentlicht: (2024)

L3Cube-MahaNews: News-based Short Text and Long Document Classification Datasets in Marathi
von: Mittal, Saloni, et al.
Veröffentlicht: (2024)

MahaSQuAD: Bridging Linguistic Divides in Marathi Question-Answering
von: Ghatage, Ruturaj, et al.
Veröffentlicht: (2024)

L3Cube-IndicQuest: A Benchmark Question Answering Dataset for Evaluating Knowledge of LLMs in Indic Context
von: Rohera, Pritika, et al.
Veröffentlicht: (2024)

Comparative Study of Pre-Trained BERT and Large Language Models for Code-Mixed Named Entity Recognition
von: Shirke, Mayur, et al.
Veröffentlicht: (2025)

IndicSQuAD: A Comprehensive Multilingual Question Answering Dataset for Indic Languages
von: Endait, Sharvi, et al.
Veröffentlicht: (2025)

L3Cube-MahaSocialNER: A Social Media based Marathi NER Dataset and BERT models
von: Chaudhari, Harsh, et al.
Veröffentlicht: (2023)

Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation
von: Miyano, Ryota, et al.
Veröffentlicht: (2025)

Entropy Meets Importance: A Unified Head Importance-Entropy Score for Stable and Efficient Transformer Pruning
von: Choi, Minsik, et al.
Veröffentlicht: (2025)

Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP
von: Remy, François, et al.
Veröffentlicht: (2024)

Pretraining Language Models with Subword Regularization: An Empirical Study of BPE Dropout in Low-Resource NLP
von: Visser, Ruan, et al.
Veröffentlicht: (2026)

Solving the Inverse Alignment Problem for Efficient RLHF
von: Krishna, Shambhavi, et al.
Veröffentlicht: (2024)

DenoiseRotator: Enhance Pruning Robustness for LLMs via Importance Concentration
von: Gu, Tianteng, et al.
Veröffentlicht: (2025)