Buchumschlag

Comparative Analysis of Tokenization Algorithms for Low-Resource Language Dzongkha

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wangchuk, Tandin, Gonsalves, Tad
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Multilingual Question Answering in Low-Resource Settings: A Dzongkha-English Benchmark for Foundation Models
von: Hosain, Md. Tanzib, et al.
Veröffentlicht: (2025)

Biophysical characteristics, distribution and conservation challenges of critically endangered Bhutan poppy (Papaver bhutanicum) in Jigme Dorji National Park, Bhutan
von: Pema Dendup, et al.
Veröffentlicht: (2024)

Reducing Tokenization Premiums for Low-Resource Languages
von: Churchill, Geoffrey, et al.
Veröffentlicht: (2026)

Zero-shot OCR Accuracy of Low-Resourced Languages: A Comparative Analysis on Sinhala and Tamil
von: Jayatilleke, Nevidu, et al.
Veröffentlicht: (2025)

Tokenization Strategies for Low-Resource Agglutinative Languages in Word2Vec: Case Study on Turkish and Finnish
von: Hu, Jinfan Frank
Veröffentlicht: (2025)

Stop Jostling: Adaptive Negative Sampling Reduces the Marginalization of Low-Resource Language Tokens by Cross-Entropy Loss
von: Turumtaev, Galim
Veröffentlicht: (2026)

Comparative Analysis of Listwise Reranking with Large Language Models in Limited-Resource Language Contexts
von: Shen, Yanxin, et al.
Veröffentlicht: (2024)

When Every Token Counts: Optimal Segmentation for Low-Resource Language Models
von: Raj, Bharath, et al.
Veröffentlicht: (2024)

Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP
von: Remy, François, et al.
Veröffentlicht: (2024)

Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting
von: Srinivasan, Krishna Prasad Varadarajan, et al.
Veröffentlicht: (2024)

Looking to Learn: Token-wise Dynamic Gating for Low-Resource Vision-Language Modelling
von: Ganescu, Bianca-Mihaela, et al.
Veröffentlicht: (2025)

The Zeno's Paradox of `Low-Resource' Languages
von: Nigatu, Hellina Hailu, et al.
Veröffentlicht: (2024)

Bootstrapping Embeddings for Low Resource Languages
von: Basoz, Merve, et al.
Veröffentlicht: (2026)

GlotLID: Language Identification for Low-Resource Languages
von: Kargaran, Amir Hossein, et al.
Veröffentlicht: (2023)

Algorithm for Semantic Network Generation from Texts of Low Resource Languages Such as Kiswahili
von: Wanjawa, Barack Wamkaya, et al.
Veröffentlicht: (2025)

Comparing Knowledge Injection Methods for LLMs in a Low-Resource Regime
von: Abonizio, Hugo, et al.
Veröffentlicht: (2025)

Speech Discrete Tokens or Continuous Features? A Comparative Analysis for Spoken Language Understanding in SpeechLLMs
von: Wang, Dingdong, et al.
Veröffentlicht: (2025)

Explaining Pre-Trained Language Models with Attribution Scores: An Analysis in Low-Resource Settings
von: Zhou, Wei, et al.
Veröffentlicht: (2024)

Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir
von: Arabov, Mullosharaf K., et al.
Veröffentlicht: (2026)

Investigating Hallucination in Conversations for Low Resource Languages
von: Das, Amit, et al.
Veröffentlicht: (2025)

On Multilingual Encoder Language Model Compression for Low-Resource Languages
von: Gurgurov, Daniil, et al.
Veröffentlicht: (2025)

TriLex: A Framework for Multilingual Sentiment Analysis in Low-Resource South African Languages
von: Nkongolo, Mike, et al.
Veröffentlicht: (2025)

Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon
von: Koto, Fajri, et al.
Veröffentlicht: (2024)

Protection beyond park boundaries: On the impact of systematic patrolling in Divisional Forest Office, Sarpang, Bhutan
von: Phub Dhendup, et al.
Veröffentlicht: (2024)

Large Language Models for Toxic Language Detection in Low-Resource Balkan Languages
von: Muminovic, Amel, et al.
Veröffentlicht: (2025)

LMSpell: Neural Spell Checking for Low-Resource Languages
von: Gunathilake, Akesh, et al.
Veröffentlicht: (2025)

Massively Multilingual Text Translation For Low-Resource Languages
von: Zhou, Zhong
Veröffentlicht: (2024)

LLM Probe: Evaluating LLMs for Low-Resource Languages
von: Teklehaymanot, Hailay Kidu, et al.
Veröffentlicht: (2026)

LLMs for Extremely Low-Resource Finno-Ugric Languages
von: Purason, Taido, et al.
Veröffentlicht: (2024)

Task Arithmetic with Support Languages for Low-Resource ASR
von: Rafkin, Emma, et al.
Veröffentlicht: (2026)

Unsupervised Bilingual Lexicon Induction for Low Resource Languages
von: Rathnayake, Charitha, et al.
Veröffentlicht: (2024)

Tokenization and Morphology in Multilingual Language Models: A Comparative Analysis of mT5 and ByT5
von: Dang, Thao Anh, et al.
Veröffentlicht: (2024)

Performance of Recent Large Language Models for a Low-Resourced Language
von: Jayakody, Ravindu, et al.
Veröffentlicht: (2024)

Cross-Tokenizer Likelihood Scoring Algorithms for Language Model Distillation
von: Phan, Buu, et al.
Veröffentlicht: (2025)

Introducing Syllable Tokenization for Low-resource Languages: A Case Study with Swahili
von: Atuhurra, Jesse, et al.
Veröffentlicht: (2024)

Utilizing Multilingual Encoders to Improve Large Language Models for Low-Resource Languages
von: Puranegedara, Imalsha, et al.
Veröffentlicht: (2025)

Is Small Language Model the Silver Bullet to Low-Resource Languages Machine Translation?
von: Song, Yewei, et al.
Veröffentlicht: (2025)

Moral Reasoning Across Languages: The Critical Role of Low-Resource Languages in LLMs
von: Zhou, Huichi, et al.
Veröffentlicht: (2025)

Evaluating and Adapting Large Language Models to Represent Folktales in Low-Resource Languages
von: Meaney, JA, et al.
Veröffentlicht: (2024)

Towards Neural No-Resource Language Translation: A Comparative Evaluation of Approaches
von: Thakur, Madhavendra
Veröffentlicht: (2024)