Buchumschlag

MorphTok: Morphologically Grounded Tokenization for Indian Languages

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Brahma, Maharaj, Karthika, N J, Singh, Atul, Adiga, Devaraj, Bhate, Smruti, Ramakrishnan, Ganesh, Saluja, Rohit, Desarkar, Maunendra Sankar
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
von: Karthika, N J, et al.
Veröffentlicht: (2025)

DIWALI: Diversity and Inclusivity aWare cuLture specific Items for India: Dataset and Assessment of LLMs for Cultural Text Adaptation in Indian Context
von: Sahoo, Pramit, et al.
Veröffentlicht: (2025)

NLIP_Lab-IITH Low-Resource MT System for WMT24 Indic MT Shared Task
von: Sahoo, Pramit, et al.
Veröffentlicht: (2024)

NLIP_Lab-IITH Multilingual MT System for WAT24 MT Shared Task
von: Brahma, Maharaj, et al.
Veröffentlicht: (2024)

The Art of Breaking Words: Rethinking Multilingual Tokenizer Design
von: Thakur, Aamod, et al.
Veröffentlicht: (2025)

BoK: Introducing Bag-of-Keywords Loss for Interpretable Dialogue Response Generation
von: Dey, Suvodip, et al.
Veröffentlicht: (2025)

AyurParam: A State-of-the-Art Bilingual Language Model for Ayurveda
von: Nauman, Mohd, et al.
Veröffentlicht: (2025)

Unsupervised Domain Adaptation with Global and Local Graph Neural Networks in Limited Labeled Data Scenario: Application to Disaster Management
von: Ghosh, Samujjwal, et al.
Veröffentlicht: (2021)

Transformer based Multitask Learning for Image Captioning and Object Detection
von: Basak, Debolena, et al.
Veröffentlicht: (2024)

CharSpan: Utilizing Lexical Similarity to Enable Zero-Shot Machine Translation for Extremely Low-resource Languages
von: Maurya, Kaushal Kumar, et al.
Veröffentlicht: (2023)

LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages
von: J, Karthika N, et al.
Veröffentlicht: (2024)

Semantically Cohesive Word Grouping in Indian Languages
von: Karthika, N J, et al.
Veröffentlicht: (2025)

A Three-Pronged Approach to Cross-Lingual Adaptation with Multilingual LLMs
von: Singh, Vaibhav, et al.
Veröffentlicht: (2024)

LexGen: Domain-aware Multilingual Lexicon Generation
von: Maheshwari, Ayush, et al.
Veröffentlicht: (2024)

Improving Video Question Answering through query-based frame selection
von: Patil, Himanshu, et al.
Veröffentlicht: (2026)

Intent Aware Context Retrieval for Multi-Turn Agricultural Question Answering
von: Vijayvargia, Abhay, et al.
Veröffentlicht: (2025)

A2TTS: TTS for Low Resource Indian Languages
von: Bhadoriya, Ayush Singh, et al.
Veröffentlicht: (2025)

Technical report: Impact of Duration Prediction on Speaker-specific TTS for Indian Languages
von: Pandey, Isha, et al.
Veröffentlicht: (2025)

INDIC DIALECT: A Multi Task Benchmark to Evaluate and Translate in Indian Language Dialects
von: Sharma, Tarun, et al.
Veröffentlicht: (2026)

Samasāmayik: A Parallel Dataset for Hindi-Sanskrit Machine Translation
von: Karthika, N J, et al.
Veröffentlicht: (2026)

DRISHTIKON: Visual Grounding at Multiple Granularities in Documents
von: Kasuba, Badri Vishal, et al.
Veröffentlicht: (2025)

Assessing the Sustainability and Food Security Implications of Introduced Pangasianodon hypophthalmus (Sauvage, 1878) and Clarias gariepinus (Burchell, 1822) Into Indian Aquaculture: A OneHealth Perspective
von: Atul K. Singh
Veröffentlicht: (2024)

VoiceMorph: How AI Voice Morphing Reveals the Boundaries of Auditory Self-Recognition
von: Shimizu, Kye, et al.
Veröffentlicht: (2025)

MorphPiece : A Linguistic Tokenizer for Large Language Models
von: Jabbar, Haris
Veröffentlicht: (2023)

Vacuum‐Assisted Microwave Pyrolysis of Rice Husk for the Production of High‐Heating Value Biochar for Practical Energy Applications
von: Maninderjeet Singh, et al.
Veröffentlicht: (2025)

Management of Biological Diversity of Indian Forests
von: Sathe, Atul
Veröffentlicht: (2011)

Thunder-Tok: Minimizing Tokens per Word in Tokenizing Korean Texts for Generative Language Models
von: Cho, Gyeongje, et al.
Veröffentlicht: (2025)

BrainMorph: A Foundational Keypoint Model for Robust and Flexible Brain MRI Registration
von: Wang, Alan Q., et al.
Veröffentlicht: (2024)

TokTalk: Expressive Real-time Facial Animation from Audio-LLM Tokens
von: Zhao, Qingcheng, et al.
Veröffentlicht: (2026)

SupraTok: Cross-Boundary Tokenization for Enhanced Language Model Performance
von: Tănase, Andrei-Valentin, et al.
Veröffentlicht: (2025)

PyraTok: Language-Aligned Pyramidal Tokenizer for Video Understanding and Generation
von: Susladkar, Onkar, et al.
Veröffentlicht: (2026)

TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior
von: Altıntaş, Gül Sena, et al.
Veröffentlicht: (2025)

TokMem: One-Token Procedural Memory for Large Language Models
von: Wu, Zijun, et al.
Veröffentlicht: (2025)

Lang2Morph: Language-Driven Morphological Design of Robotic Hands
von: Qiao, Yanyuan, et al.
Veröffentlicht: (2025)

RoboMorph: Evolving Robot Morphology using Large Language Models
von: Qiu, Kevin, et al.
Veröffentlicht: (2024)

Dementia Strategies of England and Glasgow Declaration: What Requires to be Done?
von: Smruti Bulsari
Veröffentlicht: (2024)

Beyond Rice: The New Dynamics of Food, Fuel, and Farming in India
von: Pooja Saluja
Veröffentlicht: (2025)

Sāmayik: A Benchmark and Dataset for English-Sanskrit Translation
von: Maheshwari, Ayush, et al.
Veröffentlicht: (2023)

MorphBPE: A Morpho-Aware Tokenizer Bridging Linguistic Complexity for Efficient LLM Training Across Morphologies
von: Asgari, Ehsaneddin, et al.
Veröffentlicht: (2025)

DINO-Tok: Adapting DINO for Visual Tokenizers
von: Jia, Mingkai, et al.
Veröffentlicht: (2025)