Buchumschlag

Extracting General-use Transformers for Low-resource Languages via Knowledge Distillation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cruz, Jan Christian Blaise, Aji, Alham Fikri
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Sense Representations Are Inducible Interfaces
von: Cruz, Jan Christian Blaise, et al.
Veröffentlicht: (2026)

LLM Olympiad: Why Model Evaluation Needs a Sealed Exam
von: Cruz, Jan Christian Blaise, et al.
Veröffentlicht: (2026)

Multilinguality as Sense Adaptation
von: Cruz, Jan Christian Blaise, et al.
Veröffentlicht: (2026)

Improving Low-Resource Machine Translation via Round-Trip Reinforcement Learning
von: Attia, Ahmed, et al.
Veröffentlicht: (2026)

Data Laundering: Artificially Boosting Benchmark Results through Knowledge Distillation
von: Mansurov, Jonibek, et al.
Veröffentlicht: (2024)

The Privileged Students: On the Value of Initialization in Multilingual Knowledge Distillation
von: Wibowo, Haryo Akbarianto, et al.
Veröffentlicht: (2024)

LoraxBench: A Multitask, Multilingual Benchmark Suite for 20 Indonesian Languages
von: Aji, Alham Fikri, et al.
Veröffentlicht: (2025)

Idea First, Code Later: Disentangling Problem Solving from Code Generation in Evaluating LLMs for Competitive Programming
von: Hadhoud, Sama, et al.
Veröffentlicht: (2026)

Daisy-TTS: Simulating Wider Spectrum of Emotions via Prosody Embedding Decomposition
von: Chevi, Rendi, et al.
Veröffentlicht: (2024)

Beyond Probabilities: Unveiling the Misalignment in Evaluating Large Language Models
von: Lyu, Chenyang, et al.
Veröffentlicht: (2024)

Balanced Multi-Factor In-Context Learning for Multilingual Large Language Models
von: Kaneko, Masahiro, et al.
Veröffentlicht: (2025)

LinguDistill: Recovering Linguistic Ability in Vision-Language Models via Selective Cross-Modal Distillation
von: Irawan, Patrick Amadeus, et al.
Veröffentlicht: (2026)

Thank You, Stingray: Multilingual Large Language Models Can Not (Yet) Disambiguate Cross-Lingual Word Sense
von: Cahyawijaya, Samuel, et al.
Veröffentlicht: (2024)

Language-Specific Latent Process Hinders Cross-Lingual Performance
von: Lim, Zheng Wei, et al.
Veröffentlicht: (2025)

Enabling Natural Zero-Shot Prompting on Encoder Models via Statement-Tuning
von: Elshabrawy, Ahmed, et al.
Veröffentlicht: (2024)

How Individual Traits and Language Styles Shape Preferences In Open-ended User-LLM Interaction: A Preliminary Study
von: Chevi, Rendi, et al.
Veröffentlicht: (2025)

TextGames: Learning to Self-Play Text-Based Puzzle Games via Language Model Reasoning
von: Hudi, Frederikus, et al.
Veröffentlicht: (2025)

LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions
von: Wu, Minghao, et al.
Veröffentlicht: (2023)

Can Multimodal LLMs do Visual Temporal Understanding and Reasoning? The answer is No!
von: Imam, Mohamed Fazli, et al.
Veröffentlicht: (2025)

Beyond Transfer Accuracy: Faithful Circuits for Controlled Low-Resource Adaptation
von: Nur'aini, Khumaisa, et al.
Veröffentlicht: (2026)

Efficient and Interpretable Grammatical Error Correction with Mixture of Experts
von: Qorib, Muhammad Reza, et al.
Veröffentlicht: (2024)

LinguAlchemy: Fusing Typological and Geographical Elements for Unseen Language Generalization
von: Adilazuarda, Muhammad Farid, et al.
Veröffentlicht: (2024)

SEA-SafeguardBench: Evaluating AI Safety in SEA Languages and Cultures
von: Tasawong, Panuthep, et al.
Veröffentlicht: (2025)

Multicultural Spyfall: Assessing LLMs through Dynamic Multilingual Social Deduction Game
von: Wibowo, Haryo Akbarianto, et al.
Veröffentlicht: (2026)

From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs
von: Adilazuarda, Muhammad Farid, et al.
Veröffentlicht: (2025)

SEA-Guard: Culturally Grounded Multilingual Safeguard for Southeast Asia
von: Tasawong, Panuthep, et al.
Veröffentlicht: (2026)

MOMENTS: A Comprehensive Multimodal Benchmark for Theory of Mind
von: Villa-Cueva, Emilio, et al.
Veröffentlicht: (2025)

Do Language Models Understand Honorific Systems in Javanese?
von: Farhansyah, Mohammad Rifqi, et al.
Veröffentlicht: (2025)

COPAL-ID: Indonesian Language Reasoning with Local Culture and Nuances
von: Wibowo, Haryo Akbarianto, et al.
Veröffentlicht: (2023)

QLESS: A Quantized Approach for Data Valuation and Selection in Large Language Model Fine-Tuning
von: Ananta, Moses, et al.
Veröffentlicht: (2025)

Cultural Conditioning or Placebo? On the Effectiveness of Socio-Demographic Prompting
von: Mukherjee, Sagnik, et al.
Veröffentlicht: (2024)

Sparse Autoencoders Can Capture Language-Specific Concepts Across Diverse Languages
von: Andrylie, Lyzander Marciano, et al.
Veröffentlicht: (2025)

Macaron: Controlled, Human-Written Benchmark for Multilingual and Multicultural Reasoning via Template-Filling
von: Elsetohy, Alaa, et al.
Veröffentlicht: (2026)

CLIP meets DINO for Tuning Zero-Shot Classifier using Unlabeled Image Collections
von: Imam, Mohamed Fazli, et al.
Veröffentlicht: (2024)

Unveiling the Influence of Amplifying Language-Specific Neurons
von: Rahmanisa, Inaya, et al.
Veröffentlicht: (2025)

When Alignment Hurts: Decoupling Representational Spaces in Multilingual Models
von: Elshabrawy, Ahmed, et al.
Veröffentlicht: (2025)

IteRABRe: Iterative Recovery-Aided Block Reduction
von: Wibowo, Haryo Akbarianto, et al.
Veröffentlicht: (2025)

Vision Language Models are Confused Tourists
von: Irawan, Patrick Amadeus, et al.
Veröffentlicht: (2025)

IndoToxic2024: A Demographically-Enriched Dataset of Hate Speech and Toxicity Types for Indonesian Language
von: Susanto, Lucky, et al.
Veröffentlicht: (2024)

Does Visual Rendering Bypass Tokenization? Investigating Script-Tokenizer Misalignment in Pixel-Based Language Models
von: Susanto, Lucky, et al.
Veröffentlicht: (2026)