Tiny Aya: Bridging Scale and Multilingual Depth
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Salamanca, Alejandro R., Abagyan, Diana, D'souza, Daniel, Khairi, Ammar, Mora, David, Dash, Saurabh, Aryabumi, Viraat, Rajaee, Sara, Mofakhami, Mehrnaz, Sahu, Ananya, Euyang, Thomas, Prince, Brittawnya, Smith, Madeline, Lin, Hangyu, Locatelli, Acyr, Hooker, Sara, Kocmi, Tom, Gomez, Aidan, Zhang, Ivan, Blunsom, Phil, Frosst, Nick, Pineau, Joelle, Ermis, Beyza, Üstün, Ahmet, Kreutzer, Julia, Fadaee, Marzieh |
|---|---|
| Format: | Preprint |
| Publié: |
2026
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Aya Vision: Advancing the Frontier of Multilingual Multimodality
par: Dash, Saurabh, et autres
Publié: (2025)
par: Dash, Saurabh, et autres
Publié: (2025)
Aya 23: Open Weight Releases to Further Multilingual Progress
par: Aryabumi, Viraat, et autres
Publié: (2024)
par: Aryabumi, Viraat, et autres
Publié: (2024)
Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model
par: Üstün, Ahmet, et autres
Publié: (2024)
par: Üstün, Ahmet, et autres
Publié: (2024)
To Code, or Not To Code? Exploring Impact of Code in Pre-training
par: Aryabumi, Viraat, et autres
Publié: (2024)
par: Aryabumi, Viraat, et autres
Publié: (2024)
Making, not Taking, the Best of N
par: Khairi, Ammar, et autres
Publié: (2025)
par: Khairi, Ammar, et autres
Publié: (2025)
When Life Gives You Samples: The Benefits of Scaling up Inference Compute for Multilingual LLMs
par: Khairi, Ammar, et autres
Publié: (2025)
par: Khairi, Ammar, et autres
Publié: (2025)
The Art of Asking: Multilingual Prompt Optimization for Synthetic Data
par: Mora, David, et autres
Publié: (2025)
par: Mora, David, et autres
Publié: (2025)
Multilingual Arbitrage: Optimizing Data Pools to Accelerate Multilingual Progress
par: Odumakinde, Ayomide, et autres
Publié: (2024)
par: Odumakinde, Ayomide, et autres
Publié: (2024)
Treasure Hunt: Real-time Targeting of the Long Tail using Training-Time Markers
par: D'souza, Daniel, et autres
Publié: (2025)
par: D'souza, Daniel, et autres
Publié: (2025)
Aya Expanse: Combining Research Breakthroughs for a New Multilingual Frontier
par: Dang, John, et autres
Publié: (2024)
par: Dang, John, et autres
Publié: (2024)
One Tokenizer To Rule Them All: Emergent Language Plasticity via Multilingual Tokenizers
par: Abagyan, Diana, et autres
Publié: (2025)
par: Abagyan, Diana, et autres
Publié: (2025)
Nexus: Specialization meets Adaptability for Efficiently Training Mixture of Experts
par: Gritsch, Nikolas, et autres
Publié: (2024)
par: Gritsch, Nikolas, et autres
Publié: (2024)
The Multilingual Alignment Prism: Aligning Global and Local Preferences to Reduce Harm
par: Aakanksha, et autres
Publié: (2024)
par: Aakanksha, et autres
Publié: (2024)
SimMerge: Learning to Select Merge Operators from Similarity Signals
par: Bolton, Oliver, et autres
Publié: (2026)
par: Bolton, Oliver, et autres
Publié: (2026)
The Multilingual Divide and Its Impact on Global AI Safety
par: Peppin, Aidan, et autres
Publié: (2025)
par: Peppin, Aidan, et autres
Publié: (2025)
Mix Data or Merge Models? Optimizing for Diverse Multi-Task Learning
par: Aakanksha, et autres
Publié: (2024)
par: Aakanksha, et autres
Publié: (2024)
Unlocking Reasoning Capability on Machine Translation in Large Language Models
par: Rajaee, Sara, et autres
Publié: (2026)
par: Rajaee, Sara, et autres
Publié: (2026)
From One to Many: Expanding the Scope of Toxicity Mitigation in Language Models
par: Pozzobon, Luiza, et autres
Publié: (2024)
par: Pozzobon, Luiza, et autres
Publié: (2024)
The State of Multilingual LLM Safety Research: From Measuring the Language Gap to Mitigating It
par: Yong, Zheng-Xin, et autres
Publié: (2025)
par: Yong, Zheng-Xin, et autres
Publié: (2025)
LLM See, LLM Do: Guiding Data Generation to Target Non-Differentiable Objectives
par: Shimabucoro, Luísa, et autres
Publié: (2024)
par: Shimabucoro, Luísa, et autres
Publié: (2024)
Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs
par: Ahmadian, Arash, et autres
Publié: (2024)
par: Ahmadian, Arash, et autres
Publié: (2024)
Déjà Vu: Multilingual LLM Evaluation through the Lens of Machine Translation Evaluation
par: Kreutzer, Julia, et autres
Publié: (2025)
par: Kreutzer, Julia, et autres
Publié: (2025)
Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning
par: Singh, Shivalika, et autres
Publié: (2024)
par: Singh, Shivalika, et autres
Publié: (2024)
RLHF Can Speak Many Languages: Unlocking Multilingual Preference Optimization for LLMs
par: Dang, John, et autres
Publié: (2024)
par: Dang, John, et autres
Publié: (2024)
Performative Prediction with Neural Networks
par: Mofakhami, Mehrnaz, et autres
Publié: (2023)
par: Mofakhami, Mehrnaz, et autres
Publié: (2023)
The Leaderboard Illusion
par: Singh, Shivalika, et autres
Publié: (2025)
par: Singh, Shivalika, et autres
Publié: (2025)
Rope to Nope and Back Again: A New Hybrid Attention Strategy
par: Yang, Bowen, et autres
Publié: (2025)
par: Yang, Bowen, et autres
Publié: (2025)
BAM! Just Like That: Simple and Efficient Parameter Upcycling for Mixture of Experts
par: Zhang, Qizhen, et autres
Publié: (2024)
par: Zhang, Qizhen, et autres
Publié: (2024)
Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in Multilingual Language Models
par: Rajaee, Sara, et autres
Publié: (2024)
par: Rajaee, Sara, et autres
Publié: (2024)
Efficient Benchmarking Is Just Feature Selection and Multiple Regression
par: Bowyer, Sam, et autres
Publié: (2026)
par: Bowyer, Sam, et autres
Publié: (2026)
Synthetic Tabular Data Generation for Imbalanced Classification: The Surprising Effectiveness of an Overlap Class
par: D'souza, Annie, et autres
Publié: (2024)
par: D'souza, Annie, et autres
Publié: (2024)
Novel Pathogenic Variant in Exon 31 of the TSC2 Gene Associated With a Severe Phenotype of Tuberous Sclerosis
par: Tabitha D'souza, et autres
Publié: (2025)
par: Tabitha D'souza, et autres
Publié: (2025)
The Disparate Impacts of Speculative Decoding
par: Sandler, Jameson, et autres
Publié: (2025)
par: Sandler, Jameson, et autres
Publié: (2025)
On the Limitations of Compute Thresholds as a Governance Strategy
par: Hooker, Sara
Publié: (2024)
par: Hooker, Sara
Publié: (2024)
Performance Control in Early Exiting to Deploy Large Models at the Same Cost of Smaller Ones
par: Mofakhami, Mehrnaz, et autres
Publié: (2024)
par: Mofakhami, Mehrnaz, et autres
Publié: (2024)
A Generative Approach to LLM Harmfulness Mitigation with Red Flag Tokens
par: Dobre, David, et autres
Publié: (2025)
par: Dobre, David, et autres
Publié: (2025)
An investigation of the possible scenarios for the optimal locating of quality sensors in the water distribution networks with uncertain contamination
par: Jafari, Hamideh, et autres
Publié: (2020)
par: Jafari, Hamideh, et autres
Publié: (2020)
Verification Limits Code LLM Training
par: Gureja, Srishti, et autres
Publié: (2025)
par: Gureja, Srishti, et autres
Publié: (2025)
Transforming mental health systems: The role of embedded researchers in advancing learning health systems
par: Miranda Field, et autres
Publié: (2025)
par: Miranda Field, et autres
Publié: (2025)
Tight Lower Bounds and Improved Convergence in Performative Prediction
par: Khorsandi, Pedram, et autres
Publié: (2024)
par: Khorsandi, Pedram, et autres
Publié: (2024)
Documents similaires
-
Aya Vision: Advancing the Frontier of Multilingual Multimodality
par: Dash, Saurabh, et autres
Publié: (2025) -
Aya 23: Open Weight Releases to Further Multilingual Progress
par: Aryabumi, Viraat, et autres
Publié: (2024) -
Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model
par: Üstün, Ahmet, et autres
Publié: (2024) -
To Code, or Not To Code? Exploring Impact of Code in Pre-training
par: Aryabumi, Viraat, et autres
Publié: (2024) -
Making, not Taking, the Best of N
par: Khairi, Ammar, et autres
Publié: (2025)