Buchumschlag

Egalitarian Language Representation in Language Models: It All Begins with Tokenizers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Velayuthan, Menan, Sarveswaran, Kengatharaiyer
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence I.2.7
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

From Phonemes to Meaning: Evaluating Large Language Models on Tamil
von: Varsha, Jeyarajalingam, et al.
Veröffentlicht: (2025)

AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3
von: Kashirskiy, Mark, et al.
Veröffentlicht: (2025)

Exploring Graph Representations of Logical Forms for Language Modeling
von: Sullivan, Michael
Veröffentlicht: (2025)

Beyond Token Length: Step Pruner for Efficient and Accurate Reasoning in Large Language Models
von: Wu, Canhui, et al.
Veröffentlicht: (2025)

Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models
von: Cacioli, Jon-Paul
Veröffentlicht: (2026)

Advancing Polish Language Modeling through Tokenizer Optimization in the Bielik v3 7B and 11B Series
von: Ociepa, Krzysztof, et al.
Veröffentlicht: (2026)

Large Language Model (LLM) Bias Index -- LLMBI
von: Oketunji, Abiodun Finbarrs, et al.
Veröffentlicht: (2023)

Text-Based Approaches to Item Difficulty Modeling in Large-Scale Assessments: A Systematic Review
von: Peters, Sydney, et al.
Veröffentlicht: (2025)

Language Models are Crossword Solvers
von: Saha, Soumadeep, et al.
Veröffentlicht: (2024)

Super Tiny Language Models
von: Hillier, Dylan, et al.
Veröffentlicht: (2024)

Robustness of Large Language Models to Perturbations in Text
von: Singh, Ayush, et al.
Veröffentlicht: (2024)

Adaptive Focus Memory for Language Models
von: Cruz, Christopher
Veröffentlicht: (2025)

Bielik 11B v3: Multilingual Large Language Model for European Languages
von: Ociepa, Krzysztof, et al.
Veröffentlicht: (2025)

Machine Translation Hallucination Detection for Low and High Resource Languages using Large Language Models
von: Benkirane, Kenza, et al.
Veröffentlicht: (2024)

Inference to the Best Explanation in Large Language Models
von: Dalal, Dhairya, et al.
Veröffentlicht: (2024)

Language Model Circuits Are Sparse in the Neuron Basis
von: Arora, Aryaman, et al.
Veröffentlicht: (2026)

Future Language Modeling from Temporal Document History
von: Li, Changmao, et al.
Veröffentlicht: (2024)

Streamlining Redundant Layers to Compress Large Language Models
von: Chen, Xiaodong, et al.
Veröffentlicht: (2024)

A comprehensive taxonomy of hallucinations in Large Language Models
von: Cossio, Manuel
Veröffentlicht: (2025)

Integrating Emotional and Linguistic Models for Ethical Compliance in Large Language Models
von: Chang, Edward Y.
Veröffentlicht: (2024)

Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language
von: Kinas, Remigiusz, et al.
Veröffentlicht: (2026)

RomanLens: The Role Of Latent Romanization In Multilinguality In LLMs
von: Saji, Alan, et al.
Veröffentlicht: (2025)

Prompt-Time Symbolic Knowledge Capture with Large Language Models
von: Çöplü, Tolga, et al.
Veröffentlicht: (2024)

Argumentative Large Language Models for Explainable and Contestable Claim Verification
von: Freedman, Gabriel, et al.
Veröffentlicht: (2024)

PatentGPT: A Large Language Model for Intellectual Property
von: Bai, Zilong, et al.
Veröffentlicht: (2024)

Reasoning over Uncertain Text by Generative Large Language Models
von: Nafar, Aliakbar, et al.
Veröffentlicht: (2024)

Partially Recentralization Softmax Loss for Vision-Language Models Robustness
von: Wang, Hao, et al.
Veröffentlicht: (2024)

Multi-Turn Interactions for Text-to-SQL with Large Language Models
von: Xiong, Guanming, et al.
Veröffentlicht: (2024)

Artificial Phantasia: Emergent Mental Imagery in Large Language Models
von: McCarty, Morgan, et al.
Veröffentlicht: (2025)

Enigme: Generative Text Puzzles for Evaluating Reasoning in Language Models
von: Hawkins, John
Veröffentlicht: (2025)

Demystifying Instruction Mixing for Fine-tuning Large Language Models
von: Wang, Renxi, et al.
Veröffentlicht: (2023)

Component-Aware Self-Speculative Decoding in Hybrid Language Models
von: Borobia, Hector, et al.
Veröffentlicht: (2026)

EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models
von: Paech, Samuel J.
Veröffentlicht: (2023)

Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach
von: Quevedo, Ernesto, et al.
Veröffentlicht: (2024)

Can Large Language Models perform Relation-based Argument Mining?
von: Gorur, Deniz, et al.
Veröffentlicht: (2024)

Assistive Large Language Model Agents for Socially-Aware Negotiation Dialogues
von: Hua, Yuncheng, et al.
Veröffentlicht: (2024)

A Practical Review of Mechanistic Interpretability for Transformer-Based Language Models
von: Rai, Daking, et al.
Veröffentlicht: (2024)

Search-R3: Unifying Reasoning and Embedding in Large Language Models
von: Gui, Yuntao, et al.
Veröffentlicht: (2025)

EMNLP: Educator-role Moral and Normative Large Language Models Profiling
von: Jiang, Yilin, et al.
Veröffentlicht: (2025)

Predictive Simultaneous Interpretation: Harnessing Large Language Models for Democratizing Real-Time Multilingual Communication
von: Iida, Kurando, et al.
Veröffentlicht: (2024)