Buchumschlag

Can Pretrained Language Models Derive Correct Semantics from Corrupt Subwords under Noise?

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Xinzhe, Liu, Ming, Gao, Shang
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

GRAMMAR: Grounded and Modular Methodology for Assessment of Closed-Domain Retrieval-Augmented Language Model
von: Li, Xinzhe, et al.
Veröffentlicht: (2024)

Make Text Unlearnable: Exploiting Effective Patterns to Protect Personal Data
von: Li, Xinzhe, et al.
Veröffentlicht: (2023)

A Survey on Out-of-Distribution Evaluation of Neural NLP Models
von: Li, Xinzhe, et al.
Veröffentlicht: (2023)

Pretraining Language Models with Subword Regularization: An Empirical Study of BPE Dropout in Low-Resource NLP
von: Visser, Ruan, et al.
Veröffentlicht: (2026)

Tokenization Falling Short: On Subword Robustness in Large Language Models
von: Chai, Yekun, et al.
Veröffentlicht: (2024)

Rethinking ChatGPT's Success: Usability and Cognitive Behaviors Enabled by Auto-regressive LLMs' Prompting
von: Li, Xinzhe, et al.
Veröffentlicht: (2024)

Morphological Typology in BPE Subword Productivity and Language Modeling
von: Parra, Iñigo
Veröffentlicht: (2024)

Tomato, Tomahto, Tomate: Do Multilingual Language Models Understand Based on Subword-Level Semantic Concepts?
von: Zhang, Crystina, et al.
Veröffentlicht: (2024)

OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining
von: Liu, Yihong, et al.
Veröffentlicht: (2023)

Understanding Subword Compositionality of Large Language Models
von: Peng, Qiwei, et al.
Veröffentlicht: (2025)

The Learning Dynamics of Subword Segmentation for Morphologically Diverse Languages
von: Meyer, Francois, et al.
Veröffentlicht: (2025)

On the Effect of (Near) Duplicate Subwords in Language Modelling
von: Schäfer, Anton, et al.
Veröffentlicht: (2024)

Distributional Properties of Subword Regularization
von: Cognetta, Marco, et al.
Veröffentlicht: (2024)

Lexically Grounded Subword Segmentation
von: Libovický, Jindřich, et al.
Veröffentlicht: (2024)

Evaluating Subword Tokenization: Alien Subword Composition and OOV Generalization Challenge
von: Batsuren, Khuyagbaatar, et al.
Veröffentlicht: (2024)

Decoupling the Benefits of Subword Tokenization for Language Model Training via Byte-level Simulation
von: Gigant, Théo, et al.
Veröffentlicht: (2026)

Token Alignment via Character Matching for Subword Completion
von: Athiwaratkun, Ben, et al.
Veröffentlicht: (2024)

A Systematic Survey of Semantic Role Labeling in the Era of Pretrained Language Models
von: Chen, Huiyao, et al.
Veröffentlicht: (2025)

Leading Whitespaces of Language Models' Subword Vocabulary Pose a Confound for Calculating Word Probabilities
von: Oh, Byung-Doh, et al.
Veröffentlicht: (2024)

Stolen Subwords: Importance of Vocabularies for Machine Translation Model Stealing
von: Zouhar, Vilém
Veröffentlicht: (2024)

Multilingual Knowledge Graph Completion from Pretrained Language Models with Knowledge Constraints
von: Song, Ran, et al.
Veröffentlicht: (2024)

ByteSpan: Information-Driven Subword Tokenisation
von: Goriely, Zébulon, et al.
Veröffentlicht: (2025)

Subword Tokenization Strategies for Kurdish Word Embeddings
von: Salehi, Ali, et al.
Veröffentlicht: (2025)

Enhancing Coreference Resolution with Pretrained Language Models: Bridging the Gap Between Syntax and Semantics
von: Liu, Xingzu, et al.
Veröffentlicht: (2025)

A Comprehensive Evaluation of Semantic Relation Knowledge of Pretrained Language Models and Humans
von: Cao, Zhihan, et al.
Veröffentlicht: (2024)

Entailment Semantics Can Be Extracted from an Ideal Language Model
von: Merrill, William, et al.
Veröffentlicht: (2022)

Smaller Large Language Models Can Do Moral Self-Correction
von: Liu, Guangliang, et al.
Veröffentlicht: (2024)

Subword models struggle with word learning, but surprisal hides it
von: Bunzeck, Bastian, et al.
Veröffentlicht: (2025)

Transferring Extreme Subword Style Using Ngram Model-Based Logit Scaling
von: Messner, Craig, et al.
Veröffentlicht: (2025)

LGSE: Lexically Grounded Subword Embedding Initialization for Low-Resource Language Adaptation
von: Teklehaymanot, Hailay, et al.
Veröffentlicht: (2026)

Learning Mutually Informed Representations for Characters and Subwords
von: Wang, Yilin, et al.
Veröffentlicht: (2023)

Team Ryu's Submission to SIGMORPHON 2024 Shared Task on Subword Tokenization
von: Li, Zilong
Veröffentlicht: (2024)

StochasTok: Improving Fine-Grained Subword Understanding in LLMs
von: Sims, Anya, et al.
Veröffentlicht: (2025)

Human Speech Perception in Noise: Can Large Language Models Paraphrase to Improve It?
von: Chingacham, Anupama, et al.
Veröffentlicht: (2024)

Can Language Models Be Tricked by Language Illusions? Easier with Syntax, Harder with Semantics
von: Zhang, Yuhan, et al.
Veröffentlicht: (2023)

Emergent Abilities of Large Language Models under Continued Pretraining for Language Adaptation
von: Elhady, Ahmed, et al.
Veröffentlicht: (2025)

LLMs Can Also Do Well! Breaking Barriers in Semantic Role Labeling via Large Language Models
von: Li, Xinxin, et al.
Veröffentlicht: (2025)

Beyond Random Sampling: Efficient Language Model Pretraining via Curriculum Learning
von: Zhang, Yang, et al.
Veröffentlicht: (2025)

A Review of Prominent Paradigms for LLM-Based Agents: Tool Use (Including RAG), Planning, and Feedback Learning
von: Li, Xinzhe
Veröffentlicht: (2024)

Why Can Large Language Models Generate Correct Chain-of-Thoughts?
von: Tutunov, Rasul, et al.
Veröffentlicht: (2023)