From Form(s) to Meaning: Probing the Semantic Depths of Language Models Using Multisense Consistency
Fuente:
arXiv
Salvato in:
| Autori principali: | Ohmer, Xenia, Bruni, Elia, Hupkes, Dieuwke |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Interpretability of Language Models via Task Spaces
di: Weber, Lucas, et al.
Pubblicazione: (2024)
di: Weber, Lucas, et al.
Pubblicazione: (2024)
Bidirectional Emergent Language in Situated Environments
di: Wolff, Cornelius, et al.
Pubblicazione: (2024)
di: Wolff, Cornelius, et al.
Pubblicazione: (2024)
Compute Optimal Scaling of Skills: Knowledge vs Reasoning
di: Roberts, Nicholas, et al.
Pubblicazione: (2025)
di: Roberts, Nicholas, et al.
Pubblicazione: (2025)
Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges
di: Thakur, Aman Singh, et al.
Pubblicazione: (2024)
di: Thakur, Aman Singh, et al.
Pubblicazione: (2024)
MultiLoKo: a multilingual local knowledge benchmark for LLMs spanning 31 languages
di: Hupkes, Dieuwke, et al.
Pubblicazione: (2025)
di: Hupkes, Dieuwke, et al.
Pubblicazione: (2025)
GRASP: A novel benchmark for evaluating language GRounding And Situated Physics understanding in multimodal language models
di: Jassim, Serwan, et al.
Pubblicazione: (2023)
di: Jassim, Serwan, et al.
Pubblicazione: (2023)
On the Relationship between Skill Neurons and Robustness in Prompt Tuning
di: Ackermann, Leon, et al.
Pubblicazione: (2023)
di: Ackermann, Leon, et al.
Pubblicazione: (2023)
Lost in Inference: Rediscovering the Role of Natural Language Inference for Large Language Models
di: Madaan, Lovish, et al.
Pubblicazione: (2024)
di: Madaan, Lovish, et al.
Pubblicazione: (2024)
Semantic Consistency for Assuring Reliability of Large Language Models
di: Raj, Harsh, et al.
Pubblicazione: (2023)
di: Raj, Harsh, et al.
Pubblicazione: (2023)
Probing Multimodal Large Language Models for Global and Local Semantic Representations
di: Tao, Mingxu, et al.
Pubblicazione: (2024)
di: Tao, Mingxu, et al.
Pubblicazione: (2024)
Semantic Layered Embedding Diffusion in Large Language Models for Multi-Contextual Consistency
di: Kabakum, Irin, et al.
Pubblicazione: (2025)
di: Kabakum, Irin, et al.
Pubblicazione: (2025)
From Phonemes to Meaning: Evaluating Large Language Models on Tamil
di: Varsha, Jeyarajalingam, et al.
Pubblicazione: (2025)
di: Varsha, Jeyarajalingam, et al.
Pubblicazione: (2025)
Integrate the Essence and Eliminate the Dross: Fine-Grained Self-Consistency for Free-Form Language Generation
di: Wang, Xinglin, et al.
Pubblicazione: (2024)
di: Wang, Xinglin, et al.
Pubblicazione: (2024)
Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs
di: Joo, Minsuh, et al.
Pubblicazione: (2025)
di: Joo, Minsuh, et al.
Pubblicazione: (2025)
Pixels to Principles: Probing Intuitive Physics Understanding in Multimodal Language Models
di: Ballout, Mohamad, et al.
Pubblicazione: (2025)
di: Ballout, Mohamad, et al.
Pubblicazione: (2025)
Measuring Form and Function in Language Models
di: Martínez, Héctor Javier Vázquez, et al.
Pubblicazione: (2026)
di: Martínez, Héctor Javier Vázquez, et al.
Pubblicazione: (2026)
Word Meanings in Transformer Language Models
di: Grindrod, Jumbly, et al.
Pubblicazione: (2025)
di: Grindrod, Jumbly, et al.
Pubblicazione: (2025)
Nuance Matters: Probing Epistemic Consistency in Causal Reasoning
di: Cui, Shaobo, et al.
Pubblicazione: (2024)
di: Cui, Shaobo, et al.
Pubblicazione: (2024)
CLLMs: Consistency Large Language Models
di: Kou, Siqi, et al.
Pubblicazione: (2024)
di: Kou, Siqi, et al.
Pubblicazione: (2024)
Unpacking Let Alone: Human-Scale Models Generalize to a Rare Construction in Form but not Meaning
di: Scivetti, Wesley, et al.
Pubblicazione: (2025)
di: Scivetti, Wesley, et al.
Pubblicazione: (2025)
Tuning Language Models by Mixture-of-Depths Ensemble
di: Luo, Haoyan, et al.
Pubblicazione: (2024)
di: Luo, Haoyan, et al.
Pubblicazione: (2024)
The Differential Meaning of Models: A Framework for Analyzing the Structural Consequences of Semantic Modeling Decisions
di: Stine, Zachary K., et al.
Pubblicazione: (2025)
di: Stine, Zachary K., et al.
Pubblicazione: (2025)
Language Bias in LVLMs: From In-Depth Analysis to Simple and Effective Mitigation
di: Chen, Yangneng, et al.
Pubblicazione: (2026)
di: Chen, Yangneng, et al.
Pubblicazione: (2026)
Probing for Arithmetic Errors in Language Models
di: Sun, Yucheng, et al.
Pubblicazione: (2025)
di: Sun, Yucheng, et al.
Pubblicazione: (2025)
Improving Causal Interventions in Amnesic Probing with Mean Projection or LEACE
di: Dobrzeniecka, Alicja, et al.
Pubblicazione: (2025)
di: Dobrzeniecka, Alicja, et al.
Pubblicazione: (2025)
What is Sentiment Meant to Mean to Language Models?
di: Burnham, Michael
Pubblicazione: (2024)
di: Burnham, Michael
Pubblicazione: (2024)
Calibrating Reasoning in Language Models with Internal Consistency
di: Xie, Zhihui, et al.
Pubblicazione: (2024)
di: Xie, Zhihui, et al.
Pubblicazione: (2024)
Post-Training Language Models for Crosslingual Consistency
di: Liu, Tianyu, et al.
Pubblicazione: (2026)
di: Liu, Tianyu, et al.
Pubblicazione: (2026)
Prompt-based Depth Pruning of Large Language Models
di: Wee, Juyun, et al.
Pubblicazione: (2025)
di: Wee, Juyun, et al.
Pubblicazione: (2025)
DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and Improvement of Large Language Models
di: Cui, Wendi, et al.
Pubblicazione: (2024)
di: Cui, Wendi, et al.
Pubblicazione: (2024)
On the Semantics of Large Language Models
di: Schuele, Martin
Pubblicazione: (2025)
di: Schuele, Martin
Pubblicazione: (2025)
From Superficial Patterns to Semantic Understanding: Fine-Tuning Language Models on Contrast Sets
di: Petrov, Daniel
Pubblicazione: (2025)
di: Petrov, Daniel
Pubblicazione: (2025)
Abductive Reasoning with Syllogistic Forms in Large Language Models
di: Abe, Hirohiko, et al.
Pubblicazione: (2026)
di: Abe, Hirohiko, et al.
Pubblicazione: (2026)
Probing Causality Manipulation of Large Language Models
di: Zhang, Chenyang, et al.
Pubblicazione: (2024)
di: Zhang, Chenyang, et al.
Pubblicazione: (2024)
Probing and Steering Evaluation Awareness of Language Models
di: Nguyen, Jord, et al.
Pubblicazione: (2025)
di: Nguyen, Jord, et al.
Pubblicazione: (2025)
Probing Neural Topology of Large Language Models
di: Zheng, Yu, et al.
Pubblicazione: (2025)
di: Zheng, Yu, et al.
Pubblicazione: (2025)
Probing Persona-Dependent Preferences in Language Models
di: Gilg, Oscar, et al.
Pubblicazione: (2026)
di: Gilg, Oscar, et al.
Pubblicazione: (2026)
Negation Triplet Extraction with Syntactic Dependency and Semantic Consistency
di: Shi, Yuchen, et al.
Pubblicazione: (2024)
di: Shi, Yuchen, et al.
Pubblicazione: (2024)
iVISPAR -- An Interactive Visual-Spatial Reasoning Benchmark for VLMs
di: Mayer, Julius, et al.
Pubblicazione: (2025)
di: Mayer, Julius, et al.
Pubblicazione: (2025)
Beyond Memorization: Assessing Semantic Generalization in Large Language Models Using Phrasal Constructions
di: Scivetti, Wesley, et al.
Pubblicazione: (2025)
di: Scivetti, Wesley, et al.
Pubblicazione: (2025)
Documenti analoghi
-
Interpretability of Language Models via Task Spaces
di: Weber, Lucas, et al.
Pubblicazione: (2024) -
Bidirectional Emergent Language in Situated Environments
di: Wolff, Cornelius, et al.
Pubblicazione: (2024) -
Compute Optimal Scaling of Skills: Knowledge vs Reasoning
di: Roberts, Nicholas, et al.
Pubblicazione: (2025) -
Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges
di: Thakur, Aman Singh, et al.
Pubblicazione: (2024) -
MultiLoKo: a multilingual local knowledge benchmark for LLMs spanning 31 languages
di: Hupkes, Dieuwke, et al.
Pubblicazione: (2025)