Measuring and Guiding Monosemanticity
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Härle, Ruben, Friedrich, Felix, Brack, Manuel, Wäldchen, Stephan, Deiseroth, Björn, Schramowski, Patrick, Kersting, Kristian |
|---|---|
| Format: | Preprint |
| Publié: |
2025
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
SCAR: Sparse Conditioned Autoencoders for Concept Detection and Steering in LLMs
par: Härle, Ruben, et autres
Publié: (2024)
par: Härle, Ruben, et autres
Publié: (2024)
T-FREE: Subword Tokenizer-Free Generative LLMs via Sparse Representations for Memory-Efficient Embeddings
par: Deiseroth, Björn, et autres
Publié: (2024)
par: Deiseroth, Björn, et autres
Publié: (2024)
LIME: Making LLM Data More Efficient with Linguistic Metadata Embeddings
par: Sztwiertnia, Sebastian, et autres
Publié: (2025)
par: Sztwiertnia, Sebastian, et autres
Publié: (2025)
Beyond Overcorrection: Evaluating Diversity in T2I Models with DivBench
par: Friedrich, Felix, et autres
Publié: (2025)
par: Friedrich, Felix, et autres
Publié: (2025)
Divergent Token Metrics: Measuring degradation to prune away LLM components -- and optimize quantization
par: Deiseroth, Björn, et autres
Publié: (2023)
par: Deiseroth, Björn, et autres
Publié: (2023)
Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You
par: Friedrich, Felix, et autres
Publié: (2024)
par: Friedrich, Felix, et autres
Publié: (2024)
AtMan: Understanding Transformer Predictions Through Memory Efficient Attention Manipulation
par: Deiseroth, Björn, et autres
Publié: (2023)
par: Deiseroth, Björn, et autres
Publié: (2023)
LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Inconsistencies
par: Friedrich, Felix, et autres
Publié: (2024)
par: Friedrich, Felix, et autres
Publié: (2024)
LlavaGuard: An Open VLM-based Framework for Safeguarding Vision Datasets and Models
par: Helff, Lukas, et autres
Publié: (2024)
par: Helff, Lukas, et autres
Publié: (2024)
Exploiting Cultural Biases via Homoglyphs in Text-to-Image Synthesis
par: Struppek, Lukas, et autres
Publié: (2022)
par: Struppek, Lukas, et autres
Publié: (2022)
CHRONOBERG: Capturing Language Evolution and Temporal Awareness in Foundation Models
par: Hegde, Niharika, et autres
Publié: (2025)
par: Hegde, Niharika, et autres
Publié: (2025)
Does CLIP Know My Face?
par: Hintersdorf, Dominik, et autres
Publié: (2022)
par: Hintersdorf, Dominik, et autres
Publié: (2022)
AtManRL: Towards Faithful Reasoning via Differentiable Attention Saliency
par: Höth, Max Henning, et autres
Publié: (2026)
par: Höth, Max Henning, et autres
Publié: (2026)
Core Tokensets for Data-efficient Sequential Training of Transformers
par: Paul, Subarnaduti, et autres
Publié: (2024)
par: Paul, Subarnaduti, et autres
Publié: (2024)
Bounding Hallucinations: Information-Theoretic Guarantees for RAG Systems via Merlin-Arthur Protocols
par: Deiseroth, Björn, et autres
Publié: (2025)
par: Deiseroth, Björn, et autres
Publié: (2025)
ActivationReasoning: Logical Reasoning in Latent Activation Spaces
par: Helff, Lukas, et autres
Publié: (2025)
par: Helff, Lukas, et autres
Publié: (2025)
LEDITS++: Limitless Image Editing using Text-to-Image Models
par: Brack, Manuel, et autres
Publié: (2023)
par: Brack, Manuel, et autres
Publié: (2023)
How to Train your Text-to-Image Model: Evaluating Design Choices for Synthetic Training Captions
par: Brack, Manuel, et autres
Publié: (2025)
par: Brack, Manuel, et autres
Publié: (2025)
ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming
par: Tedeschi, Simone, et autres
Publié: (2024)
par: Tedeschi, Simone, et autres
Publié: (2024)
A Typology for Exploring the Mitigation of Shortcut Behavior
par: Friedrich, Felix, et autres
Publié: (2022)
par: Friedrich, Felix, et autres
Publié: (2022)
Aleph-Alpha-GermanWeb: Improving German-language LLM pre-training with model-based data curation and synthetic data generation
par: Burns, Thomas F, et autres
Publié: (2025)
par: Burns, Thomas F, et autres
Publié: (2025)
DeiSAM: Segment Anything with Deictic Prompting
par: Shindo, Hikaru, et autres
Publié: (2024)
par: Shindo, Hikaru, et autres
Publié: (2024)
No Safe Dose: How Training Data Drives Unsafe Image Generation
par: Friedrich, Felix, et autres
Publié: (2026)
par: Friedrich, Felix, et autres
Publié: (2026)
SLR: Automated Synthesis for Scalable Logical Reasoning
par: Helff, Lukas, et autres
Publié: (2025)
par: Helff, Lukas, et autres
Publié: (2025)
LLMs Gaming Verifiers: RLVR can Lead to Reward Hacking
par: Helff, Lukas, et autres
Publié: (2026)
par: Helff, Lukas, et autres
Publié: (2026)
Encourage or Inhibit Monosemanticity? Revisit Monosemanticity from a Feature Decorrelation Perspective
par: Yan, Hanqi, et autres
Publié: (2024)
par: Yan, Hanqi, et autres
Publié: (2024)
Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models
par: Neitemeier, Pit, et autres
Publié: (2025)
par: Neitemeier, Pit, et autres
Publié: (2025)
Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models
par: Ali, Mehdi, et autres
Publié: (2025)
par: Ali, Mehdi, et autres
Publié: (2025)
Polysemantic Experts, Monosemantic Paths: Routing as Control in MoEs
par: Ye, Charles, et autres
Publié: (2026)
par: Ye, Charles, et autres
Publié: (2026)
The Cake that is Intelligence and Who Gets to Bake it: An AI Analogy and its Implications for Participation
par: Mundt, Martin, et autres
Publié: (2025)
par: Mundt, Martin, et autres
Publié: (2025)
EmoNet-Voice: A Fine-Grained, Expert-Verified Benchmark for Speech Emotion Detection
par: Schuhmann, Christoph, et autres
Publié: (2025)
par: Schuhmann, Christoph, et autres
Publié: (2025)
Learning by Self-Explaining
par: Stammer, Wolfgang, et autres
Publié: (2023)
par: Stammer, Wolfgang, et autres
Publié: (2023)
ART: Adaptive Relation Tuning for Generalized Relation Prediction
par: Sudhakaran, Gopika, et autres
Publié: (2025)
par: Sudhakaran, Gopika, et autres
Publié: (2025)
A Monosemantic Attribution Framework for Stable Interpretability in Clinical Neuroscience Transformer-Based Language Models
par: Mamalakis, Michail, et autres
Publié: (2026)
par: Mamalakis, Michail, et autres
Publié: (2026)
Defending Our Privacy With Backdoors
par: Hintersdorf, Dominik, et autres
Publié: (2023)
par: Hintersdorf, Dominik, et autres
Publié: (2023)
Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information
par: Struppek, Lukas, et autres
Publié: (2025)
par: Struppek, Lukas, et autres
Publié: (2025)
STRICTA: Structured Reasoning in Critical Text Assessment for Peer Review and Beyond
par: Dycke, Nils, et autres
Publié: (2024)
par: Dycke, Nils, et autres
Publié: (2024)
Soft Begging: Modular and Efficient Shielding of LLMs against Prompt Injection and Jailbreaking based on Prompt Tuning
par: Ostermann, Simon, et autres
Publié: (2024)
par: Ostermann, Simon, et autres
Publié: (2024)
Multilingual Steering by Design: Multilingual Sparse Autoencoders and Principled Layer Selection
par: Ghussin, Yusser Al, et autres
Publié: (2026)
par: Ghussin, Yusser Al, et autres
Publié: (2026)
SocialGrid: A Benchmark for Planning and Social Reasoning in Embodied Multi-Agent Systems
par: Shindo, Hikaru, et autres
Publié: (2026)
par: Shindo, Hikaru, et autres
Publié: (2026)
Documents similaires
-
SCAR: Sparse Conditioned Autoencoders for Concept Detection and Steering in LLMs
par: Härle, Ruben, et autres
Publié: (2024) -
T-FREE: Subword Tokenizer-Free Generative LLMs via Sparse Representations for Memory-Efficient Embeddings
par: Deiseroth, Björn, et autres
Publié: (2024) -
LIME: Making LLM Data More Efficient with Linguistic Metadata Embeddings
par: Sztwiertnia, Sebastian, et autres
Publié: (2025) -
Beyond Overcorrection: Evaluating Diversity in T2I Models with DivBench
par: Friedrich, Felix, et autres
Publié: (2025) -
Divergent Token Metrics: Measuring degradation to prune away LLM components -- and optimize quantization
par: Deiseroth, Björn, et autres
Publié: (2023)