Spectral Insights into Data-Oblivious Critical Layers in Large Language Models
Fuente:
arXiv
Salvato in:
| Autori principali: | Liu, Xuyuan, Hsiung, Lei, Yang, Yaoqing, Yan, Yujun |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Investigating Layer Importance in Large Language Models
di: Zhang, Yang, et al.
Pubblicazione: (2024)
di: Zhang, Yang, et al.
Pubblicazione: (2024)
Sparse Layers are Critical to Scaling Looped Language Models
di: Lee, Ryan, et al.
Pubblicazione: (2026)
di: Lee, Ryan, et al.
Pubblicazione: (2026)
Large Language Model Prompt Datasets: An In-depth Analysis and Insights
di: Zhang, Yuanming, et al.
Pubblicazione: (2025)
di: Zhang, Yuanming, et al.
Pubblicazione: (2025)
How Can Large Language Models Understand Spatial-Temporal Data?
di: Liu, Lei, et al.
Pubblicazione: (2024)
di: Liu, Lei, et al.
Pubblicazione: (2024)
A Critical Review of Causal Reasoning Benchmarks for Large Language Models
di: Yang, Linying, et al.
Pubblicazione: (2024)
di: Yang, Linying, et al.
Pubblicazione: (2024)
Why LLM Safety Guardrails Collapse After Fine-tuning: A Similarity Analysis Between Alignment and Fine-tuning Datasets
di: Hsiung, Lei, et al.
Pubblicazione: (2025)
di: Hsiung, Lei, et al.
Pubblicazione: (2025)
GENUINE: Graph Enhanced Multi-level Uncertainty Estimation for Large Language Models
di: Wang, Tuo, et al.
Pubblicazione: (2025)
di: Wang, Tuo, et al.
Pubblicazione: (2025)
DeepCritic: Deliberate Critique with Large Language Models
di: Yang, Wenkai, et al.
Pubblicazione: (2025)
di: Yang, Wenkai, et al.
Pubblicazione: (2025)
Frustratingly Easy Task-aware Pruning for Large Language Models
di: Tian, Yuanhe, et al.
Pubblicazione: (2025)
di: Tian, Yuanhe, et al.
Pubblicazione: (2025)
Iterative Layer-wise Distillation for Efficient Compression of Large Language Models
di: Kovalev, Grigory, et al.
Pubblicazione: (2025)
di: Kovalev, Grigory, et al.
Pubblicazione: (2025)
Layer by Layer: Uncovering Where Multi-Task Learning Happens in Instruction-Tuned Large Language Models
di: Zhao, Zheng, et al.
Pubblicazione: (2024)
di: Zhao, Zheng, et al.
Pubblicazione: (2024)
Rethinking Layer Relevance in Large Language Models Beyond Cosine Similarity
di: Hinostroza, Cristian, et al.
Pubblicazione: (2026)
di: Hinostroza, Cristian, et al.
Pubblicazione: (2026)
Does Representation Matter? Exploring Intermediate Layers in Large Language Models
di: Skean, Oscar, et al.
Pubblicazione: (2024)
di: Skean, Oscar, et al.
Pubblicazione: (2024)
Mitigating Memorization In Language Models
di: Sakarvadia, Mansi, et al.
Pubblicazione: (2024)
di: Sakarvadia, Mansi, et al.
Pubblicazione: (2024)
Scaling Embedding Layers in Language Models
di: Yu, Da, et al.
Pubblicazione: (2025)
di: Yu, Da, et al.
Pubblicazione: (2025)
A Survey on Medical Large Language Models: Technology, Application, Trustworthiness, and Future Directions
di: Liu, Lei, et al.
Pubblicazione: (2024)
di: Liu, Lei, et al.
Pubblicazione: (2024)
Spectral Generative Flow Models: A Physics-Inspired Replacement for Vectorized Large Language Models
di: Kiruluta, Andrew
Pubblicazione: (2026)
di: Kiruluta, Andrew
Pubblicazione: (2026)
Teach LLMs to Phish: Stealing Private Information from Language Models
di: Panda, Ashwinee, et al.
Pubblicazione: (2024)
di: Panda, Ashwinee, et al.
Pubblicazione: (2024)
Basis Sharing: Cross-Layer Parameter Sharing for Large Language Model Compression
di: Wang, Jingcun, et al.
Pubblicazione: (2024)
di: Wang, Jingcun, et al.
Pubblicazione: (2024)
Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments
di: Li, Jiaxi, et al.
Pubblicazione: (2025)
di: Li, Jiaxi, et al.
Pubblicazione: (2025)
ILRe: Intermediate Layer Retrieval for Context Compression in Causal Language Models
di: Liang, Manlai, et al.
Pubblicazione: (2025)
di: Liang, Manlai, et al.
Pubblicazione: (2025)
Spectral Editing of Activations for Large Language Model Alignment
di: Qiu, Yifu, et al.
Pubblicazione: (2024)
di: Qiu, Yifu, et al.
Pubblicazione: (2024)
Large Language Models as Agents in Two-Player Games
di: Liu, Yang, et al.
Pubblicazione: (2024)
di: Liu, Yang, et al.
Pubblicazione: (2024)
Addressing Stereotypes in Large Language Models: A Critical Examination and Mitigation
di: Kazi, Fatima
Pubblicazione: (2025)
di: Kazi, Fatima
Pubblicazione: (2025)
LayerIF: Estimating Layer Quality for Large Language Models using Influence Functions
di: Askari, Hadi, et al.
Pubblicazione: (2025)
di: Askari, Hadi, et al.
Pubblicazione: (2025)
On the Thinking-Language Modeling Gap in Large Language Models
di: Liu, Chenxi, et al.
Pubblicazione: (2025)
di: Liu, Chenxi, et al.
Pubblicazione: (2025)
Large Language Models for Intent-Driven Session Recommendations
di: Sun, Zhu, et al.
Pubblicazione: (2023)
di: Sun, Zhu, et al.
Pubblicazione: (2023)
Data Augmentations for Improved (Large) Language Model Generalization
di: Feder, Amir, et al.
Pubblicazione: (2023)
di: Feder, Amir, et al.
Pubblicazione: (2023)
Data-Centric AI in the Age of Large Language Models
di: Xu, Xinyi, et al.
Pubblicazione: (2024)
di: Xu, Xinyi, et al.
Pubblicazione: (2024)
Skywork-Math: Data Scaling Laws for Mathematical Reasoning in Large Language Models -- The Story Goes On
di: Zeng, Liang, et al.
Pubblicazione: (2024)
di: Zeng, Liang, et al.
Pubblicazione: (2024)
DavIR: Data Selection via Implicit Reward for Large Language Models
di: Zhou, Haotian, et al.
Pubblicazione: (2023)
di: Zhou, Haotian, et al.
Pubblicazione: (2023)
Synthetic Data Generation in Low-Resource Settings via Fine-Tuning of Large Language Models
di: Kaddour, Jean, et al.
Pubblicazione: (2023)
di: Kaddour, Jean, et al.
Pubblicazione: (2023)
An Ensemble Classification Approach in A Multi-Layered Large Language Model Framework for Disease Prediction
di: Hamdi, Ali, et al.
Pubblicazione: (2025)
di: Hamdi, Ali, et al.
Pubblicazione: (2025)
Sorted LLaMA: Unlocking the Potential of Intermediate Layers of Large Language Models for Dynamic Inference
di: Kavehzadeh, Parsa, et al.
Pubblicazione: (2023)
di: Kavehzadeh, Parsa, et al.
Pubblicazione: (2023)
GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning
di: Tian, Kaiyuan, et al.
Pubblicazione: (2026)
di: Tian, Kaiyuan, et al.
Pubblicazione: (2026)
Min-K%++: Improved Baseline for Detecting Pre-Training Data from Large Language Models
di: Zhang, Jingyang, et al.
Pubblicazione: (2024)
di: Zhang, Jingyang, et al.
Pubblicazione: (2024)
Layer Swapping for Zero-Shot Cross-Lingual Transfer in Large Language Models
di: Bandarkar, Lucas, et al.
Pubblicazione: (2024)
di: Bandarkar, Lucas, et al.
Pubblicazione: (2024)
Robust and Scalable Model Editing for Large Language Models
di: Chen, Yingfa, et al.
Pubblicazione: (2024)
di: Chen, Yingfa, et al.
Pubblicazione: (2024)
InfiFPO: Implicit Model Fusion via Preference Optimization in Large Language Models
di: Gu, Yanggan, et al.
Pubblicazione: (2025)
di: Gu, Yanggan, et al.
Pubblicazione: (2025)
Graph-Based Spectral Decomposition for Parameter Coordination in Language Model Fine-Tuning
di: Zhang, Hanlu, et al.
Pubblicazione: (2025)
di: Zhang, Hanlu, et al.
Pubblicazione: (2025)
Documenti analoghi
-
Investigating Layer Importance in Large Language Models
di: Zhang, Yang, et al.
Pubblicazione: (2024) -
Sparse Layers are Critical to Scaling Looped Language Models
di: Lee, Ryan, et al.
Pubblicazione: (2026) -
Large Language Model Prompt Datasets: An In-depth Analysis and Insights
di: Zhang, Yuanming, et al.
Pubblicazione: (2025) -
How Can Large Language Models Understand Spatial-Temporal Data?
di: Liu, Lei, et al.
Pubblicazione: (2024) -
A Critical Review of Causal Reasoning Benchmarks for Large Language Models
di: Yang, Linying, et al.
Pubblicazione: (2024)