Buchumschlag

Leveraging Distillation Techniques for Document Understanding: A Case Study with FLAN-T5

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lamott, Marcel, Shakir, Muhammad Armaghan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LAPDoc: Layout-Aware Prompting for Documents
von: Lamott, Marcel, et al.
Veröffentlicht: (2024)

Beyond the Limits: A Survey of Techniques to Extend the Context Length in Large Language Models
von: Wang, Xindi, et al.
Veröffentlicht: (2024)

BanglaEmbed: Efficient Sentence Embedding Models for a Low-Resource Language Using Cross-Lingual Distillation Techniques
von: Kabir, Muhammad Rafsan, et al.
Veröffentlicht: (2024)

Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures
von: Omidi, Parsa, et al.
Veröffentlicht: (2025)

Understanding Structured Financial Data with LLMs: A Case Study on Fraud Detection
von: Tan, Xuwei, et al.
Veröffentlicht: (2025)

Leveraging Parameter Efficient Training Methods for Low Resource Text Classification: A Case Study in Marathi
von: Deshmukh, Pranita, et al.
Veröffentlicht: (2024)

DocDjinn: Controllable Synthetic Document Generation with VLMs and Handwriting Diffusion
von: Lamott, Marcel, et al.
Veröffentlicht: (2026)

Leveraging Domain Knowledge for Efficient Reward Modelling in RLHF: A Case-Study in E-Commerce Opinion Summarization
von: Nath, Swaroop, et al.
Veröffentlicht: (2024)

Leveraging Zero-Shot Prompting for Efficient Language Model Distillation
von: Vöge, Lukas, et al.
Veröffentlicht: (2024)

Meta-Tuning LLMs to Leverage Lexical Knowledge for Generalizable Language Style Understanding
von: Guo, Ruohao, et al.
Veröffentlicht: (2023)

Document Understanding, Measurement, and Manipulation Using Category Theory
von: Claypoole, Jared, et al.
Veröffentlicht: (2025)

Can We Use Probing to Better Understand Fine-tuning and Knowledge Distillation of the BERT NLU?
von: Hościłowicz, Jakub, et al.
Veröffentlicht: (2023)

ToolFactory: Automating Tool Generation by Leveraging LLM to Understand REST API Documentations
von: Ni, Xinyi, et al.
Veröffentlicht: (2025)

Advancing Exchange Rate Forecasting: Leveraging Machine Learning and AI for Enhanced Accuracy in Global Financial Markets
von: Rahat, Md. Yeasin, et al.
Veröffentlicht: (2025)

Exploring the Limits of Model Compression in LLMs: A Knowledge Distillation Study on QA Tasks
von: Datta, Joyeeta, et al.
Veröffentlicht: (2025)

Exploring Ordinality in Text Classification: A Comparative Study of Explicit and Implicit Techniques
von: Kasa, Siva Rajesh, et al.
Veröffentlicht: (2024)

Leveraging Large Language Models for Automated Causal Loop Diagram Generation: Enhancing System Dynamics Modeling through Curated Prompting Techniques
von: Liu, Ning-Yuan Georgia, et al.
Veröffentlicht: (2025)

Neural Sequence-to-Sequence Modeling with Attention by Leveraging Deep Learning Architectures for Enhanced Contextual Understanding in Abstractive Text Summarization
von: Challagundla, Bhavith Chandra, et al.
Veröffentlicht: (2024)

AI-Generated Text Detection in Low-Resource Languages: A Case Study on Urdu
von: Ammar, Muhammad, et al.
Veröffentlicht: (2025)

Leveraging Large Language Models for Bengali Math Word Problem Solving with Chain of Thought Reasoning
von: Paul, Bidyarthi, et al.
Veröffentlicht: (2025)

Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
von: Zhao, Siyan, et al.
Veröffentlicht: (2026)

BitNet Distillation
von: Wu, Xun, et al.
Veröffentlicht: (2025)

Self-Distilled RLVR
von: Yang, Chenxu, et al.
Veröffentlicht: (2026)

DiLM: Distilling Dataset into Language Model for Text-level Dataset Distillation
von: Maekawa, Aru, et al.
Veröffentlicht: (2024)

Breaking MLPerf Training: A Case Study on Optimizing BERT
von: Kim, Yongdeok, et al.
Veröffentlicht: (2024)

DRAG: Distilling RAG for SLMs from LLMs to Transfer Knowledge and Mitigate Hallucination via Evidence and Graph-based Distillation
von: Chen, Jennifer, et al.
Veröffentlicht: (2025)

Enhancing Clinical Documentation with Synthetic Data: Leveraging Generative Models for Improved Accuracy
von: Biswas, Anjanava, et al.
Veröffentlicht: (2024)

Towards Understanding the Word Sensitivity of Attention Layers: A Study via Random Features
von: Bombari, Simone, et al.
Veröffentlicht: (2024)

Knowledge Distillation with Training Wheels
von: Liu, Guanlin, et al.
Veröffentlicht: (2025)

Trust Region On-Policy Distillation
von: Xing, Xingrun, et al.
Veröffentlicht: (2026)

A Survey of On-Policy Distillation for Large Language Models
von: Song, Mingyang, et al.
Veröffentlicht: (2026)

Knowledge Distillation and Dataset Distillation of Large Language Models: Emerging Trends, Challenges, and Future Directions
von: Fang, Luyang, et al.
Veröffentlicht: (2025)

Sociolinguistically Informed Interpretability: A Case Study on Hinglish Emotion Classification
von: Tatariya, Kushal, et al.
Veröffentlicht: (2024)

LLM Library Learning Fails: A LEGO-Prover Case Study
von: Berlot-Attwell, Ian, et al.
Veröffentlicht: (2025)

Leverage Unlearning to Sanitize LLMs
von: Boutet, Antoine, et al.
Veröffentlicht: (2025)

Leveraging the true depth of LLMs
von: González, Ramón Calvo, et al.
Veröffentlicht: (2025)

A Comprehensive Study on Quantization Techniques for Large Language Models
von: Lang, Jiedong, et al.
Veröffentlicht: (2024)

Understanding Post-hoc Explainers: The Case of Anchors
von: Lopardo, Gianluigi, et al.
Veröffentlicht: (2023)

Pretraining Language Models with Subword Regularization: An Empirical Study of BPE Dropout in Low-Resource NLP
von: Visser, Ruan, et al.
Veröffentlicht: (2026)

Topic-VQ-VAE: Leveraging Latent Codebooks for Flexible Topic-Guided Document Generation
von: Yoo, YoungJoon, et al.
Veröffentlicht: (2023)