Buchumschlag

Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Jeffrey, Gardner, Josh, Kang, Doug, Shi, Fangping, Singh, Karanjeet, Li, Chun-Liang, Shandilya, Herumb, Hall, David, Tuzel, Oncel, Liang, Percy, Schmidt, Ludwig, Ansari, Hadi Pour, Faghri, Fartash
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CLIP with Quality Captions: A Strong Pretraining for Vision Tasks
von: Vasu, Pavan Kumar Anasosalu, et al.
Veröffentlicht: (2024)

MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training
von: Vasu, Pavan Kumar Anasosalu, et al.
Veröffentlicht: (2023)

MUSCLE: A Model Update Strategy for Compatible LLM Evolution
von: Echterhoff, Jessica, et al.
Veröffentlicht: (2024)

Knowledge Transfer from Vision Foundation Models for Efficient Training of Small Task-specific Models
von: Vemulapalli, Raviteja, et al.
Veröffentlicht: (2023)

TiC-LM: A Web-Scale Benchmark for Time-Continual LLM Pretraining
von: Li, Jeffrey, et al.
Veröffentlicht: (2025)

MobileCLIP2: Improving Multi-Modal Reinforced Training
von: Faghri, Fartash, et al.
Veröffentlicht: (2025)

TiC-CLIP: Continual Training of CLIP Models
von: Garg, Saurabh, et al.
Veröffentlicht: (2023)

Proxy-FDA: Proxy-based Feature Distribution Alignment for Fine-tuning Vision Foundation Models without Forgetting
von: Huang, Chen, et al.
Veröffentlicht: (2025)

FocalLens: Instruction Tuning Enables Zero-Shot Conditional Image Representations
von: Hsieh, Cheng-Yu, et al.
Veröffentlicht: (2025)

VSAS-Bench: Real-Time Evaluation of Visual Streaming Assistant Models
von: Vasu, Pavan Kumar Anasosalu, et al.
Veröffentlicht: (2026)

SAM-CLIP: Merging Vision Foundation Models towards Semantic and Spatial Understanding
von: Wang, Haoxiang, et al.
Veröffentlicht: (2023)

Pretraining with hierarchical memories: separating long-tail and common knowledge
von: Pouransari, Hadi, et al.
Veröffentlicht: (2025)

CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data
von: Mehta, Sachin, et al.
Veröffentlicht: (2024)

FastVLM: Efficient Vision Encoding for Vision Language Models
von: Vasu, Pavan Kumar Anasosalu, et al.
Veröffentlicht: (2024)

AMUSE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding
von: Chowdhury, Sanjoy, et al.
Veröffentlicht: (2025)

Data-Centric Lessons To Improve Speech-Language Pretraining
von: Udandarao, Vishaal, et al.
Veröffentlicht: (2025)

Graph-Based Captioning: Enhancing Visual Descriptions by Interconnecting Region Captions
von: Hsieh, Yu-Guan, et al.
Veröffentlicht: (2024)

Fantastic Pretraining Optimizers and Where to Find Them
von: Wen, Kaiyue, et al.
Veröffentlicht: (2025)

Beyond the hierarchy: Systems thinking to progress interprofessional workplace learning
von: Karanjeet Chauhan, et al.
Veröffentlicht: (2025)

Dataset Decomposition: Faster LLM Training with Variable Sequence Length Curriculum
von: Pouransari, Hadi, et al.
Veröffentlicht: (2024)

Learning from Self Critique and Refinement for Faithful LLM Summarization
von: Hu, Ting-Yao, et al.
Veröffentlicht: (2025)

LiTo: Surface Light Field Tokenization
von: Chang, Jen-Hao Rick, et al.
Veröffentlicht: (2026)

HTML-LSTM: Information Extraction from HTML Tables in Web Pages using Tree-Structured LSTM
von: Kawamura, Kazuki, et al.
Veröffentlicht: (2024)

TrajTok: Learning Trajectory Tokens enables better Video Understanding
von: Zheng, Chenhao, et al.
Veröffentlicht: (2026)

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
von: Mirzadeh, Iman, et al.
Veröffentlicht: (2024)

RayRoPE: Projective Ray Positional Encoding for Multi-view Attention
von: Wu, Yu, et al.
Veröffentlicht: (2026)

3D Shape Tokenization via Latent Flow Matching
von: Chang, Jen-Hao Rick, et al.
Veröffentlicht: (2024)

Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM
von: Liu, Mengjie, et al.
Veröffentlicht: (2025)

Benchmarking Distribution Shift in Tabular Data with TableShift
von: Gardner, Josh, et al.
Veröffentlicht: (2023)

Computational Bottlenecks of Training Small-scale Large Language Models
von: Ashkboos, Saleh, et al.
Veröffentlicht: (2024)

Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training
von: Liu, Hong, et al.
Veröffentlicht: (2023)

Large Scale Transfer Learning for Tabular Data via Language Modeling
von: Gardner, Josh, et al.
Veröffentlicht: (2024)

El uso de las redes sociales y la cultura popular para una mejor comprensión intercultural
von: Sait Tuzel
Veröffentlicht: (2017)

Anticipatory Music Transformer
von: Thickstun, John, et al.
Veröffentlicht: (2023)

Relative Scaling Laws for LLMs
von: Held, William, et al.
Veröffentlicht: (2025)

Oldest‐in‐Human Successful Extraction Experience of a Novel Substernal Extravascular Defibrillator
von: Karanjeet Chauhan, et al.
Veröffentlicht: (2024)

Barriers for Learning in an Evolving World: Mathematical Understanding of Loss of Plasticity
von: Joudaki, Amir, et al.
Veröffentlicht: (2025)

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization
von: Samragh, Mohammad, et al.
Veröffentlicht: (2024)

ATTIQA: Generalizable Image Quality Feature Extractor using Attribute-aware Pretraining
von: Kwon, Daekyu, et al.
Veröffentlicht: (2024)

MARE: Multi-Aspect Rationale Extractor on Unsupervised Rationale Extraction
von: Jiang, Han, et al.
Veröffentlicht: (2024)