Buchumschlag

MLP-KAN: Unifying Deep Representation and Function Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	He, Yunhong, Xie, Yifeng, Yuan, Zhengqing, Sun, Lichao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

AF-KAN: Activation Function-Based Kolmogorov-Arnold Networks for Efficient Representation Learning
von: Ta, Hoang-Thang, et al.
Veröffentlicht: (2025)

ArtGPT-4: Towards Artistic-understanding Large Vision-Language Models with Enhanced Adapter
von: Yuan, Zhengqing, et al.
Veröffentlicht: (2023)

FC-KAN: Function Combinations in Kolmogorov-Arnold Networks
von: Ta, Hoang-Thang, et al.
Veröffentlicht: (2024)

KAN versus MLP on Irregular or Noisy Functions
von: Zeng, Chen, et al.
Veröffentlicht: (2024)

MLP Fusion: Towards Efficient Fine-tuning of Dense and Mixture-of-Experts Language Models
von: Ai, Mengting, et al.
Veröffentlicht: (2023)

Half the Nonlinearity Is Wasted: Measuring and Reallocating the Transformer's MLP Budget
von: Balogh, Peter
Veröffentlicht: (2026)

In-Context Learning of a Linear Transformer Block: Benefits of the MLP Component and One-Step GD Initialization
von: Zhang, Ruiqi, et al.
Veröffentlicht: (2024)

Horizon-LM: A RAM-Centric Architecture for LLM Training
von: Yuan, Zhengqing, et al.
Veröffentlicht: (2026)

KAN v.s. MLP for Offline Reinforcement Learning
von: Guo, Haihong, et al.
Veröffentlicht: (2024)

Unified Scaling Laws for Compressed Representations
von: Panferov, Andrei, et al.
Veröffentlicht: (2025)

HyperMLP: An Integrated Perspective for Sequence Modeling
von: Lu, Jiecheng, et al.
Veröffentlicht: (2026)

RPN: Reconciled Polynomial Network Towards Unifying PGMs, Kernel SVMs, MLP and KAN
von: Zhang, Jiawei
Veröffentlicht: (2024)

Fortifying Ethical Boundaries in AI: Advanced Strategies for Enhancing Security in Large Language Models
von: He, Yunhong, et al.
Veröffentlicht: (2024)

EfficientLLM: Efficiency in Large Language Models
von: Yuan, Zhengqing, et al.
Veröffentlicht: (2025)

Deep Delta Learning
von: Zhang, Yifan, et al.
Veröffentlicht: (2026)

DeepRTL: Bridging Verilog Understanding and Generation with a Unified Representation Model
von: Liu, Yi, et al.
Veröffentlicht: (2025)

Group Representational Position Encoding
von: Zhang, Yifan, et al.
Veröffentlicht: (2025)

PowerMLP: An Efficient Version of KAN
von: Qiu, Ruichen, et al.
Veröffentlicht: (2024)

KAN or MLP: A Fairer Comparison
von: Yu, Runpeng, et al.
Veröffentlicht: (2024)

MegaTrain: Full Precision Training of 100B+ Parameter Large Language Models on a Single GPU
von: Yuan, Zhengqing, et al.
Veröffentlicht: (2026)

A comprehensive and FAIR comparison between MLP and KAN representations for differential equations and operator networks
von: Shukla, Khemraj, et al.
Veröffentlicht: (2024)

Incorporating Exponential Smoothing into MLP: A Simple but Effective Sequence Model
von: Chu, Jiqun, et al.
Veröffentlicht: (2024)

Interpreting Context Look-ups in Transformers: Investigating Attention-MLP Interactions
von: Neo, Clement, et al.
Veröffentlicht: (2024)

Toeplitz MLP Mixers are Low Complexity, Information-Rich Sequence Models
von: Badger, Benjamin L., et al.
Veröffentlicht: (2026)

SDMPrune: Self-Distillation MLP Pruning for Efficient Large Language Models
von: Zhu, Hourun, et al.
Veröffentlicht: (2025)

Unified Representation of Genomic and Biomedical Concepts through Multi-Task, Multi-Source Contrastive Learning
von: Yuan, Hongyi, et al.
Veröffentlicht: (2024)

Demystifying When Pruning Works via Representation Hierarchies
von: He, Shwai, et al.
Veröffentlicht: (2026)

Instruction Mining: Instruction Data Selection for Tuning Large Language Models
von: Cao, Yihan, et al.
Veröffentlicht: (2023)

Missing Premise exacerbates Overthinking: Are Reasoning Models losing Critical Thinking Skill?
von: Fan, Chenrui, et al.
Veröffentlicht: (2025)

Probe and Skip: Self-Predictive Token Skipping for Efficient Long-Context LLM Inference
von: Wu, Zimeng, et al.
Veröffentlicht: (2026)

Kernel-Smith: A Unified Recipe for Evolutionary Kernel Optimization
von: Du, He, et al.
Veröffentlicht: (2026)

JoMA: Demystifying Multilayer Transformers via JOint Dynamics of MLP and Attention
von: Tian, Yuandong, et al.
Veröffentlicht: (2023)

GPT Meets Graphs and KAN Splines: Testing Novel Frameworks on Multitask Fine-Tuned GPT-2 with LoRA
von: Bo, Gabriel, et al.
Veröffentlicht: (2025)

Bridge: A Unified Framework to Knowledge Graph Completion via Language Models and Knowledge Representation
von: Qiao, Qiao, et al.
Veröffentlicht: (2024)

Parameter-Efficient Tuning Large Language Models for Graph Representation Learning
von: Zhu, Qi, et al.
Veröffentlicht: (2024)

URRL-IMVC: Unified and Robust Representation Learning for Incomplete Multi-View Clustering
von: Teng, Ge, et al.
Veröffentlicht: (2024)

DETree: DEtecting Human-AI Collaborative Texts via Tree-Structured Hierarchical Representation Learning
von: He, Yongxin, et al.
Veröffentlicht: (2025)

Bridging KAN and MLP: MJKAN, a Hybrid Architecture with Both Efficiency and Expressiveness
von: Joo, Hanseon, et al.
Veröffentlicht: (2025)

Learning Task Representations from In-Context Learning
von: Saglam, Baturay, et al.
Veröffentlicht: (2025)

DeepScientist: Advancing Frontier-Pushing Scientific Findings Progressively
von: Weng, Yixuan, et al.
Veröffentlicht: (2025)