Buchumschlag

PBEBench: A Multi-Step Programming by Examples Reasoning Benchmark inspired by Historical Linguistics

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Naik, Atharva, Prakam, Mathur, Yash, Agrawal, Darsh, Kapadnis, Manav, An, Yuwei, Marr, Clayton, Rose, Carolyn, Mortensen, David
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

ReaComp: Compiling LLM Reasoning into Symbolic Solvers for Efficient Program Synthesis
von: Naik, Atharva, et al.
Veröffentlicht: (2026)

Programming by Examples Meets Historical Linguistics: A Large Language Model Based Approach to Sound Law Induction
von: Naik, Atharva, et al.
Veröffentlicht: (2025)

CRScore++: Reinforcement Learning with Verifiable Tool and AI Feedback for Code Review
von: Kapadnis, Manav Nitin, et al.
Veröffentlicht: (2025)

ChartEditBench: Evaluating Grounded Multi-Turn Chart Editing in Multimodal Language Models
von: Kapadnis, Manav Nitin, et al.
Veröffentlicht: (2026)

MetaLint: Easy-to-Hard Generalization for Code Linting
von: Naik, Atharva, et al.
Veröffentlicht: (2025)

Can Large Language Models Code Like a Linguist?: A Case Study in Low Resource Sound Law Induction
von: Naik, Atharva, et al.
Veröffentlicht: (2024)

Data Augmentation for Code Translation with Comparable Corpora and Multiple References
von: Xie, Yiqing, et al.
Veröffentlicht: (2023)

An Empirical Study on Strong-Weak Model Collaboration for Repo-level Code Generation
von: Gandhi, Shubham, et al.
Veröffentlicht: (2025)

CRScore: Grounding Automated Evaluation of Code Review Comments in Code Claims and Smells
von: Naik, Atharva, et al.
Veröffentlicht: (2024)

$FastDoc$: Domain-Specific Fast Continual Pre-training Technique using Document-Level Metadata and Taxonomy
von: Nandy, Abhilash, et al.
Veröffentlicht: (2023)

On the Limitations of Embedding Based Methods for Measuring Functional Correctness for Code Generation
von: Naik, Atharva
Veröffentlicht: (2024)

PragWorld: A Benchmark Evaluating LLMs' Local World Model under Minimal Linguistic Alterations and Conversational Dynamics
von: Vashistha, Sachin, et al.
Veröffentlicht: (2025)

SERPENT-VLM : Self-Refining Radiology Report Generation Using Vision Language Models
von: Kapadnis, Manav Nitin, et al.
Veröffentlicht: (2024)

Contribution of $π^0$ Exchange in Elastic Muon-Proton Scattering
von: Naik, Atharva, et al.
Veröffentlicht: (2024)

LingBench++: A Linguistically-Informed Benchmark and Reasoning Framework for Multi-Step and Cross-Cultural Inference with LLMs
von: Lian, Da-Chen, et al.
Veröffentlicht: (2025)

Distilling Multi-Scale Knowledge for Event Temporal Relation Extraction
von: Yao, Hao-Ren, et al.
Veröffentlicht: (2022)

BITS Pilani at SemEval-2026 Task 9: Structured Supervised Fine-Tuning with DPO Refinement for Polarization Detection
von: Gupta, Atharva, et al.
Veröffentlicht: (2026)

Thinking fast and slow -- a cognitive inspired framework for decision intelligence for power systems
von: Mathur, Apoorv
Veröffentlicht: (2026)

IOLBENCH: Benchmarking LLMs on Linguistic Reasoning
von: Goyal, Satyam, et al.
Veröffentlicht: (2025)

GraphIC: A Graph-Based In-Context Example Retrieval Model for Multi-Step Reasoning
von: Fu, Jiale, et al.
Veröffentlicht: (2024)

Step-by-Step Reasoning Attack: Revealing 'Erased' Knowledge in Large Language Models
von: Sinha, Yash, et al.
Veröffentlicht: (2025)

Dynamics of number entropy for free fermionic systems in presence of defects and stochastic processes
von: Naik, Atharva, et al.
Veröffentlicht: (2025)

Variable Time-Step MPC for Agile Multi-Rotor UAV Interception of Dynamic Targets
von: Ghotavadekar, Atharva, et al.
Veröffentlicht: (2025)

Development and Validation of an ICP‐OES Method to Determine Extractable and Leachable Metals in HDPE (Plastic) Pharmaceutical Packaging Material
von: Gaurav Kapadnis, et al.
Veröffentlicht: (2024)

ProcBench: Benchmark for Multi-Step Reasoning and Following Procedure
von: Fujisawa, Ippei, et al.
Veröffentlicht: (2024)

Error Estimation for Adaptive Mesh Refinement in Droplet Simulations
von: Nathawani, Darsh, et al.
Veröffentlicht: (2025)

A one-dimensional mathematical model for shear-induced droplet formation in co-flowing fluids
von: Nathawani, Darsh, et al.
Veröffentlicht: (2023)

Useless but Safe? Benchmarking Utility Recovery with User Intent Clarification in Multi-Turn Conversations
von: Zheng, Mingqian, et al.
Veröffentlicht: (2026)

The Routledge Handbook of Historical Linguistics
Veröffentlicht: (2021)

Multi-Step Reasoning for Embodied Question Answering via Tool Augmentation
von: Zhai, Mingliang, et al.
Veröffentlicht: (2025)

LINGOLY: A Benchmark of Olympiad-Level Linguistic Reasoning Puzzles in Low-Resource and Extinct Languages
von: Bean, Andrew M., et al.
Veröffentlicht: (2024)

Example-Based Reasoning about the Realizability of Polymorphic Programs
von: Mulleners, Niek, et al.
Veröffentlicht: (2024)

On Code-Induced Reasoning in LLMs
von: Waheed, Abdul, et al.
Veröffentlicht: (2025)

Generating Situated Reflection Triggers about Alternative Solution Paths: A Case Study of Generative AI for Computer-Supported Collaborative Learning
von: Naik, Atharva, et al.
Veröffentlicht: (2024)

GLIDR: Graph-Like Inductive Logic Programming with Differentiable Reasoning
von: Johnson, Blair, et al.
Veröffentlicht: (2025)

Learning When to Act or Refuse: Guarding Agentic Reasoning Models for Safe Multi-Step Tool Use
von: Agarwal, Aradhye, et al.
Veröffentlicht: (2026)

FRIEDA: Benchmarking Multi-Step Cartographic Reasoning in Vision-Language Models
von: Pyo, Jiyoon, et al.
Veröffentlicht: (2025)

Pencil Puzzle Bench: A Benchmark for Multi-Step Verifiable Reasoning
von: Waugh, Justin
Veröffentlicht: (2026)

VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos
von: Yu, Jiashuo, et al.
Veröffentlicht: (2025)

CounterCurate: Enhancing Physical and Semantic Visio-Linguistic Compositional Reasoning via Counterfactual Examples
von: Zhang, Jianrui, et al.
Veröffentlicht: (2024)