Do LLMs Really Struggle at NL-FOL Translation? Revealing their Strengths via a Novel Benchmarking Strategy
Fuente:
arXiv
Salvato in:
| Autori principali: | Brunello, Andrea, Geatti, Luca, Mignani, Michele, Montanari, Angelo, Saccomanno, Nicola |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Automata-less Monitoring via Trace-Checking (Extended Version)
di: Brunello, Andrea, et al.
Pubblicazione: (2025)
di: Brunello, Andrea, et al.
Pubblicazione: (2025)
Interpretable Early Failure Detection via Machine Learning and Trace Checking-based Monitoring
di: Brunello, Andrea, et al.
Pubblicazione: (2025)
di: Brunello, Andrea, et al.
Pubblicazione: (2025)
Complexity of Safety and coSafety Fragments of Linear Temporal Logic
di: Artale, Alessandro, et al.
Pubblicazione: (2022)
di: Artale, Alessandro, et al.
Pubblicazione: (2022)
A first-order logic characterization of safety and co-safety languages
di: Cimatti, Alessandro, et al.
Pubblicazione: (2022)
di: Cimatti, Alessandro, et al.
Pubblicazione: (2022)
Succinctness of Cosafety Fragments of LTL via Combinatorial Proof Systems (extended version)
di: Geatti, Luca, et al.
Pubblicazione: (2024)
di: Geatti, Luca, et al.
Pubblicazione: (2024)
A General Automata Model for First-Order Temporal Logics (Extended Version)
di: Geatti, Luca, et al.
Pubblicazione: (2024)
di: Geatti, Luca, et al.
Pubblicazione: (2024)
SMT-based Symbolic Model-Checking for Operator Precedence Languages
di: Chiari, Michele, et al.
Pubblicazione: (2024)
di: Chiari, Michele, et al.
Pubblicazione: (2024)
SCL(FOL) Revisited
di: Bromberger, Martin, et al.
Pubblicazione: (2023)
di: Bromberger, Martin, et al.
Pubblicazione: (2023)
Efficiently grounding FOL using bit vectors
di: Van Laer, Lucas, et al.
Pubblicazione: (2024)
di: Van Laer, Lucas, et al.
Pubblicazione: (2024)
Intensional FOL over Belnap's Billatice for Strong-AI Robotics
di: Majkic, Zoran
Pubblicazione: (2025)
di: Majkic, Zoran
Pubblicazione: (2025)
A Pilot Benchmark for NL-to-FOL Translation in Planetary Exploration
di: Moore, Hayden, et al.
Pubblicazione: (2026)
di: Moore, Hayden, et al.
Pubblicazione: (2026)
Strategies for Improving NL-to-FOL Translation with LLMs: Data Generation, Incremental Fine-Tuning, and Verification
di: Thatikonda, Ramya Keerthy, et al.
Pubblicazione: (2024)
di: Thatikonda, Ramya Keerthy, et al.
Pubblicazione: (2024)
Internal and External Calculi: Ordering the Jungle without Being Lost in Translations
di: Lyon, Tim S., et al.
Pubblicazione: (2023)
di: Lyon, Tim S., et al.
Pubblicazione: (2023)
NeuroNL2LTL: A Neurosymbolic Framework for Natural Language Translation of Linear Temporal Logic
di: Quansah, Paapa Kwesi, et al.
Pubblicazione: (2026)
di: Quansah, Paapa Kwesi, et al.
Pubblicazione: (2026)
Synthesis of Timeline-Based Planning Strategies Avoiding Determinization
di: Acampora, Renato, et al.
Pubblicazione: (2024)
di: Acampora, Renato, et al.
Pubblicazione: (2024)
The addition of temporal neighborhood makes the logic of prefixes and sub-intervals EXPSPACE-complete
di: Bozzelli, L., et al.
Pubblicazione: (2022)
di: Bozzelli, L., et al.
Pubblicazione: (2022)
Proof Strategy Extraction from LLMs for Enhancing Symbolic Provers
di: Fang, Jian, et al.
Pubblicazione: (2025)
di: Fang, Jian, et al.
Pubblicazione: (2025)
Do LLMs Dream of Discrete Algorithms?
di: Coelho Jr, Claudionor, et al.
Pubblicazione: (2025)
di: Coelho Jr, Claudionor, et al.
Pubblicazione: (2025)
Guarded Successor: A Novel Temporal Logic
di: Asor, Ohad
Pubblicazione: (2024)
di: Asor, Ohad
Pubblicazione: (2024)
A Horn extension of DL-Lite with NL data complexity
di: Arpasi, Janos, et al.
Pubblicazione: (2026)
di: Arpasi, Janos, et al.
Pubblicazione: (2026)
On the Computational Content of Moduli of Regularity and their Logical Strength
di: Kohlenbach, Ulrich
Pubblicazione: (2026)
di: Kohlenbach, Ulrich
Pubblicazione: (2026)
Dyadic obligations: proofs and countermodels via hypersequents
di: Ciabattoni, Agata, et al.
Pubblicazione: (2024)
di: Ciabattoni, Agata, et al.
Pubblicazione: (2024)
Existential and positive games: a comonadic and axiomatic view
di: Abramsky, Samson, et al.
Pubblicazione: (2025)
di: Abramsky, Samson, et al.
Pubblicazione: (2025)
Syntax Is Easy, Semantics Is Hard: Evaluating LLMs for LTL Translation
di: Danso, Priscilla Kyei, et al.
Pubblicazione: (2026)
di: Danso, Priscilla Kyei, et al.
Pubblicazione: (2026)
Understanding the Relative Strength of QBF CDCL Solvers and QBF Resolution
di: Beyersdorff, Olaf, et al.
Pubblicazione: (2021)
di: Beyersdorff, Olaf, et al.
Pubblicazione: (2021)
Traces via Strategies in Two-Player Games
di: Plummer, Benjamin, et al.
Pubblicazione: (2025)
di: Plummer, Benjamin, et al.
Pubblicazione: (2025)
NL2GDS: LLM-aided interface for Open Source Chip Design
di: Eland, Max, et al.
Pubblicazione: (2026)
di: Eland, Max, et al.
Pubblicazione: (2026)
A logic for default deontic reasoning
di: Piazza, Mario, et al.
Pubblicazione: (2025)
di: Piazza, Mario, et al.
Pubblicazione: (2025)
Programming Really Is Simple Mathematics
di: Meyer, Bertrand, et al.
Pubblicazione: (2025)
di: Meyer, Bertrand, et al.
Pubblicazione: (2025)
Refutation calculi for lattice-based logics: from display to tableaux
di: De Domenico, Andrea, et al.
Pubblicazione: (2026)
di: De Domenico, Andrea, et al.
Pubblicazione: (2026)
On the Axioms of Arboreal Categories
di: Jakl, Tomáš, et al.
Pubblicazione: (2026)
di: Jakl, Tomáš, et al.
Pubblicazione: (2026)
Arboreal Categories: An Axiomatic Theory of Resources
di: Abramsky, Samson, et al.
Pubblicazione: (2021)
di: Abramsky, Samson, et al.
Pubblicazione: (2021)
Kuroda's Translation for Higher-Order Logic
di: Traversié, Thomas
Pubblicazione: (2024)
di: Traversié, Thomas
Pubblicazione: (2024)
Generalized Decidability via Brouwer Trees
di: de Jong, Tom, et al.
Pubblicazione: (2026)
di: de Jong, Tom, et al.
Pubblicazione: (2026)
Incompleteness theorems via Turing category
di: Savelyev, Yasha
Pubblicazione: (2024)
di: Savelyev, Yasha
Pubblicazione: (2024)
Coverage Types for Resource-Based Policies
di: Passarelli, Angelo, et al.
Pubblicazione: (2025)
di: Passarelli, Angelo, et al.
Pubblicazione: (2025)
On Translating Epistemic Operators in a Logic of Awareness
di: Kubono, Yudai
Pubblicazione: (2026)
di: Kubono, Yudai
Pubblicazione: (2026)
Basis-Sensitive Quantum Typing via Realisability
di: Díaz-Caro, Alejandro, et al.
Pubblicazione: (2025)
di: Díaz-Caro, Alejandro, et al.
Pubblicazione: (2025)
Intuitionistic monotone modal logic via translation
di: de Groot, Jim
Pubblicazione: (2025)
di: de Groot, Jim
Pubblicazione: (2025)
Cyclic Proofs for iGL via Corecursion
di: Miranda, Borja Sierra
Pubblicazione: (2023)
di: Miranda, Borja Sierra
Pubblicazione: (2023)
Documenti analoghi
-
Automata-less Monitoring via Trace-Checking (Extended Version)
di: Brunello, Andrea, et al.
Pubblicazione: (2025) -
Interpretable Early Failure Detection via Machine Learning and Trace Checking-based Monitoring
di: Brunello, Andrea, et al.
Pubblicazione: (2025) -
Complexity of Safety and coSafety Fragments of Linear Temporal Logic
di: Artale, Alessandro, et al.
Pubblicazione: (2022) -
A first-order logic characterization of safety and co-safety languages
di: Cimatti, Alessandro, et al.
Pubblicazione: (2022) -
Succinctness of Cosafety Fragments of LTL via Combinatorial Proof Systems (extended version)
di: Geatti, Luca, et al.
Pubblicazione: (2024)