Tous les projets
AGENT EVALUATIONProtocole de recherche

EviSuff Finance

Un agent change-t-il sa réponse quand une preuve indispensable disparaît ? Un protocole contrefactuel pour étudier la suffisance des preuves dans les longs documents financiers.

Indicateur clé
4

conditions appariées : complet, preuves seules, retrait nécessaire, retrait non pertinent

Un même problème, quatre contextes
FULL

Toutes les preuves

GOLD ONLY

Preuves suffisantes seules

NECESSARY REMOVAL

Une preuve critique manque

IRRELEVANT REMOVAL

Un distracteur disparaît

Schéma du protocole · aucun résultat empirique revendiqué.

Architecture

EviSuff Finance

Les composants, les flux de données et les frontières de confiance du système.

Benchmark constructionPaired conditionsEvaluationadjudicateJSONLfreezemanifestS-1 / F-1 filingsIPO Finance AgentAnnotationclaims · evidence setsDouble annotation≥ 25% adjudicatedSchema validationJSONL · hitting setsFrozen benchmarkbefore any model runGitHub Actionstests · fixture checksPaper V0protocol & auditfullall evidencegold_onlyminimal sufficient setnecessary_removalcritical evidence cutirrelevant_removaldistractor removedAgents under testprovider-agnosticScoringabstention · citationsPaired bootstrapconfidence intervalsModel metricsevidence sensitivity

Faites défiler le schéma →

Technologies

  • Python
  • JSONL schema
  • Bootstrap statistics
  • GitHub Actions
  • LaTeX

Choix d’architecture

  1. 01

    Chaque question porte un ou plusieurs ensembles de preuves minimaux ; le retrait « nécessaire » supprime le plus petit ensemble qui les casse tous.

  2. 02

    Le benchmark est figé avant toute expérience, et les juges LLM restent auxiliaires tant qu’ils ne sont pas calibrés sur des annotations humaines.

  3. 03

    Les prédictions passent par un manifeste indépendant du fournisseur, pour comparer tous les modèles avec le même score.

  4. 04

    Les tests synthétiques valident le logiciel, pas les résultats : aucun chiffre de modèle n’est publié avant le benchmark humain.

Ce que j’ai construit

Schéma d’annotation JSONL, validation des ensembles de preuves minimaux, construction déterministe des contextes, métriques de sensibilité, abstention et citations, intervalles bootstrap appariés et tests de cohérence.

Périmètre et limites

Infrastructure et protocole implémentés. Les tests synthétiques valident le logiciel ; aucun résultat empirique sur les modèles n’est revendiqué avant la constitution du benchmark vérifié par des humains.
Projet suivant
Smart Bidding