Jev in de praktijk: getest voor Penny, gebruikt in Twine

Toen wij early access kregen tot Jev, het judgement model (in het Nederlands: beslissingsmodel) van TypeSafe AI, gingen we al snel brainstormen over de mogelijkheden die dit model biedt. We zochten de kleine beslissingen die nu onnodig door een groot taalmodel worden genomen.

We testten Jev eerst voor onze interne boekhoudagent Penny. Daarna bouwden we het model in als router voor Twine, onze algemene bedrijfsagent. Die router stuurt opdrachten naar de juiste agent. De twee toepassingen lijken verschillend, maar draaien om dezelfde vraag: kan een model snel uit een vaste lijst kiezen en zelf aangeven wanneer het niet zeker genoeg is?

De belangrijkste les: het model werkt pas als de keuzelijst, de route voor twijfelgevallen en de veiligheidsgrenzen vooraf vaststaan.

Eerst testen met onze boekhoudagent

In onze opzet voor Penny bestaat boekhoudwerk uit verschillende stappen. Een document wordt gelezen, gegevens worden herkend en een boekingsvoorstel wordt opgebouwd. In dat voorstel zitten verschillende soorten werk door elkaar. Het lezen van bedragen en het schrijven van een toelichting vallen buiten Jev en blijven bij andere onderdelen van de agent. Het kiezen van een grootboekrekening, btw-behandeling of categorie is veel meer begrensd.

Voor onze test kreeg Jev de tekst van een inkoopfactuur, de relevante boekhoudregels en per beslissing een vaste lijst met toegestane antwoorden. Het koos een antwoord en gaf daar een zekerheidsscore bij.

Die opzet leverde vooral een bruikbare taakverdeling op. In de test kreeg Jev de afgebakende keuzes. Andere onderdelen bleven bij een taalmodel, vaste controles of een mens. Vaste controles bepalen welke voorstellen mogen worden doorgezet. Jev kan nooit zelf een boeking goedkeuren of uitvoeren.

De praktische les: een snel beslissingsmodel is nuttig wanneer de keuzelijst klopt, de zekerheidsscore een echte vervolgstap heeft en een taalmodel of medewerker het overneemt zodra de keuze niet duidelijk genoeg is.

Daarna naar de voordeur van Twine

Twine krijgt via Slack allerlei opdrachten. De ene vraag vraagt om onderzoek, de volgende om code, een derde om content voor publicatie en een vierde om een korte interne handeling. Voordat het werk kan beginnen, moet Twine dus twee keuzes maken: welk type agent krijgt de opdracht en hoeveel denkwerk is nodig?

Dat zijn precies de keuzes waarvoor we Jev nu gebruiken. Het model kiest één soort agent, bijvoorbeeld onderzoek, code, content of algemeen werk. Daarnaast kiest het een niveau: snel, standaard of diepgaand. De uitkomst bestaat uit een route en een zekerheidsscore.

Bij voldoende zekerheid gaat de opdracht direct naar de gekozen agent. Is de score te laag, is de opdracht onduidelijk of komt er geen bruikbare uitkomst terug, dan neemt de bestaande route via een taalmodel het over. Twine kan dan alsnog om verduidelijking vragen.

De router bepaalt alleen waar het werk begint. Hij geeft geen extra rechten en kan geen veiligheidsgrenzen omzeilen. Welke modellen, tools en bevoegdheden bij een soort agent horen, blijft vastgelegd in gewone configuratie. Ook bewaren we de routekeuze en de zekerheidsscore, zodat we later kunnen terugzien waar Jev verkeerd koos en de instructies kunnen aanscherpen.

De keuzelijst is een ontwerpbeslissing

De lastigste ontwerpvragen zaten in de keuzelijst. Is content een eigen soort agent of onderdeel van algemeen werk? Wanneer is een opdracht diepgaand? Wat gebeurt er met een vraag die eerst onderzoek en daarna code vraagt?

Een judgement model dwingt u die keuzes vooraf te benoemen. Voor Twine kozen we daarom voor de eerstvolgende stap. Een opdracht als “onderzoek dit en bouw het daarna” gaat eerst naar onderzoek. Pas wanneer dat werk terugkomt, wordt de bouwstap opnieuw aan de juiste agent toegewezen.

Ook de zekerheidsscore moet worden vertaald naar procesafspraken. Er is een drempel nodig, een route voor twijfelgevallen en een manier om verkeerde keuzes terug te vinden. Zonder die drie onderdelen wordt onzekerheid verplaatst naar een andere plek in het proces.

Waar Jev bij ons stopt en wat onze volgende stappen zijn

Jev kiest alleen binnen de grenzen die wij vooraf hebben vastgelegd. Een taalmodel schrijft het antwoord aan de gebruiker en verwerkt de bredere context. In het ontwerp voor Penny wordt financiële goedkeuring nooit door Jev gedaan. In Twine worden rechten en beschikbare tools apart van de router bepaald.

Juist die duidelijke grenzen maken Jev geschikt voor beide toepassingen. Penny en Twine bevatten veel kleine keuzes met een vaste set mogelijke antwoorden: een boekhoudcategorie bij Penny, een soort agent en denkniveau bij Twine. Een groot taalmodel is daarvoor vaak meer gereedschap dan nodig. In Twine neemt Jev dat kieswerk nu over. Voor Penny hebben we getest hoe die taakverdeling werkt en bouwen we nu de Jev-router.

Daarnaast gaan we Laya, een open-source alternatief, finetunen op onze eigen boekhoudhistorie. Daarmee onderzoeken we of een lokale beslislaag voor dit werk beter past.

Wilt u beter begrijpen hoe dit type model werkt en waar de grenzen liggen? Lees dan onze uitleg over judgement models en Jev. Voor de bredere rolverdeling tussen modellen, agenten en medewerkers staat daarnaast onze gids over AI-agenten voor het mkb.

Onze content is AI-ondersteund. We gebruiken AI bij onderzoek en het maken van concepten. Een mens controleert en bewerkt de tekst en neemt verantwoordelijkheid voor alles wat we publiceren. Lees hoe wij onze content maken.