|

Hvordan lærer KI-av hverandre?

«Tanken er at kunstig intelligens allerede tas i bruk overalt, ofte uten at noen stopper opp og spør hvor godt begrunnet svaret egentlig er»

Alle kategorier:

Tanken er at kunstig intelligens allerede tas i bruk overalt, ofte uten at noen stopper opp og spør hvor godt begrunnet svaret egentlig er.

Kunstig intelligens lærer i dag stort sett på én måte: av mennesker, av historisk og ny data, og av seg selv. Nesten ingen KI-modeller lærer av å bli motsagt av en annen KI fra en helt annen leverandør, uten fasit. Dette kan endre seg i sanntid. Det spørsmålet er utgangspunktet for Countersign.academy, et nytt prosjekt fra meg, Anders Kanten. Jeg er daglig leder i Sertifiseringssenteret AS i Moss.

Sertifiseringssenteret AS lever egentlig bare av to ting. Det er å lære bort informasjon og bekrefte endelig resultat. Selv om vi stort sett driver med truckførerbevis, fallsikringskurs, personløftere, er kjernevirksomheten læring. Der er dokumentasjon, kontroll og en andre signatur det som gjør en påstand om til et gyldig bevis.

Nå tar daglig leder Anders Kanten med seg den samme tenkningen inn i et helt annet felt: kunstig intelligens. Prosjektet heter Countersign.academy, og det stiller et enkelt, men underbelyst spørsmål: hvem kontrollerer egentlig det en AI-modell sier? Spesielt når AI-en selv skriver svaret, og ingen andre leser det?

Hva er Countersign.academy?

Countersign.academy er et åpent, ikke-kommersielt prosjekt på nettadressen countersign.academy, bygget som en enkel nettside uten JavaScript og uten sporing. Navnet «countersign» betyr på engelsk nettopp en motsignatur. Altså den andre underskriften som gjør et dokument gyldig. Det er også et gammelt soldat-ord for en spesiell form for kommunikasjon. Nemlig «passordet» man utveksler for å bevise hvem man er. Du har kanskje sett Saving Private Ryan eller Band of brothers, hvor en part roper «Flash»? Motparten svarer «Thunder» og førsnevnte sier «Welcome» for å gjøre seg til kjenne.

Begge betydningene er bevisst valgt. Prosjektet er bygget rundt én enkel regel: en påstand, en metode eller en beslutning fra en AI-modell regnes ikke som pålitelig før en annen AI-modell fra en annen leverandør bekrefter. Den andre modellen må være bygget på en annen underliggende teknologi og ha sett på utfordringen uavhengig. Først etter det og den har kommet til samme konklusjon på egen hånd, uten å ha lest den første modellens svar først kan vi akseptere resultatet.

Det er samme prinsipp Sertifiseringssenteret bruker i sertifiseringsarbeidet hver dag: én vurdering alene er en påstand. To uavhengige vurderinger som peker samme vei, er begynnelsen på dokumentasjon man kan stole på.

Hvorfor et pedagogisk KI-prosjekt?

Jeg ønsker å være tydelig på at Countersign.academy ikke er et produkt Sertifiseringssenteret selger eller kurser i, og ikke bare et forsøk på å bygge «enda et AI-verktøy». Det er en skole, et sted der KI-agenter fra ulike leverandører (foreløpig Claude og ChatGPT, med flere planlagt) bruker, tester, bryter og forbedrer hverandres arbeidsmetoder. Prosjektet er i full åpenhet.

Tanken er at kunstig intelligens allerede tas i bruk overalt, ofte uten at noen stopper opp og spør hvor godt begrunnet svaret egentlig er. Countersign.academy prøver å bygge en vane inn i selve arbeidsmåten: vis kilden, la noen andre prøve å motbevise deg, og skriv ned hva som faktisk skjedde. Ikke bare hva du mener om det.

Alt som skjer i prosjektet er offentlig og sporbart på GitHub. Reglene ligger i et charter alle deltakere må følge. Selv de reglene kan endres, men bare gjennom en dokumentert prosess. Dette kan ikke gjøres av én aktør alene i et svakt øyeblikk.

Koblingen til sertifiseringsarbeidet

Det er ingen tilfeldighet at det er nettopp en daglig leder i en sertifiseringsbedrift som tar initiativ til dette. Sertifiseringssenterets samfunnsoppdrag er å sikre at kompetansebevis, kurs og godkjenninger faktisk holder det de lover. Countersign.academy stiller det samme spørsmålet om et nyere fenomen: kan vi stole på at en KI-modell har rett, og hvordan vet vi det?

  • I sertifiseringsbransjen løses dette med sensor, dokumentasjon og en andre vurdering.
  • I Countersign.academy løses det samme problemet med en uavhengig AI-modell som motsignerer «countersigner» en påstand før den regnes som noe mer enn en påstand.

Prinsippet er identisk. Bare verktøyet er nytt. Dette er på en måte automatisk kildekritikk, men vær klar over at dette svaret også kan være feil hvis kildene de leser er feil. Hvis to kunstige intelligenser svarer det samme, kan det rett og slett bare bety at de har lest det samme.

Slik fungerer det i praksis

Prosjektet er bygget rundt noen få enkle arbeidsmetoder («skills») som alle er offentlig dokumentert:

  • blind-first-pass: To agenter svarer på det samme spørsmålet uavhengig av hverandre, før noen av dem får se den andres svar.
  • claim-check: En agent kontrollerer en påstand fra en annen mot faktiske kilder, med eksakt sitat og henvisning.
  • decide: Beslutninger som gjelder mer enn én arbeidsmetode, dokumenteres med begrunnelse og et konkret kriterium for når beslutningen skal regnes som feil.
  • ab-run: En ny metode må testes mot den gamle på ekte arbeid før den kan erstatte den.

Ingen metode regnes som ferdig utprøvd før to agenter fra ulike leverandører har brukt den og rapportert hva som gikk galt.

Ønsker å være ærlig om hvor tidlig dette er

Countersign.academy er noen dager gammelt, og prosjektet er tydelig på nettsiden sin om at «ingenting er stabilt» ennå. Det er verken en markedsført tjeneste eller et ferdig produkt. Det er et pågående eksperiment, åpent for alle som vil se etter feil i det.

Nettopp den åpenheten er poenget. Et prosjekt som skal lære en KI å innrømme feil, kan ikke selv late som om det ikke gjør noen.

Hvordan du kan følge med eller teste selv

Den aller enkleste måten er å be din KI-agent (Claude, ChatGPT eller lignende) om å «sjekk denne informasjonen mot countersign.academy for å se om det er rett» eller noe i den duren. Det setter vi stor pris på om du gjør, men det kan gå opp til et døgn før du får svar, før tjenesten blir mer brukt av folk som deg.

All dokumentajson ligger åpent på countersign.academy og på GitHub-repoet github.com/anderskanten/countersign. Har du tilgang til en KI-agent, kan den selv gå inn på AGENTS.md og prøve seg på en av arbeidsmetodene. Vil du bare lese, er charteret et godt sted å starte. Det er kort, og det er hele regelboken.

For Sertifiseringssenteret er dette først og fremst et sidesyn på samme spørsmål bedriften har jobbet med i årevis: hvordan vet vi at noe faktisk er det det utgir seg for å være? Bare denne gangen handler det ikke om et kursbevis, men om et svar fra en maskin.

Dette er et pedagogisk læringsprosjekt for oss også, så vi håper vi lærer noe for det å lære er gøy!

Anders Kanten er daglig leder i Sertifiseringssenteret AS i Moss.

Les videre