Anthropic OSS Scanner: gratis AI-bugscans voor projecten

Anthropic heeft OSS Scanner gelanceerd, een gratis dienst die de krachtigste AI-modellen van het bedrijf loslaat op opensourcecode om naar beveiligingslekken te zoeken. Beheerders die zich aanmelden, krijgen periodieke scans en rapporten met vermoedelijke fouten, hoe die te reproduceren zijn en, waar mogelijk, hoe ze op te lossen zijn.

De dienst komt voort uit Project Glasswing, een eerder initiatief van Anthropic waarbij Claude werd ingezet om kwetsbaarheden in software op te sporen. Het past in een bredere beweging van het bedrijf richting beveiligingswerk, waaronder de recente stap om het Claude-cyberprogramma uit te breiden naar drie niveaus.

Geen menselijke controle meer

De opvallendste ontwerpkeuze is wat OSS Scanner weglaat. Volgens Anthropic is menselijke validatie een knelpunt geworden in zijn kwetsbaarheidsonderzoek. De nieuwe dienst stuurt door AI gegenereerde bevindingen daarom rechtstreeks naar projectteams, zonder dat er een mens tussen zit.

Dat maakt het melden sneller. Het legt het werk van het controleren van elke bevinding, en het bepalen welke oplossingen voorrang krijgen, wel bij de beheerders zelf.

Anthropic is open over de risico's. "We kunnen niet garanderen dat de scanner perfect zal zijn", aldus het bedrijf. Het erkent dat rapporten de ernst van een bug kunnen overdrijven, of de beveiligingsaannames waarop een project is gebouwd verkeerd kunnen interpreteren.

Eerste resultaten van pentesters

Anthropic deelde cijfers van een vroege versie van de scanner. Pentesters beoordeelden 97 bevindingen met de ernst hoog of kritiek, verspreid over 48 projecten.

Daarvan voldeden er volgens Anthropic 85 aan de criteria van zijn proces voor gecoördineerde openbaarmaking. Nog eens 11 waren echte problemen, maar overlapten met bekende bugs of andere bevindingen. Slechts één was ongeldig.

Minstens één beheerder zegt dat de kwaliteit flink is veranderd. Anton Arapov van OpenSSL Corporation noemde vroege AI-gegenereerde rapporten van zo'n anderhalf jaar geleden, van voor Project Glasswing, "erbarmelijk".

"De rapporten die we van Anthropic ontvingen, inclusief ruwe modeluitvoer, waren net zo goed en soms beter dan wat we van mensen krijgen. Vooral als er een echte exploit bij een rapport zit, is het werk voor een engineer eigenlijk al gedaan, omdat je het meteen kunt verifiëren", zei Arapov.

Hoe de scans werken

Projecten die zich aanmelden, krijgen eerst een initiële scan, gevolgd door een bundel rapporten per e-mail. Latere scans zoeken naar nieuw geïntroduceerde kwetsbaarheden en naar problemen die eerdere controles hebben gemist. Hoe vaak een project wordt gescand, hangt af van verschillende factoren, waaronder de vraag en hoe breed de software wordt gebruikt.

Beheerders kunnen het proces sturen. Ze kunnen Anthropic laten weten wat getest moet worden, welke invoer als mogelijk kwaadaardig moet worden behandeld, hoe de ernst moet worden ingeschaald en wat voor voorgestelde patches ze nuttig zouden vinden.

Anthropic zegt dat de dienst niet voor elk project bedoeld is. Hij richt zich op teams die geverifieerde meldingen met de ernst hoog en kritiek al bijbenen en nog ruimte hebben om meer bevindingen te onderzoeken.

Wie kan zich aanmelden

Kernbeheerders kunnen zich aanmelden via de GitHub-repository van OSS Scanner. Elke aanvraag wordt afzonderlijk beoordeeld. De toelating is gericht op gevestigde projecten die van belang zijn voor infrastructuur en de veiligheid van gebruikers.

De regels voor openbaarmaking wijken af van die van een gewone bugmelding. Voor niet-gevalideerde bevindingen die via de scanner binnenkomen, geldt geen verplichte openbaarmakingstermijn van 90 dagen. Valideert Anthropic een rapport later via zijn bestaande programma voor gecoördineerde openbaarmaking, dan kan er een termijn van 90 dagen ingaan zodra beheerders van die validatie op de hoogte zijn gebracht.

Projecten zitten nergens aan vast. Ze kunnen de automatische rapporten pauzeren, of zich helemaal afmelden en weer alleen rapporten ontvangen die via het standaard openbaarmakingsproces van Anthropic lopen.

Onze analyse

OSS Scanner komt op een moment dat opensourceteams al worstelen met door AI gegenereerde bugmeldingen. Google zette zijn OSS-bugbounty onlangs stop vanwege precies dat probleem. Het antwoord van Anthropic lijkt kwaliteit in plaats van kwantiteit te zijn, en de pentestcijfers suggereren, als ze op grote schaal overeind blijven, dat de uitvoer veel beter is dan de slordige inzendingen waar beheerders inmiddels als een berg tegen opzien.

Toch is het schrappen van menselijke controle een echte afweging. Het verschuift het triagewerk naar vrijwilligers en kleine teams, en daarom beperkt Anthropic de dienst tot projecten die geverifieerde meldingen al aankunnen. Of dat filter in de praktijk werkt, is iets om in de gaten te houden.

De grotere zorg is de snelheid aan beide kanten. Een recent geval waarin een door AI gevonden lek in Rejetto HFS later werd misbruikt, laat zien dat door AI ontdekte bugs kunnen uitmonden in echte aanvallen. Als tools als OSS Scanner sneller lekken blootleggen dan beheerders ze kunnen patchen, kan het ontbreken van een vaste openbaarmakingstermijn voor niet-gevalideerde bevindingen een belangrijk detail worden. Het is de moeite waard om bij te houden hoeveel rapporten tot oplossingen leiden, en hoe snel.