AI en managementsystemen: nieuwe kansen, vertrouwde auditprincipes
Het gebruik van Artificial Intelligence (AI), en in het bijzonder Large Language Models (LLM’s), neemt snel toe binnen organisaties. Ook binnen managementsystemen ontstaan nieuwe toepassingen. Dit roept relevante vragen op voor de certificatie- en accreditatiepraktijk, met name rond auditeerbaarheid, betrouwbaarheid en informatiebeveiliging.
Rick Verwij, Lead Auditor bij DNV en actief lid van de NVCi kamer Innovatie/AI deelt hieronder zijn ervaringen bij een recente ISO/IEC 27001 audit, welke als voorbereiding eerder is besproken als case in deze kamer.
Van documentbeheer naar AI-ondersteunde systemen
Bij de te auditeren organisatie is een managementsysteem opnieuw ingericht met het oog op AI-integratie. In plaats van traditionele Word- en Excelbestanden wordt gebruikgemaakt van gestructureerde dataformaten zoals Markdown en CSV. Een LLM is gekoppeld aan deze omgeving en functioneert als virtuele assistent.
Deze assistent kan op basis van prompts informatie ophalen, samenvattingen genereren en acties verwerken. Een voorbeeld is het automatisch analyseren van opgenomen managementvergaderingen, waarbij actiepunten direct worden toegevoegd aan het systeem. Tegelijkertijd vraagt deze werkwijze om bewust gebruik: de kwaliteit van de output is sterk afhankelijk van de ingevoerde prompt en de interpretatie daarvan door de LLM.
Impact op het auditproces
De inzet van een virtuele assistent verandert de interactie tijdens audits. Auditors kunnen direct vragen stellen aan het systeem, zoals over risico’s of de opvolging van auditbevindingen. Dit biedt kansen voor efficiëntie, maar introduceert ook nieuwe aandachtspunten.
Het is van belang dat gebruikers zich bewust zijn van de formulering van prompts en de mogelijke uitkomsten daarvan. De gegenereerde informatie is niet per definitie volledig of representatief, en er kan sprake zijn van onjuiste of zogenoemde gehallucineerde output, waarbij het systeem informatie presenteert die feitelijk onjuist is maar plausibel klinkt. Daarnaast ontstaan nieuwe risico’s op het gebied van informatiebeheer. Denk hierbij aan:
- Het onbedoeld invoeren van persoonsgegevens via bijvoorbeeld ruwe transcripties in prompts.
- Onduidelijkheid over de opslaglocatie van prompt- en loggegevens.
- De vraag of deze verwerking voldoet aan interne vertrouwelijkheidseisen.
Toetsing aan bestaande normen
Bestaande normen bieden richting bij de beoordeling van deze ontwikkelingen. ISO/IEC 17021-1:2015 (§9.4.4.2c) vereist controle van documentatie en registraties, terwijl de Harmonised Structure (§7.5) het belang van ‘gedocumenteerde informatie’ benadrukt.
Dit betekent dat auditbevindingen niet uitsluitend gebaseerd mogen zijn op AI-output. Net als bij menselijke auditees blijft verificatie van de onderliggende bronnen essentieel. De auditor zal moeten vaststellen waar de informatie vandaan komt en of deze volledig en actueel is. Dat geldt ook voor documenten of aanpassingen die de LLM heeft voorgesteld: zijn die daadwerkelijk beoordeeld door iemand die daartoe bevoegd is?
Daarnaast is de organisatie beoordeeld op de toepassing van AI in relatie tot relevante normeisen uit ISO 27001, waaronder clausules 4.1, 4.4, 6.1, 7.2 en 9.2.
Vooruitblik
Hoewel de technologie zich snel ontwikkelt, blijven de kernprincipes van auditing ongewijzigd: objectieve bewijslast, verificatie en professionele oordeelsvorming. LLM’s kunnen auditors ondersteunen bij het sneller verkrijgen van inzicht en het identificeren van potentiële afwijkingen, de auditor blijft degene die weegt, oordeelt en tekent.
De komende jaren zal moeten blijken in hoeverre normen en interpretaties zich aanpassen aan deze nieuwe realiteit. Tot die tijd ligt de nadruk op kritisch gebruik, transparantie en beheersing van risico’s bij de inzet van AI binnen managementsystemen.
Bron: NVCi
