Skip to content

De (r)evolutie van Source Data Verification

14 maart 2016

 

gdp

Overal waar gegevens worden verwerkt moet de integriteit van de verwerking worden beheerd. Een belangrijke methode om te controleren of de beheersing heeft gewerkt is de verificatie van de brongegevens, ofwel Source Data Verification (SDV). SDV vindt zowel in de GCP, GLP, als in de GMP omgeving plaats. Verificatie van brongegevens vormt een substantieel deel van het werk van de klinische monitor, waarbij het Case Report Form (CRF) wordt vergeleken met de patiëntendossiers. Ook bij de GLP rapport inspectie wordt het grootste deel van de tijd besteed om te controleren of de gerapporteerde gegevens zijn terug te herleiden naar de originele waarnemingen. Het is berekend dat ongeveer 20% van de kosten van klinisch onderzoek wordt besteed aan het controleren van de data integriteit.

Brongegevens: Alle informatie in originele vastleggingen en gewaarmerkte kopieën van originele registratiedocumenten met betrekking tot klinische bevindingen, waarnemingen en andere activiteiten bij een klinisch onderzoek die noodzakelijk is voor de reconstructie en evaluatie van het onderzoek. Brongegevens bevinden zich in brondocumenten (originele documenten of gewaarmerkte kopieën).

Verificatie van brongegevens kan worden beschouwd als een bijzonder dure manier om twee gegevenssets congruent te maken, dat wil zeggen inhoudelijk gelijk te maken. Dit betekent niet dat beide reeksen een waarheidsgetrouwe weergave van de bevindingen geven. Vanuit dit perspectief is een meer nuchtere kijk op de waarde van SDV mogelijk. SDV bestudeert de gegevensverwerking vanaf de eerste vastlegging van de bevinding. SDV controleert niet of deze eerste vastlegging waarheidsgetrouw is. Onlangs was ik betrokken bij het verwerken van de resultaten van een trektest. De analisten waren geïnstrueerd om de gegevens rechtstreeks van het meetsysteem over te schrijven op het resultatenformulier. Het meetsysteem produceerde ook een uitdraai van de gegevens, maar omdat de gegevens in het meetsysteem onvoldoende waren beveiligd en geen audit trail had, werd gesteld dat deze uitdraaien niet mochten worden gebruikt. Nu was bij 1 sample de test herhaald, omdat de meting de eerste keer technisch niet juist was uitgevoerd. Dit bleek niet uit het testrapport, maar omdat de uitdraai wel werd bewaard kon ik het toch zien. Ook kon ik toen zien dat de gegevens foutief waren genoteerd. Per monster moesten 2 metingen worden uitgevoerd. De eerste meting was dus herhaald. Maar in de resultaten waren bij de eerste meting de resultaten van de originele technisch gefaalde meting genoteerd. Bij de tweede meting waren de technisch correcte data van de herhaalde eerste meting genoteerd. De resultaten van de tweede meting kwamen in het rapport niet voor. De gegevens op de testrapporten die werden beschouwd als brongegevens waren dus niet waarheidsgetrouw. Ze bevatten de onjuiste waarden en herhalingen van metingen werden niet genoteerd. Daarnaast bleek dat de analist zich dus niet aan de gemaakte afspraken hield. De gegevens werden niet genoteerd vanaf het meetsysteem, maar vanaf het uitgedraaide rapport van het meetsysteem.

Voor een goede opzet van de SDV is het ook noodzakelijk om vooraf overeen te komen wat als brongegevens wordt beschouwd en dat de procedures voor het vastleggen van brongegevens ook nauwgezet worden gevolgd. Wanneer de media voor het vastleggen van brongegevens logistiek niet praktisch zijn, worden brongegevens genoteerd op kladblaadjes en andere onwenselijke media.

SDV is dus beperkt in het waarborgen van data integriteit en data kwaliteit. Veel effectiever en kostenefficiënter is het beperken van het aantal handmatige overschrijfstappen. Om die reden worden bevindingen tijdens klinisch onderzoek ook steeds meer rechtstreeks in het CRF genoteerd. Enkele decennia geleden was het gebruikelijk om alle gegevens eerst in een brondocument te noteren en deze over te schrijven in het CRF. Het was simpelweg not done om gegevens rechtstreeks in het CRF te schrijven. Maar CRF’s bieden een mooi sjabloon voor het overzichtelijk en praktisch vastleggen van de resultaten. In de praktijk bleek dus dat onderzoekers het CRF als brondocument gebruikten en van hieruit de patiëntendossiers vulden. Met de SDV kan dan nog steeds de congruentie worden vastgesteld, maar bij discrepanties zou men eerder het patiëntendossier vertrouwen dan het CRF, terwijl het omgekeerde logischer is. Tegenwoordig wordt alleen een verificatie van de identiteit van de patiënt en de medische geschiedenis inclusief medicatie historie als essentiële voorwaarde voor verificatie met patiëntendossiers gezien. Overige gegevens kunnen rechtstreeks in het CRF worden genoteerd, waarbij een kopie aan het patiëntendossier wordt toegevoegd.

De technologische ontwikkeling heeft ons in staat gesteld om een stap verder te zetten in het onnodig maken van SDV. Elektronische data capture (EDC) maakt het mogelijk om gegevens rechtstreeks van het meetsysteem over te nemen in een database zonder de noodzaak van papier. Maar aan een dergelijk systeem hangt een prijskaartje. Vandaar dat nog veel gegevens worden uitgedraaid, overgeschreven of anderszins niet elektronisch worden verwerkt. Maar de kosten voor het in gebruik nemen van een elektronisch systeem zijn eenmalig, terwijl de kosten voor handmatige transcriptie en SDV permanent zijn. Als SDV eenvoudig en ongecompliceerd zou zijn zou niemand proberen om het controleproces te vereenvoudiging met andere methodieken. De filosofie achter SDV is twijfelachtig: de waarde voor het borgen van data integriteit wordt overschat. Uit onderzoek bij klinische studies is gebleken dat slechts 1% van de datapunten wordt gewijzigd naar aanleiding van een SDV. 96% van de datapunten waren correct bij de eerste vastlegging. De overige 3% was gewijzigd op basis van andere kwaliteitscontroles. Met een toename van de mogelijkheden van datamanagementsystemen om de consistentie van de gegevens binnen de database te verifiëren zal dit laatste percentage kunnen toenemen. Door de resultaten grafisch te presenteren kunnen afwijkende resultaten snel worden opgespoord en kan aan de hand van een SDV worden geverifieerd of er een fout is opgetreden tijdens een transcriptie of andere bewerking van de gegevens. Controles aan de hand van elektronische algoritmes kunnen worden uitgevoerd, zelfs al tijdens het invoeren van de gegevens. Daarbij moet wel worden gewaarschuwd dat dergelijke algoritmes de vastlegger kunnen stimuleren de gegevens niet meer waarheidsgetrouw vast te leggen, maar te streven naar het voldoen aan de algoritmen.

Uit het bovengenoemde onderzoek blijkt dus dat, hoewel SDV de juistheid van gegevens verbetert, het in essentie weinig waarde toevoegt, en in het beste geval als te kostbaar kan worden beschouwd. Anderzijds, kan worden gedacht dat een significante vermindering van SDV doet vermoeden dat een verlaging van de nauwkeurigheid transcriptie aanvaardbaar is: de SDV als mind setter. Vandaar dat veel bedrijven er toe overgaan om SDV steekproefsgewijs toe te passen. Dus geen 100% verificatie maar een verificatie van 10% van de (meest kritische) datapunten. Blijkt hieruit dat de mate waarin de data integriteit gewaarborgd is ontoereikend te zijn, dan kan de steekproef worden uitgebreid of alsnog een volledige SDV worden uitgevoerd. Een vorm van statistische kwaliteitscontrole.

Samengevat kan men stellen dat data integriteit beter wordt bereikt door de goede dingen te doen dan door te controleren of de dingen goed zijn gedaan. Een geborgde elektronische verwerking van gegevens is vele malen betrouwbaarder en efficiënter dan een verificatie van handmatige transcripties en berekeningen.

Advertenties
No comments yet

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers liken dit: