Meetsysteemanalyse en Testmethodevalidatie; Een kritisch verschil

 

Regelmatig ben ik verbaasd over de relatief ontspannen houding binnen de medische hulpmiddelen industrie ten aanzien van de validatie van meetsystemen. Metingen zijn vaak de sluitpost bij het opzetten van een productieproces. In veel gevallen wordt de keuze van de metingen bepaald in de beginfase van de ontwikkeling, waarin intensieve productkeuring plaatsvindt. Ook zien we vaak dat de metingen die zijn gebruikt tijdens de ontwerp- en ontwikkelfase van het proces, worden overgenomen zonder alternatieven te beoordelen, of zelfs de nauwkeurigheid van de meting. Ook heeft het geen zin een verkeerd gekozen grootheid precies te meten. Maar in deze blog ga ik er van uit dat de juiste meting is gekozen en beperk ik mij tot de vraag of de meting voldoende nauwkeurig is. Dit is vergelijkbaar met ‘proces capability’ of C_pk voor processen.

Testlaboratoria moeten hun testmethoden valideren om de bijdrage van de meetonzekerheid in de totale productvariatie vast te stellen. Daarmee moeten ze aantonen dat het meetsysteem geschikt is de gespecificeerde productverificatie of –vrijgave. De testmethodes worden gebruikt tijdens het ontwikkeltraject bij de verificatie van het ontwerp, of bij de inspectie en vrijgave van partijen producten. De geschiktheid van het meetsysteem is dus een kritische factor in de maakindustrie in het algemeen. Maar binnen de medische hulpmiddelen industrie in het bijzonder lijkt hiervoor onvoldoende aandacht en/of begrip te bestaan.

Er ontbreekt zelfs een goede richtlijn voor het valideren van veel meetsystemen. De FDA richtlijn voor testmethodevalidatie is een prachtig hulpmiddel voor organisaties die chemische en biologische laboratoriumanalyses uitvoeren ten behoeve van het kwantificeren van de bestanddelen van geneesmiddelen of levensmiddelen, maar de waarde voor de medische technologie is beperkt. Medische hulpmiddelen worden mechanisch, dimensioneel of functioneel getest. Het valideren van dergelijke testmethodes lijkt buiten de reikwijdte van de FDA richtlijn te vallen.

Het is mogelijk dat dit gebrek aan het definiëren van duidelijke methode validatie criteria en verwachtingen voortvloeit uit de aard van de testmethoden die over het algemeen worden geassocieerd met medische hulpmiddelen. Veel van de standaard testmethoden worden gebruikt om een dimensionele en fysieke eigenschap te testen, zoals treksterkte, vermoeidheid, en buigzaamheid. Het testen van dimensionele en fysieke eigenschappen is over het algemeen het gebied van de mechanische ingenieurs en materiaalkundigen. Beide disciplines zijn getraind om de methoden aan de hand van meetsysteemanalyses te onderzoeken. Bij het ontbreken van een geschikte richtlijn hebben de ingenieurs binnen de medische hulpmiddelen sector daarom ook de tools omarmd die decennia geleden door de auto-industrie zijn ontwikkeld, waaronder als belangrijkste tool de Gage R&R studie; een onderzoek naar de herhaalbaarheid (repeatability) en reproduceerbaarheid (reproducibility) van het meetsysteem (Gage). De ingenieurs zagen de termen Gage R&R en testmethodevalidatie als uitwisselbaar en het methodevalidatie programma begon bijna uitsluitend uit Gage R&R studies te bestaan. Deze gedachtegang werd ondersteund door de GHTF richtlijn ten aanzien van procesvalidatie, die aangeeft:

When studying variation, good measurements are required. Many times an evaluation of the measurement system should be performed using a gauge R&R or similar study.

Maar is de aanname dat een Gage R&R studie volstaat als testmethodevalidatie wel terecht? Na enkele opmerkingen van de FDA kwam de industrie tot het besef dat een dergelijke beperkt programma niet kan voldoen als volledige testmethodevalidatie.

• Een Gage R&R studie beperkt zich tot het verstrekken van informatie met betrekking tot precisiefouten: de herhaalbaarheid en reproduceerbaarheid van het meetsysteem dat wordt gebruikt om de meting uit te voeren.
• De Gage R&R studie is ontwikkeld om mogelijke variabiliteit – de meetonzekerheid) – van meetsystemen te voorspellen; het wijst op effecten die niet goed begrepen worden en variabelen (factoren) die niet onder controle zijn.
• De resultaten van een Gage R&R studie bieden alleen waarde als zij worden vergeleken met de spreiding binnen het gehele productieproces waarvan de meting onderdeel uitmaakt.
• De Gage R&R studie is niet ontwikkeld om goed begrepen grenzen van nauwkeurigheid te bevestigen, of om de juistheid, stabiliteit, consistentie en robuustheid van de werkwijze over de tijd aan te tonen (waarmee wordt aangetoond dat alle kritische effecten duidelijk zijn en dat er geen onbeheerste variabelen zijn).

Simpel gezegd is de Gage R&R niet een werkwijze om het vertrouwen in een meetsysteem te demonstreren, maar een hulpmiddel om een gebrek aan vertrouwen of een mate van onzekerheid aan te tonen. In die context is de Gage R&R bedoeld om een uitgangspunt te bieden voor verdere ontwikkeling van het meetsysteem; het verschaffen van een indicatie van onbeheerste factoren die het meetresultaat beïnvloeden. Het verschil tussen de Gage R&R en de testmethodevalidatie lijkt misschien subtiel, maar als het gaat om statistische uitingen van data is er niet zoiets als een betekenisloos verschil.

Meetsysteemanalyse

Laten we ons nu richten op de voorwaarden en de instrumenten die worden gebruikt om de geldigheid van meetsystemen te evalueren. De meest geschikte informatiebron hiervoor is het meetsysteemanalyse handboek van de Automotive Industry Action Group (AIAG). Het boek werd geschreven voor de automotive industrie, maar is ook geschikt voor de medische hulpmiddelen industrie.

In theorie zal een perfect meetsysteem bij elke herhaalde meting exact hetzelfde resultaat opleveren. In werkelijkheid is er variatie in de resultaten onder invloed van externe en interne variabelen. Het doel van een meetsysteemanalyse is het onderzoeken of de meetresultaten representatief zijn voor wat er gebeurt in het proces. ‘Representatief’ houdt in dat de verschillen tussen de gemeten waarden en de werkelijke – meestal ongekende – waarden, de zgn. meetfouten, zo klein mogelijk zijn. De meetfouten zijn te verdelen in twee categorieën: juistheid (accuracy) en precisie (precision).

De juistheid staat voor de exactheid van de metingen. Een meetsysteem is accuraat als er geen consistent verschil (afwijking, bias) is tussen de gemeten waarde en de werkelijke waarde. De juistheid wordt bepaald door een standaard of referentie met een bekende waarde een aantal malen te meten en het gemiddelde meetresultaat te vergelijken met de werkelijke waarde. Omwille van de beknoptheid zal ik de discussie over de juistheid verder beperken omdat deze typisch wordt beheerst door de selectie van een geschikt meetsysteem en de kalibratieprocedures.

De precisie staat voor de variatie; de spreiding in de metingen. Precisiemeetfouten worden onderverdeeld in twee categorieën:

• Herhaalbaarheid (repeatability): meetvariatie dat voorkomt wanneer één tester metingen onder identieke omstandigheden herhaalt met hetzelfde item, dezelfde meetinstelling en dezelfde meetapparatuur. Deze variatie komt uit het meetinstrument zelf.
• Reproduceerbaarheid (reproducibility): het gedeelte van de meetvariatie dat voorkomt wanneer meerdere testers metingen onder verschillende omgevingsomstandigheden uitvoeren of met verschillende meetinstellingen of meetinstrumenten. Deze variatie wordt veroorzaakt door voortdurende en onbeheerste verschillen in het meetsysteem. Een meetsysteem is meer dan het meetinstrument alleen. Het is een verzameling van procedures, personeel en omgevingscondities. Veel producteigenschappen kunnen niet of zeer moeilijk met behulp van een instrument worden gemeten. In die gevallen fungeert de mens als meetsysteem. Bekend is dat er verschil zit in de manier waarop verschillende mensen een meting uitvoeren.

In een goed meetsysteem is de totale meetvariatie stabiel en beperkt vergeleken met de variatie in het proces of het product dat met het meetsysteem wordt gemeten. Wat betekent dat?

• De resolutie van het meetinstrument moet klein zijn in verhouding tot de tolerantie van de meeteenheid zoals vastgelegd in de product- of processpecificatie. Als een vuistregel dient de resolutie van het meetinstrument ten minste 10% van de kleinste tolerantie te zijn. Als de resolutie niet klein genoeg is kan de variabiliteit niet door het meetsysteem worden herkend, en is het meetsysteem dus ongeschikt. Hier moet bij de aanschaf van meetinstrumenten al rekening worden gehouden. In de Gage R&R wordt het onderscheidend vermogen van het meetsysteem aangeven met de number of distinct categories. Voor een variabele meting moet deze minimaal 5 zijn en bij voorkeur groter dan 10. Bij een aantal van 2 heb je feitelijk een binaire attributive meting (pass/fail).
• Stabiliteit, in termen van het volledige meetsysteem, wordt bepaald door herhaalde metingen van referentiematerialen gedurende langere tijd. Dit wordt meestal gedaan met statistische procesbeheersing grafieken, control charts zoals Xbar-R. Hierdoor kan worden vastgesteld of er sprake is van een statistisch beheerst meetsysteem zonder speciale oorzaken van meetfouten en of er geen sprake is van drift.
• De meetonzekerheid ten opzichte van de proces variatie (%Study variation). De meetonzekerheid wordt vastgesteld door middel van de Gage R&R studie. Een verhouding van <30% is acceptabel, maar het streven is een verhouding <10%.
• De meetonzekerheid ten opzichte van de tolerantie (%Tolerance) in de product specificatie wordt vaak aangeduid als de Precision to Tolerantie (P/T): hoe verhoudt de meetvariatie zich tot de tolerantie van de meeteenheid. De meetonzekerheid wordt vastgesteld door middel van de Gage R&R studie. Een verhouding van <30% is acceptabel, maar het streven is een verhouding <10%. Een veel kleinere verhouding zou men ook weer kunnen beschouwen als overkill, waarom een zo’n precies meetsysteem gebruiken als deze nauwkeurigheid niet wordt geëist voor het proces of het product.

 

Er zijn twee typen testmethoden: attributieve en variabele testmethoden. Het onderscheid tussen attributieve en variabele metingen is hierbij van belang. Bij attributieve metingen worden de resultaten in kwalitatieve categorieën weergegeven. Bijvoorbeeld de bepaling van de kleur. Bij veel attributieve metingen wordt er alleen op gelet of een product aan de eisen voldoet of niet. Een product is óf goed óf fout. Bij variabele metingen wordt erop gelet hoever de gemeten waarde afligt van een bepaalde normwaarde. De resultaten zijn continue kwantitatieve waarden. Betreft het een attributieve meting, dan wordt een attributieve overeenkomst analyse (attribute agreement analysis of appraiser agreement analysis) uitgevoerd om vragen te beantwoorden zoals:

• Is de beoordelaar het met zichzelf eens bij elke herhaling van de analyse?
• Is het oordeel van de beoordelaar in overeenstemming met de bekende referentie waarde?
• Is de beoordelaar het eens met het oordeel van andere beoordelaars?
• Zijn alle beoordelaars het eens met zichzelf, met anderen en met de standaard?

Testmethodevalidatie

Vooraleerst over te gaan op een volledige testmethodevalidatie moet eerst worden geoordeeld of het niet gaat om het implementeren van een testmethode die beschreven is in een internationale (ISO, ASTM, IEC) norm. Dergelijke testmethodes mogen als valide worden beschouwd en hoeven dus niet te worden gevalideerd. De meetsysteemanalyse kan worden gebruikt om vast te stellen dat de testmethode op de juiste wijze en onder de juiste condities is ingevoerd. Alleen wanneer afgeweken wordt van de standaard of wanneer een eigen testmethode is ontwikkeld, moet een volledige validatie worden uitgevoerd.

Het meetsysteem is het gehele proces gebruikt om meetresultaten te verkrijgen: van het verzamelen van je monsters tot het rapporteren van je meetresultaten. Een testmethodevalidatie levert het objectieve bewijs dat een testmethode consequent onderscheid kan maken in conforme en niet-conforme producten. De bovenstaande definitie is praktisch te bereiken door:

• Vaststellen van een werkwijze geschikt voor het beoogde gebruik, inclusief wetenschappelijke monsternameplannen en testprotocollen.
• Identificeren en aantoonbaar beheersen van relevante bronnen van meetfouten.
• Statistische analyse en wetenschappelijke interpretatie van de meetgegevens.
• Zekerheid dat testgegevens betrouwbaar, reproduceerbaar, specifiek, nauwkeurig en herleidbaar zijn.

Aangezien het meetsysteem gezien kan worden als een proces zijn de eisen voor procesvalidatie ook voor meetsystemen. Dat betekent dat over het algemeen de testmethodevalidatie ook zal bestaan uit een installatie kwalificatie (IQ), operationele kwalificatie (OQ) en performance kwalificatie (PQ).

Bij de installatiekwalificatie wordt gecontroleerd of het meetsysteem is geïnstalleerd in overeenstemming met de technische beschrijving van de fabrikant en dat de installatievoorschriften zijn gevolgd. Bij een balans kan bijvoorbeeld worden gecontroleerd dat die waterpas staat, op een weegtafel staat en niet wordt beïnvloed door ongewenste luchtstromingen. Maar ook de opgave van het meetbereik en de resolutie moet aan de eisen van de gebruiker voldoen. Een keukenweegschaal is ongeschikt om in milligrammen nauwkeurig af te wegen, een analytische balans is ongeschikt als personenweegschaal.

 

Tijdens de operationele kwalificatie wordt het meetsysteem gekalibreerd zodat meetfouten als gevolg van instrumentele onjuistheid worden geëlimineerd. De kalibratie kan uitvoeriger worden uitgevoerd dan bij de periodieke kalibratie, met name om de lineariteit over het beoogde meetbereik nauwgezet vast te kunnen stellen. De geschiktheid van de kalibratiemethodes moet daarbij ook als onderdeel van de validatie worden beoordeeld. Zie daarover een voorgaande bijdrage. Als het meetsysteem een geautomatiseerde vastlegging van meetresultaten omvat dan moet tijdens de OQ worden vastgesteld dat de gegevensverwerking voldoet aan de eisen voor elektronisch registraties en elektronische handtekeningen (eisen afkomstig uit o.a. 21CFRpart11 en EU GMP annex 11). Maar ook als een Excel formulier wordt toegepast, moet dit formulier worden gevalideerd. Ten slotte wordt de meetsysteemanalyse uitgevoerd, zoals hierboven omschreven.

Tijdens de PQ worden specifieke risico’s van de testmethode gekwalificeerd. Het kan bijvoorbeeld gaan om de beïnvloeding van specifieke omgevingscondities: in welke mate wordt de kwaliteit van het monster beïnvloed door omgevingscondities als temperatuur. Bij analytische metingen wordt de stabiliteit van een monster vaak onder de verschillende gebruikelijke omstandigheden onderzocht. Maar ook bij medische hulpmiddelen kan dit een rol spelen. Moet de meting worden uitgevoerd voor of na sterilisatie?

Daarmee zijn we nog niet klaar. Zoals aangegeven is het meetsysteem een proces waarmee onderscheid wordt gemaakt tussen conforme en niet-conforme producten. Maar het gaat hierbij vaak niet om individuele producten, maar om partijen. Om gefabriceerde partijen vrij te geven worden vaak steekproeven genomen en deze monsters beoordeeld op conformiteit, om daarmee een uitspraak te doen over de gehele partij. Tijdens de PQ wordt beoordeeld of het monsternameplan geschikt is voor het beoogde doel: de geldigheid van het besluit dat aan de hand van de resultaten wordt genomen. Dit vraagt om een intensieve meting van een aantal partijen. Vaak is dit niet mogelijk vanwege de kosten en benodigde tijdsinvestering. In die gevallen wordt aan de hand van statistische procescontrole de effectiviteit van de testmethode vastgesteld.

Kortom, bij de testmethodevalidatie wordt verder gekeken dan de nauwkeurigheid van het meetsysteem. Er wordt ook gekeken naar de juiste toepassing van het meetsysteem binnen het productieproces.