Skip to content

Afronding van resultaten en vergelijking met specificatiegrenzen

21 mei 2017

gdp

In mijn dagelijkse praktijk merk ik dat er veel onduidelijkheid is bij het rapporteren van numerieke meetresultaten en er nogal eens, bewust of onbewust, wordt gesjoemeld met afrondingen bij het vergelijken van deze resultaten met de acceptatiegrenzen. Deze blog brengt hopelijk enige duidelijkheid in deze materie om daarmee onzorgvuldigheid te voorkomen.

Oneindig nauwkeurig

Het is onmogelijk bepaalde grootheden tot een oneindige nauwkeurigheid te meten. Als we bijvoorbeeld met een liniaal meten met een schaalverdeling in millimeters, dan kunnen we hooguit tot een tiende millimeter (±0.1mm) nauwkeurig meten. Veelal wordt geaccepteerd dat op tienden binnen de aangegeven schaalverdeling op het meetinstrument kan worden geïnterpoleerd. Artikel 7 van de ASTM E29 Standard Practice for Using Significant Digits in Test Data to Determine Conformance with Specifications geeft richtlijnen voor dit doel.

Hieruit vloeit de algemene stelregel voort dat het laatste cijfer niet helemaal betrouwbaar is. Als we dus 66,3 kg schrijven, bedoelen we dat de waarde ook wel 66,2 of 66,5 kg zou kunnen zijn, maar niet 65,1 of 68,7 kg. De twijfel mag dus alleen in het laatste cijfer zitten.

Veel meetinstrumenten kunnen digitaal worden afgelezen of geven het meetresultaat op een uitdraai. Voor deze meetsystemen is een meetsysteemanalyse noodzakelijk om te bepalen welke cijfers in het weergegeven meetresultaat nog betekenis hebben en welke weergegeven cijfers als gevolg van willekeurige fluctuaties of afwijkingen geen betekenis meer hebben. De in de meetsysteemanalyse vastgestelde meetonzekerheid is bepalend voor het vaststellen van de precisie van het meetresultaat: welke cijfers nog wel en welke cijfers geen betekenis meer hebben.

Het bepalen van significante cijfers

Bij een liniaal is de nauwkeurigheid onafhankelijk van de gemeten lengte. Maar bij veel analytische meetsystemen is de meetonnauwkeurigheid afhankelijk van de grootte van de meetwaarde. De meetonzekerheid wordt dan bijvoorbeeld uitgedrukt in het percentage van de meetwaarde, bijvoorbeeld ±1%. Dat betekent dat de nauwkeurigheid niet kan worden uitgedrukt in een aantal decimalen. Immers 1 gram per liter zou ik op 10 milligram per liter nauwkeurig kunnen bepalen, en 1 milligram per liter op 10 microgram per liter nauwkeurig. Resultaten noteren als achtereenvolgens 1000.00 mg/L en 1.00 mg/L is dan geen juiste weergave. Voor dergelijke meetsystemen specificeren we het aantal significante cijfers van het resultaat. In het geval van een meetonnauwkeurigheid van 1% zijn dat 3 significante cijfers. We noteren dus 1.00 g/L of 1.00 x 103 mg/L en 1.00 mg/L, waarbij dus alle cijfers, inclusief de nullen betekenis hebben.

Een aanbeveling voor het aantal significante cijfers wordt gegeven in ASTM E29. Het aantal significante cijfers (België: beduidende cijfers of kenmerkende cijfers) hangt af van de herhaalbaarheid (σ) van de testmethode. De aanbevolen regel is dat het afrondingsinterval tussen 0,05 en 0,5 σ ligt. Bijvoorbeeld als een testresultaat 1,45729 en herhaalbaarheid standaarddeviatie van 0,0052 is, dan moet het afrondingsinterval tussen 0,00026 (0,05 σ) en 0,0026 (0,5 σ) liggen. Het afrondingsinterval is dan 0,001 en het resultaat wordt weergegeven als 1,457.

Methoden om duidelijk significante cijfers aan te geven

Om te voorkomen dat er veel nullen voor (0.0000123) of na (12300000) de significante cijfers geschreven moeten worden, wat onduidelijkheid geeft of de nul nu wel of geen betekenis heeft, gebruiken we de wetenschappelijke methode door een macht van 10 toe te voegen (1.23 10-6 of 12.3 106). Bij de wetenschappelijke notatie staat er minimaal één significant cijfer (ongelijk aan nul) voor de komma. Ook kun je geschikte voorvoegsels (kilo, centi, milli, etc.) gebruiken. Als voorbeeld neem ik de afstand tussen Amsterdam en Utrecht, hemelsbreed gerekend. Die afstand is 35 km (van centrum tot centrum), weer te geven dus in 2 significante cijfers. De 3 en de 5 hebben allebei echt een betekenis. Je mag geen van beide veranderen, want als je dat doet maak je een fout. Je kunt ook zeggen dat 35 km, 35000 meter is. Maar zo heel precies heb je de afstand van Amsterdam tot Utrecht niet bepaald. Misschien is het 35178 meter of 34936 meter. Als je dus zegt dat de afstand van Amsterdam tot Utrecht 35000 meter is, dan heb je weliswaar 5 cijfers opgeschreven in plaats van 2, maar daarvan zijn er nog steeds slechts twee significant. De drie nullen staan er wel, maar ze zijn niet significant: ze betekenen niets. De wetenschappelijke notatie en voorvoegsel voorkomen dit probleem.

Afrondingsregels

Als het meetsysteem het resultaat weergeeft in meer cijfers, dan zal het weergegeven resultaat in de rapportage dus moeten worden afgerond. Bij het afronden vervangen we een resultaat met de dichtstbijzijnde waarde die een veelvoud is van het afrondingsinterval. Het afrondingsinterval is de macht van 10 van het laatste significante cijfer.

Er is een aantal manieren om af te ronden, waaronder:

  • De meest gebruikelijke is de 5-up regel waarbij als het eerste cijfer zonder betekenis kleiner dan 5 is, dan wordt de waarde naar beneden afgerond, en is het eerste cijfer zonder betekenis 5 of hoger, dan wordt naar boven afgerond.
  • In de wetenschap en ASTM E29 wordt soms de 5-even regel toegepast. Is het eerste cijfer zonder betekenis 5, dan wordt afgerond naar de dichtstbijzijnde even waarde; dus zowel 1,5 als 2,5 ronden af naar de dichtstbijzijnde even waarde: 2.

Ook zijn er specifieke afrondingsregels voor als we meetresultaten gebruiken in berekeningen.

  • Bij optellen en aftrekken geef je het resultaat in het aantal decimalen van de waarde met het kleinste aantal decimalen.
  • Bij vermenigvuldigen en delen geef je het resultaat in het aantal significante cijfers van het gegeven met het kleinste aantal significante cijfers.
  • Bij het uitvoeren van complexe, meervoudige berekeningen, wordt de afronding altijd uitgevoerd na de laatste berekeningsstap. Tussenliggende afrondingen leiden tot toename van de onnauwkeurigheid van het eindresultaat en zijn dus niet toegestaan.

Het zou in het algemeen het beste zijn om alle individuele meetuitkomsten in een rapport te noteren, maar met veel resultaten wordt dat onoverzichtelijk. In dat geval worden altijd de volgende drie statistische kengetallen gegeven:

  • het aantal metingen: n;
  • de gemiddelde meetuitkomst: x̅;
  • en de standaarddeviatie: s.

De kerngetallen worden berekend. Het gemiddelde en de standaarddeviatie worden daarbij met hetzelfde aantal decimalen / significante cijfers aangegeven; ze zijn immers berekend uit de individuele gegevens. De standaarddeviatie zegt iets over de nauwkeurigheid van de (gemiddelde) meetwaarde.

Berekeningen uitgevoerd met (Excel) spreadsheets of computerprogramma’s moeten dus rekening houden met bovenstaande afrondingsregels. Hou hier dus rekening mee met het programmeren, controleren en valideren van je spreadsheet.

Vergelijking met specificatiegrenzen

Vaak is het prettig als een meetuitkomst toch met één decimaal meer bekend is dan de vereiste nauwkeurigheid van de grenswaarden in een specificatie. Met name als ermee verder gerekend moet worden is dat aan te raden. In feite wordt dan net zo gehandeld als met een tussenresultaat van de berekeningen. Alleen levert dat wel problemen op met het bepalen of de meetwaarde nu wel of niet aan de specificatie voldoet.

De twee werkwijzen voor het vergelijken van een meting of testresultaat met een specificatie zijn de absolute vergelijkingsmethode en de afrondingsvergelijkingsmethode.

  • Vooral afmetingen worden geïnterpreteerd met de absolute vergelijkingsmethode. Indien bijvoorbeeld een diameter gespecificeerd als 30,0 ± 0,1 mm en gemeten met een afrondingsinterval van 0,001 mm, dan zal volgens de absolute methode 29.900 (net) voldoen, terwijl 29,899 niet aan de specificatie voldoet.
  • Materiaaleigenschap specificaties in de procesindustrie worden gewoonlijk geïnterpreteerd met de afrondingsmethode. Als de zuiverheid wordt gespecificeerd als 99-102 procent, dan voldoen volgens de afrondingsvergelijkingsmethode alle analyseresultaten tussen 98,50000000 en 102,4999999999 procent aan de eis. Met andere woorden alle decimalen tot in het oneindige zijn geldig, mits het betekenisvolle, significante cijfers zijn.

Welke vergelijkingsmethode moet worden toegepast moet vooraf worden bepaald om gesjoemel en geschillen te voorkomen. Ik ben niet zelden tegengekomen dat over het algemeen de absolute vergelijkingsmethode wordt toegepast. Totdat er een waarde wordt gepresenteerd die met de afrondingsvergelijkingsmethode nog wel binnen specificatie zou vallen. Dan wordt heel resultaatgericht maar even geswitcht.

Medische hulpmiddelen verordeningen gepubliceerd

6 mei 2017

normenDe definitieve teksten van het nieuwe Europese verordeningen voor medische hulpmiddelen (MDR) en in vitro diagnostica (IVDR) werden vrijdag 5 mei in het Publicatieblad van de Europese Unie gepubliceerd.

Hiermee is de tijdlijn voor de tenuitvoerlegging van de nieuwe regelingen gestart:

  • 25 mei 2017 (20 dagen na publicatie): In werking tredend
  • 25 november 2017 (na 6 maanden in werking): Aangemelde Instanties kunnen worden geaudit tegen de nieuwe verordeningen
  • Medio 2018: Aangemelde Instanties in staat om registraties tegen de nieuwe verordeningen te beoordelen
  • 25 mei 2020 (na 3 jaar in werking): Toepassing van de MDR
  • 25 mei 2022 (na 5 jaar in werking): Toepassing van de IVDR

 

De nieuwe ISO/IEC 17025:2017 – Wat te verwachten

27 maart 2017

ISO/IEC 17025 ‘Algemene eisen voor de bekwaamheid van beproevings- en kalibratielaboratoria’ is sinds 2015 in herziening. Afgelopen januari werd de DIS versie gepubliceerd. ISO/IEC 17025 is voor het eerst uitgegeven in 1999 door de Internationale Organisatie voor Standaardisatie (ISO) en de Internationale Elektrotechnische Commissie (IEC). Het is de belangrijkste standaard voor kalibratie en test laboratoria, met meer dan 50.000 geaccrediteerde laboratoria wereldwijd. De reikwijdte van de norm wordt uitgebreid, zo blijkt uit de definitie voor laboratorium. De norm is nu ook toepasbaar voor organisaties die uitsluitend monsters nemen ten behoeve van beproeving en kalibratie, maar zelf geen testen uitvoeren.

De indeling van de nieuwe norm zal aanzienlijk worden gewijzigd in lijn met ISO/CASCO Committee on conformity assessment. De structuur is vergelijkbaar met andere nieuwe normen zoals ISO/IEC 17020 en ISO/IEC 17065. De norm is ook meer in lijn met de nieuwe ISO High Level Structure. Daardoor is de norm ook beter inpasbaar als naast ISO/IEC 17025 ISO 9001:2015 in het laboratorium wordt toegepast. Er vindt nu een meer geïntegreerde beschrijving van de competentie-eisen plaats. De nieuwe norm is nu als volgt opgebouwd:

1 Reikwijdte
2 Normatieve verwijzingen
3 Termen en definities
4 Algemene vereisten

4.1 Onpartijdigheid
4.2 Vertrouwelijkheid

5 Constructieve eisen
6 Benodigde middelen

6.1 Algemeen
6.2 Personeel
6.3 Laboratoriumfaciliteiten en omgevingscondities
6.4 Apparatuur
6.5 Metrologische traceerbaarheid
6.6 Extern geleverde producten en diensten

7 Proceseisen

7.1 Review van aanvragen, tenders en contracten
7.2 Selectie, verificatie en validatie van methoden
7.3 Bemonstering
7.4 Afhandeling van test- en kalibratiemateriaal
7.5 Technische registratie
7.6 Beoordeling van meetonzekerheid
7.7 Kwaliteitsborging van resultaten
7.8 Rapportage van resultaten
7.9 Klachten
7.10 Beheersen van afwijkingen
7.11 Gegevenscontrole en beheersen van informatie

8 Managementeisen

Bijlage A – Metrologische herleidbaarheid (Informatief)
Bijlage B – Managementsysteem (Informatief)
Bibliografie

De oude indeling in technische en managementeisen en is enigzins komen te vervallen. Hoofdstukken 4 tot en met 7 beschrijven de technische competentie eisen en de procesmatige aanpak. Deze moeten altijd worden nageleefd. In sectie 8.1 worden 2 opties geboden voor het opzetten van een laboratoriummanagementsysteem: het naleven van ISO 9001 (optie B) of het naleven van de minimale managementsysteemeisen geformuleerd in de overige secties van hoofdstuk 8 (optie A):

8.2 Managementsysteemdocumentatie
8.3 Beheersing van managementsysteemdocumentatie
8.4 Beheersing van registraties
8.5 Acties op risico’s en kansen op te pakken
8.6 Verbeteringen
8.7 Corrigerende maatregelen
8.8 Interne audits
8.9 Directiebeoordeling

Een informatieve verduidelijking van de keuzeoverwegingen voor beide opties wordt in bijlage B gegeven. Duidelijk is dat in geval van optie A de uitgangspunten van ISO 9001 in voldoende mate moeten worden nageleefd. De verantwoordelijkheid voor de effectiviteit van het managementsysteem ligt bij het management: leiderschap. De herziene norm bevordert de procesbenadering voor het ontwikkelen, implementeren en verbeteren van de effectiviteit van een kwaliteitsmanagementsysteem. In lijn met de nieuwe ISO filosofie worden minder gedocumenteerde procedures vereist; de norm richt zich meer op de resultaten van het managementsysteem. Bijvoorbeeld hoeft u niet langer functiebeschrijvingen op te stellen (2005 – 5.2.4), maar wordt u geacht elke medewerker te informeren over zijn taken, verantwoordelijkheden en bevoegdheden (6.2.4) en de daaraan gerelateerde competentie eisen. Ook het kwaliteitshandboek is komen te vervallen evenals de rol van directievertegenwoordiger. Risico gebaseerd denken ligt ten grondslag aan de strategische beleidsvorming van het laboratorium. De herziene norm vraagt ook om een evaluatie en analyse van de belangrijkste interne en externe issues als input voor de directiebeoordeling. Kortom een volledige herziening van de kwaliteitsmanagementfilosofie voor laboratoria.

De norm is strikter in het waarborgen van de kwaliteit van de resultaten. Besluitregels, aan de hand waarvan het laboratorium, op basis van het resultaat, de acceptatie criteria en de meetonzekerheid, test items accepteert of verwerpt,  moeten worden vastgelegd en indien van toepassing worden gerapporteerd in verklaringen van overeenstemming.

De eisen met betrekking tot Interne kwaliteitscontrole en ringonderzoek zijn bijgewerkt. Alle eisen en overwegingen ten aanzien van metrologische herleidbaarheid zijn bijeengebracht in een overzichtelijke bijlage (A). Metrologische herleidbaarheid bij het bemonsteren is daarin opgenomen.

In hoofdstuk 4 zijn algemene integriteitseisen voor een laboratorium opgenomen. Onpartijdigheid en vertrouwelijkheid moeten worden gewaarborgd en risico’s voor ongewenste beïnvloeding geminimaliseerd. Voor een beleidsmatige aanpak van deze normeisen zie een blog van mij uit 2010: Integriteit van het laboratorium begint bij de medewerker.

De huidige norm is afkomstig uit 2005 en dus 12 jaar oud. In de tussenliggende jaren heeft digitalisering in het laboratorium een grote vlucht genomen. Toepassing van Laboratorium Informatie Management Systemen (LIMS: 7.11) is veel algemener. Naast gegevens op servers, plaatsen we nu ook onze gegevens in de cloud zodat ze eventueel efficiënter kunnen worden gedeeld met aanvragers en opdrachtgevers. De norm is beter afgestemd op deze elektronische gegevensverwerking. Zo is apparatuur helderder gedefinieerd als elk systeem dat de meetresultaten beïnvloedt. Verspreid in de norm worden eisen ten aanzien van data integriteit en datakwaliteit geformuleerd. Uit sectie 8.3 en 8.4 blijkt echter dat ISO/IEC 17025 niet de principes van gedocumenteerde informatie uit de ISO hoofdstructuur heeft gevolgd.

Inkoop en uitbesteding worden beschreven als extern geleverde producten en diensten. Dat betekent dat het uitbesteden van testen of kalibraties op een vergelijkbare wijze moet worden beheerst als de inkoop van materialen, inclusief de leveranciersbeoordeling en de verificatie van geleverde resultaten. Acceptatiecriteria en eisen voor de competentie van externe dienstverleners moeten worden gecommuniceerd.

De Draft International Standard is beschikbaar in de normshop van de NEN. Naar verwachting wordt de definitieve versie van ISO/IEC 17025 eind 2017 gepubliceerd.

Voor de naleving van de regelgeving verantwoordelijke persoon

26 maart 2017

normen

In artikel 15 van de nieuwe medische hulpmiddelen verordening en de verordening in-vitro-diagnostica wordt bepaald dat fabrikanten en Europese gemachtigden moeten beschikken over een “Voor de naleving van de regelgeving verantwoordelijke persoon”. In concept versies werd deze persoon een gekwalificeerd persoon (Qualified Person) genoemd, en gezien die onmogelijk lange formele titel ben ik bang dat in de volksmond het de Qualified Person zal blijven. Mede omdat een vergelijkbare functie al binnen de geneesmiddelenindustrie bestaat.

In lid 33 van de inleidende overwegingen staat: “Er moet op worden toegezien dat het toezicht en de controle op de vervaardiging van hulpmiddelen alsmede activiteiten inzake post-market surveillance en vigilantieactiviteiten met betrekking tot die hulpmiddelen binnen de organisatie van de fabrikant worden uitgeoefend door een voor de naleving van de regelgeving verantwoordelijke persoon wiens kwalificatie aan minimumeisen voldoet.” Fabrikanten moeten minimaal één dergelijk persoon in dienst hebben. Als er vanwege de grootte van de organisatie meerdere personen de rol van voor de naleving van de regelgeving verantwoordelijke persoon vervullen, dan moet hun rolverdeling wel zijn vastgelegd. Dit om te voorkomen dat producten of processen ontkomen aan het door hen uit te oefenen toezicht. Midden- en kleinbedrijven hoeven gezien hun geringe omvang niet een Qualified Person in dienst te hebben, maar wel toegang te hebben tot een dergelijk persoon. De eerste advertenties verschijnen al dat bedrijven de diensten van de Qualified Person aanbieden, met andere woorden, MKB kan een QP inhuren. Wat zij daarbij goed in de gaten moeten houden is dat de mate en de inhoud van het toezicht wel aan de voorwaarden van de verordening voldoen. Dat betekent ook dat een dergelijk ingehuurd persoon wel op bepaalde kritische momenten beschikbaar moet zijn, omdat anders de bedrijfsvoering / supply chain wordt opgehouden.

In de verordening staat nergens vermeld dat het een volledige functie moet zijn. MKB bedrijven kunnen er dus ook voor kiezen om de rol van de voor de naleving van de regelgeving verantwoordelijke persoon toe te wijzen aan een persoon die al een andere functie binnen de organisatie vervult. Aandachtpunt is dan wel een mogelijke belangenverstrengeling. In het kader van belangenverstrengeling is in lid 3 van artikel 15 opgenomen dat “De persoon die verantwoordelijk is voor de naleving van de regelgeving, mag in de organisatie van de fabrikant geen nadeel ondervinden met betrekking tot de behoorlijke uitvoering van zijn taken, ongeacht of hij werknemer van de organisatie is of niet.” Daar kan dus aan worden toegevoegd: ongeacht of hij een andere functie of rol vervult.

De voor de naleving van de regelgeving verantwoordelijke persoon is verantwoordelijk voor het toezicht op bepaalde kwaliteit controlerende en borgende activiteiten. Dat betekent dus niet dat de QP deze activiteiten zelf moet uitvoeren. Hij moet alleen toezicht uitoefenen op:

  • De adequate uitvoering en beoordeling van vrijgavetesten in overeenstemming met het kwaliteitsplan en het kwaliteitsmanagementsysteem.
  • Het opstellen en bijhouden van de technische documentatie en de EU-conformiteitsverklaring
  • Het vaststellen en toepassen van een systeem voor Post-Market Surveillance (PMS)
  • Het rapporteren en analyseren van ernstige incidenten, trends, field safety corrective actions en overige waakzaamheid (vigilantie) gegevens.
  • Verstrekken van noodzakelijk verklaringen van onderzoeksproducten gebruikt in klinisch onderzoek.

De rol is dus een andere dan de QP rol binnen de farmaceutische industrie (zie GMP bijlage 16), die voornamelijk verantwoordelijk is voor het certificeren van de batchvrijgave. Vandaar dat waarschijnlijk voor een andere naamgeving is gekozen, om rolverwarring te voorkomen. In deze rol is er een analogie met de directievertegenwoordiger in ISO 13485 die moet bewerkstelligen dat processen die nodig zijn voor het kwaliteitsmanagementsysteem zijn vastgesteld, ingevoerd en worden onderhouden. Het lijkt dus logisch om de directievertegenwoordiger ook als Voor de naleving van de regelgeving verantwoordelijke persoon te benoemen. In ISO 9001:2015 is deze rol komen te vervallen en is de directie verantwoordelijk voor het borgen van de kwaliteit. De vraag rijst of ISO 13485 ooit dit element van de High Level Structure zal gaan volgen.

De functie is ingesteld om een intern geweten te creëren tegenover de belangen van frauduleuze directeuren zoals Jean-Claude Mas, de oud-directeur van de Franse borstimplantatenfabriek PIP. Vandaar ook de wettelijke bescherming die een dergelijk persoon in de verordening geniet. Maar in tegenstelling tot een farmaceutische QP, die elke batch moet certificeren voordat hij in de handel wordt gebracht, heeft een voor de naleving van de regelgeving verantwoordelijke persoon geen middel om ondeugdelijke partijen tegen te houden. De medische hulpmiddelen verordeningen hebben de QP geen enkel machtsmiddel gegeven. Ook wordt geen positie toegekend aan de voor de naleving van de regelgeving verantwoordelijke persoon. Dit in tegenstelling tot ISO 13485 die stelt dat de directievertegenwoordiger afkomstig moet zijn uit het management. De verordening legt de voor de naleving van de regelgeving verantwoordelijke persoon dus wel een zware juridische verantwoordelijkheid op, maar laat hem verder wel met lege handen staan. Je kunt alleen maar besluiten op te stappen als je vindt dat de verordening niet wordt nageleefd en wilt voorkomen dat je een cel naast je directeur mag gaan bewonen.

Er wordt in de verordening ook de nodige aandacht besteed aan de kennis en ervaring van de voor de naleving van de regelgeving verantwoordelijke persoon. Deze kan worden aangetoond door een universitaire (of gelijkwaardige) opleiding aangevuld met één jaar beroepservaring of uitsluitend door vier jaar beroepservaring op het gebied van regelgeving of kwaliteitsmanagementsystemen voor medische hulpmiddelen (voor in-vitrodiagnostiek). Als opleidingsrichtingen worden een juridische opleiding, opleiding in de geneeskunde, farmacie, technologie of andere relevante wetenschappelijke discipline genoemd. Daar kun je veel kanten mee op. De farmaceutische industrie heeft af en toe grote moeite om een persoon te vinden die aan de opleidingseisen voor een QP kan voldoen. In de medische hulpmiddelen industrie is het dus mogelijk om de opleiding te vervangen door een additionele 3 jaar relevante werkervaring. Over het aantal ervaringsjaren is lang gediscussieerd. Het zijn er 5 en 3 geweest, maar de definitieve tekst vereist minimaal 4 ervaringsjaren bij het ontbreken van relevante diploma’s.

Op dit moment zullen vele bedrijven beschikken over personen met voldoende werkervaring, maar het probleem bij vervanging of uitbreiding ligt op de loer. Dan voldoet men mogelijk moeilijker aan de opleidingseis. Gelukkig is die dus ook breed opgesteld. Met uitsluitend een juridische opleiding zal het lastig zijn om het technische aspect van de rol te begrijpen. Ook een farmaceutische opleiding lijkt voor menig medisch hulpmiddel weinig relevant. Daar zal interne opleiding moeten worden toegepast om ook aan de ISO 13485 eis (6.2) te voldoen dat medewerkers die werkzaamheden uitvoeren die direct van invloed zijn op de productkwaliteit competent moeten zijn op basis van geschikte opleiding, training, vaardigheden en ervaring.

Ik denk dus dat de verordening een intentie laat zien, maar dat het op meerdere punten ontbreekt aan de nodige slagkracht. Er zal dus nog wel de nodige discussie losbarsten over de invulling en ontwikkeling van de voor de naleving van de regelgeving verantwoordelijke persoon.

Unieke hulpmiddelenidentificatie

11 maart 2017

medischehulpmiddelen

Hoe om te gaan met het verkrijgen, toewijzen en handhaven van UDI voor medische hulpmiddelen. Hoe kies je een instantie voor de afgifte? Welke soorten wijzigingen in een hulpmiddel rechtvaardigen een nieuwe code?

Elke UDI code bestaat uit twee onderdelen, de Device Identifier (DI) en de Product Identifier (PI).

  • De PI is een variabel onderdeel van de UDI afhankelijk van het serienummer, productie, vervaldata, enz.
  • De DI is een vast onderdeel van de UDI, specifiek voor fabrikant en hulpmiddel. Om deze reden wordt alleen het DI deel van de UDI voorgelegd aan en onderhouden in de FDA Global Unique Device Identifier Database (GUDID). De DI is het referentiekader voor alle regelgevende informatie en informatie voor de gebruiker over een hulpmiddel. Het is de ruggengraat van de Europese EUDAMED en Amerikaanse GUDID database waaraan alle verschillende gegevensvelden worden gelinkt en die gezamenlijk de essentiële informatie over het hulpmiddel vormen.

De FDA heeft sinds 2013 al een regeling voor het gebruik van unieke hulpmiddelenidentificatie. Deze UDI mag volgens de FDA worden vastgesteld in overeenstemming met een van de volgende standaard identificatie-systemen: HIBCC, ICCBBA of (het meest gebruikte) GS1. In de Europese Medische Hulpmiddelen Verordening is aangegeven dat deze standaarden ook geaccepteerd zijn binnen Europa. Als je een keuze maakt welke van deze standaarden en welke toekennende entiteit het meest geschikt is voor jouw product, moet je de volgende vragen beantwoorden:

  • Heb je voor andere producten eerder gebruik gemaakt van een bepaalde standaard? Gebruik maken van dezelfde standaard is het meest zinvol.
  • Hebben de klanten een voorkeur voor een specifieke standaard? Als de meeste hulpmiddelen in een bepaalde sector gecodeerd zijn volgens een bepaalde standaard, dan is het zinvol om hierbij aan te sluiten. Als fabrikant mag je er ook voor kiezen om 2 standaarden te gebruiken. Als fabrikant bepaal je welke code als primaire DI en welke als secundaire DI wordt beschouwd.
  • Worden de producten internationaal verkocht? Als dat zo is, maak dan een keuze voor een standaard die is geaccepteerd in alle regio’s.
  • Hoeveel DI’s heb je nodig? Elke toekennende entiteit heeft een andere tariefstructuur. Kosten kunnen een factor zijn bij de beslissing om een licentie of om rechtstreeks een code aan te kopen.

Elk hulpmiddel bevat ten minste een primaire DI en wellicht meer:

  • Basic UDI-DI. Een basic UDI-DI wordt toegekend aan elk model van een medisch hulpmiddel. De basic UDI-DI bevat de primaire identificatiecode en wordt toegewezen aan de kleinste verkoopeenheid; de kleinste verpakkingsconfiguratie waarin een hulpmiddel wordt verkocht (bijvoorbeeld een doos met 100 rubber onderzoekshandschoenen).
  • Direct Marking DI. In sommige gevallen wordt de UDI op het hulpmiddel zelf aangebracht. Dit is noodzakelijk als het hulpmiddel wordt gebruikt lang nadat het uit de verpakking is gehaald, bijvoorbeeld als het hulpmiddel bedoeld is voor hergebruik, of als het hulpmiddel moet worden gereinigd of verwerkt voor elk gebruik. Los van de verpakking is het hulpmiddel zelf niet te identificeren als er geen rechtstreekse markering op het product is aangebracht. De markering moet het normaal gebruik, de reiniging of de verwerking overleven.
  • Gebruikseenheid UDI-DI. Bij hulpmiddelen voor eenmalig gebruik van de klassen I en IIa die individueel verpakt en geëtiketteerd zijn, moet de UDI-drager niet op de verpakking worden aangebracht maar op een hoger verpakkingsniveau. Een virtuele DI is dan opgenomen in de hulpmiddelen database. Gebruikseenheid UDI-DI’s worden toegewezen als de kleinste verkoopeenheid meer dan één bruikbaar product bevat en heeft als doel om een hulpmiddel aan een individuele patiënt te koppelen. Als op het moment van zorgverlening in de regel de verpakking waarop de UDI is aangegeven niet beschikbaar is, moet elk afzonderlijk hulpmiddel van een UDI worden voorzien.
  • Verpakking DI. Er wordt rekening gehouden met de verschillende verpakkingsniveaus (primair, secundair en tertiair) waarin het product kan voorkomen. Uitgangspunt is dat het product kan worden gevolgd vanaf de fabriek tot en met de gebruiker of ontvanger van het implantaat. Elk verpakkingsniveau krijgt een DI, met uitzondering van de transportverpakkingen.
  • Configuratie DI. Als het hulpmiddel bestaat uit meerdere onderdelen (configureerbare systemen of behandelpakketten) dan krijgt het samenstel een UDI. Als een afzonderlijk onderdeel op zichzelf ook als hulpmiddel kan worden beschouwd, dan krijgt het zijn eigen UDI als het als afzonderlijk product in de handel wordt gebracht.
  • Software DI: Standalone software kan worden gezien als medisch hulpmiddel. Als dergelijke software wordt gedownload van een distributiesite, dan is er geen verpakking waarop de UDI kan worden aangebracht. Als de software niet in verpakte vorm wordt verspreid, moet de software bij het opstarten de UDI als platte tekst laten zien, of weergegeven via een menu commando te geven (bijvoorbeeld een “About…” Commando).

Wanneer is het nodig om een nieuwe DI voor een apparaat te maken? Met andere woorden, welke veranderingen van een hulpmiddel leiden tot toewijzing van een DI? Een nieuwe DI is nodig wanneer een of beide van de volgende veranderingen optreden:

  • Verandering in de versie- of het modelnummer. Elke fabrikant of andere marktdeelnemer die labeling aanbrengt, handhaaft zijn eigen systeem van versie / modelnummers voor zijn hulpmiddelen, alsmede criteria voor het wijzigen van  het versienummer / modelnummer.
  • Noodzakelijke veranderingen in de GUDID database in een niet-bewerkbaar gebied van de GUDID registratie. Van de 62 data-elementen die deel uitmaken van een GUDID registratie, kunnen sommige worden bewerkt, terwijl anderen niet kunnen worden gewijzigd zodra de registratie is bevestigd. Zo kunnen de velden met contactinformatie voor de klant op elk moment worden bewerkt. Maar de handelsnaam of het veld dat aangeeft of een hulpmiddel steriel wordt verpakt, kan niet worden bewerkt. Als er wijzigingen nodig zijn in een niet-bewerkbaar veld, moet een nieuwe DI worden aangemaakt. Het is nog onbekend of de EUDAMED database dezelfde functionaliteit zal krijgen. De Medische Hulpmiddelen verordening geeft de volgende redenen voor het wijzigen van de DI:
    1. de naam of handelsnaam
    2. de versie of het model van het hulpmiddel;
    3. de vermelding “voor eenmalig gebruik” op het etiket;
    4. of het steriel verpakt is;
    5. of het hulpmiddel vóór gebruik moet worden gesteriliseerd;
    6. het aantal hulpmiddelen in een verpakking;
    7. cruciale waarschuwingen of contra-indicaties: bijvoorbeeld “bevat latex” of “bevat DEHP”.

Meer weten over de unieke hulpmiddelenidentificatie en andere gevolgen van de nieuwe Europese Medische Hulpmiddelen verordening: kom naar mijn presentatie op 16 maart tijdens de gratis Springboard themabijeenkomst op de Health Hub Roden.

20 jaar 21 CFR Part 11: Electronische Gegevensbestanden, Elektronische Handtekeningen

9 maart 2017

20 jaar geleden werd 21CFR part 11 Electronic records, Electronic Signatures gepubliceerd. 21 CFR Part 11 is een sectie in de Code of Federal Regulations (CFR), waarin de Amerikaanse Food and Drug Administration (FDA) wettelijke eisen met betrekking tot het gebruik van elektronische registraties en elektronische handtekeningen vastlegt.

Part 11 werd ontwikkeld op verzoek van met name de farmaceutische industrie (maar is ook van toepassing voor andere onder 21 CFR gereguleerde industrieën) omdat er geen wettelijke richtlijnen beschikbaar waren voor het gebruik van elektronische bestanden en handtekeningen. Het gebruik van gedigitaliseerde systemen was enorm toegenomen, maar er was onduidelijkheid over de criteria op grond waarvan elektronische bestanden en handtekeningen konden worden beschouwd als accuraat, authentiek, betrouwbaar, vertrouwelijk en gelijkwaardig aan papieren documenten en handgeschreven handtekeningen. Het probleem was dat elektronische systemen nog niet het vertrouwen hadden als papieren systemen. Niet geheel ten onrechte, want ik herinner mij ook nog wel uit die tijd dat meerdere kopieën van Excel bestanden in omloop waren waarbij uiteindelijk niemand meer wist wat nu de master was, laat staan dat iemand nog de zekerheid had dat de bewerkingen die hij had gedaan in een kopie, ook in het definitieve bestand terecht kwamen. Het gemak van elektronische systemen is dus ook gelijk zijn zwakte. Is op papier een correctie duidelijk zichtbaar, de meeste elektronische systemen hadden een dergelijke audit trail niet.

Rond 1990 werden door het Amerikaanse Pharmaceutical Manufacturing Association (PMA, nu Pharmaceutical Research and Manufacturing Association (PhRMA)) en de Amerikaanse Parenteral Drug Association (PDA) technische groepen gevormd die werkten aan regels voor het gebruik van elektronische gegevensbestanden binnen de farmaceutische industrie. Zij bespraken hun vorderingen vele malen met de FDA task force die onder leiding van Paul J. Motise was opgericht. In 1994 werd een concept verordening gepubliceerd. Het kostte nog 3 jaar tot de definitieve verordening op 20 maart 1997 werd gepubliceerd en een half jaar later, op 20 augustus 1997 was de verordening effectief.

Maar de verordening werd door de industrie op verschillende wijzen geïnterpreteerd en geïmplementeerd. Zo was er onduidelijkheid over op welke systemen en bestanden de verordening betrekking had. Op zich omvat de verordening alleen vereisten voor het beheersen van elektronische bestanden en elektronische handtekeningen. Er is echter geen vermelding welke bestanden en handtekeningen onder de verordening vallen. Daarvoor wordt in de verordening verwezen naar de bestaande regelgeving van toepassing op het betreffende product. Dit zijn onder andere de Good Laboratory Practice (GLP), Good Clinical Practice (GCP) en Good Manufacturing Practice (GMP) regelgeving. Maar deze regelgeving is niet altijd heel expliciet over waar een registratie wordt vereist. Vaak is er sprake van een impliciete verwachting van vastlegging. Ook zijn er zeer weinig expliciete gereglementeerde vereisten voor handtekeningen, maar zijn er impliciete eisen bijv. toetsing, controleren en goedkeuren zal betekenen dat een handtekening vereist is.

Naast onduidelijkheid over welke registraties aan part 11 moeten voldoen was er ook onduidelijkheid over de systemen. Toepassing van de “typewriter rule” (een tekstverwerker die alleen wordt gebruikt voor het genereren een document dat wordt afgedrukt en ondertekend) en hybride systemen (systemen bestaande uit zowel digitale als papieren toepassingen) leidden tot verschil in interpretatie van de verordening. Er was bijvoorbeeld discussie of software, met name besturingssoftware en executable files, moesten worden beschouwd als record of als systeem. Ook was onduidelijk of de verordening alleen van toepassing was op elektronische gegevens opgeslagen op duurzame media of ook op tijdelijke gegevens opgeslagen op niet-duurzame media die weinig of geen mogelijkheid hebben voor het bijhouden van audit trails of om gegevens te exporteren naar andere elektronische systemen of bestanden. Als er een mogelijkheid is om een audit trail bij te houden, vanaf wanneer in de levensloop van de gegevens moet die dan worden bijgehouden: vanaf de bron, vanaf het moment dat de gegevens zijn geverifieerd of vanaf het moment dat de gegevens kunnen worden beïnvloed door menselijk wijzigingen? Ook systemen ten behoeve van het archiveren of verder verwerken van de gegevens waarbij gegevens worden gekopieerd of getransformeerd naar een ander bestandsformaat leverden de nodige interpretatieverschillen op.

Een probleem met part 11 is dat de vereisten betrekking hebben op een gewenste toekomstige papierloze staat, maar te weinig rekening houden met de na 20 jaar nog steeds actuele praktijken. Wel zijn er sinds 20 jaar software-producten beschikbaar die overeenstemming met de verordening mogelijk maken, maar er worden door de bedrijven nog steeds veel oude systemen gebruikt. Het tweede probleem is dat de industrie al intensief gebruik maakte en maakt van elektronische systemen, maar dat het hierbij vaak om hybride systemen gaat. De optie om terug te gaan naar een volledig papieren systeem is niet reëel; hybride systemen blijven voorlopig ondanks alle beheersrisicio’s nog de dagelijkse werkelijkheid.

In 1999 verscheen een enforcement policy zodat vanaf 2000 naleving kon worden gehandhaafd. Maar omdat de industrie nog maar nauwelijks was bekomen van het millenniumprobleem, waren ze er nog niet aan toe om overeenstemming met de nieuwe verordening te realiseren. Het organiseren van deze naleving bleek namelijk vele malen ingrijpender dan het hele millenniumprobleem. In deze tijd werd ik ook door mijn toemalige werkgever naar Londen gestuurd voor een bijeenkomst over 21 CFR part 11. Ik begreep er nog niet veel van, maar één ding was duidelijk geworden, er komt heel wat op ons af. Na uitvoerig leeswerk en verdiepen in de materie was mij duidelijk dat er heel anders moest worden omgegaan met digitale middelen en dat onderzoek naar de geschikheid van deze middelen en training van de gebruikers vereisten waren. De werkgever dacht er anders over: de ICT dienstverlener kreeg 3 maanden de tijd om de verordening te vertalen in een SOP en daarmee was de klus geklaard. Pas toen de toezichthouder de verklaring van overeenstemming met GLP opschortte werd het het management ook duidelijk dat beheersing van digitale systemen ten behoeve van de data integriteit geen flauwekul is en volgens de toezichthouders wel degelijk serieus genomen moet worden.

Om de industrie te ondersteunen bij het interpreteren van de verordening werden door de FDA in de periode 2000-2002 vijf conceptrichtlijnen uitgegeven:

Maar het implementeren van de wettelijke eisen wilde niet vlotten. De industrie klaagde dat 21 CFR part 11 een belemmering was voor de innovatie van de gegevensverwerking en bleef vooral de papieren of hybride systemen gebruiken. In 2003 nam de FDA de klachten serieus. Tot grote verbazing en verwarring van de industrie werden de Enforcement Policy en de 5 concept richtlijnen ingetrokken. In een nieuwe Guidance for Industry Part 11, Electronic Records; Electronic Signatures — Scope and Application gaf de FDA aan de verordening te willen heroverwegen, maar dat zij tot die tijd wel vasthield aan de bestaande verordening. En daar is het sinds die tijd ook wel bij gebleven, want we wachten nog steeds op een herziening van de verordening. De richtlijn kwam als een verademing voor degenen die de over-interpretatie van de verordening bestreden. De richtlijn beperkte de toepassingssfeer van de verordening. Toepassing van 21CFRpart11 mocht worden beoordeeld op basis van de impact die het systeem of bestand heeft op de naleving van de wet- en regelgeving (de predicate rules) van toepassing op het product. Risicomanagement moet worden toegepast om de kans op data integriteitsproblemen en de gevolgen voor de kwaliteit en veiligheid van het product te beoordelen. Deze risico gebaseerde aanpak bracht de nodige verlichting binnen de industrie, zo blijkt ook uit een white paper van de ISPE.

Maar volledige implementatie van 21 CFR part 11 of haar Europese evenknie de GMP bijlage 11 is nog verre van gerealiseerd. Het gebruik van elektronische gegevensbestanden en handtekeningen is vrijwillig. Deze ontsnappingsroute maakt dat veel bedrijven ervoor kiezen om maar niet over te gaan op papierloze systemen om daarmee de noodzaak om part 11 te implementeren te omzeilen. Er is namelijk nog steeds groot gebrek aan kennis binnen de industrie, met name bij MKB bedrijven, over de principes die ten grondslag liggen aan het beheersen van elektronische gegevens en handtekeningen. Sommige bedrijven hebben nog niet eens de status van de hiaat (gap) analyse bereikt. Hierbij gaat het met name om productiebedrijven. GLP en GCP onderzoeksinstellingen, voor wie gegevens het af te leveren product zijn, zijn zich meer bewust van de noodzaak van het beheersen van de data integriteit of zijn daar door de toezichthouders wel op gewezen. Maar ook de inspecteurs hebben niet altijd de benodigde kennis, wat handhaving bemoeilijkt.

In 2010 heeft de FDA aangekondigd het toezicht op de naleving van 21 CFR part 11 te hervatten. Dit mede ingegeven door de beschikbaarheid van ‘geschikte’ softwareproducten. Maar de geschiktheid valt in de praktijk nogal tegen. Problemen als een onleesbare audit trail en incompatibiliteit met de netwerk beveiliging zijn voorbeelden van recente problemen die ik in mijn praktijk ben tegengekomen. Papierloze GxP industrie is na 20 jaar dus nog steeds een verre toekomst. De onduidelijkheid rondom de verordening en de handhaving ervan hebben een ontwikkeling in deze richting niet bepaald bevorderd. Ik ben benieuwd wat de status bij het volgende jubileum zal zijn.

Outsourcing versus inkoop

25 februari 2017

kwaliteitsmanagement

Vaak krijg ik de vraag of er nu sprake is van uitbesteden of van inkopen, en welke mate van beheersing dan op basis van de kwaliteitsmanagementsysteemnormen wordt verwacht. ISO 9001: 2015 geeft helaas niet duidelijk het verschil tussen “uitbestede” processen en inkoop weer. In Bijlage A “Uitleg over de nieuwe structuur, terminologie en begrippen” staat in A8 aangegeven:

Uitbesteden heeft altijd het essentiële kenmerk van een dienst, aangezien dit altijd ten minste één activiteit met zich meebrengt die per se uitgevoerd moet worden op het raakvlak tussen de aanbieder en de organisatie.

Met andere woorden het is altijd een dienst en geen ingekocht product. Maar is de levering van een product dat van invloed is op de overeenstemming van het product met de eisen nu een uitbesteding van het fabricageproces of is het de inkoop van een essentieel productonderdeel (bijvoorbeeld bij de Original Equipment Manufacturer (OEM)).

Bij uitbesteding worden de producten of diensten voortgebracht volgens de eisen van de uitbesteder. Dat betreft niet alleen de specificaties van het geleverde product of de geleverde dienst, maar ook het voortbrengingsproces en de toegepaste kwaliteitsbeheersing. De uitbesteder heeft dus wezenlijk zeggenschap over het werk van de leverende partij. Bij inkoop is dat niet per definitie het geval. De leverancier is meestal verantwoordelijk voor de specificatie van het geleverde product of dienst. Maar een scherpe grens tussen inkoop en uitbesteding is op basis van het opstellen van de specificaties moeilijk te trekken. Ook bij inkoop kan er in bepaalde mate sprake zijn van zeggenschap van de inkopende partij. Bijvoorbeeld: bij inkoop op specificatie levert de inkopende partij een productspecificatie aan bij de opdracht en levert de leverancier een product dat voldoet aan deze specificatie. De leverancier heeft wel volledige zeggenschap over het fabricageproces. Bij inkoopcontracten is er soms sprake van een zogenaamd “Do not change agreement” waarbij de leverende partij overeenkomt dat hij de inkopende partij zal informeren over elke wijziging in het geleverde product of het fabricageproces. Dit stelt de inkopende partij in de gelegenheid om tijdig passende maatregelen te nemen, bijvoorbeeld hernieuwde materiaal- of proces kwalificaties uitvoeren. Dit is kritisch als het ingekochte product een bepalend effect heeft op de kwaliteit van het eindproduct. Zo heeft de wijziging van Tyvek door DuPont veel medische hulpmiddelenfabrikanten veel werk opgeleverd. Tyvek wordt gebruikt als verpakkingsmateriaal voor steriele producten. De impact van de wijziging op de steriliteit van het medisch hulpmiddel moest dus door de fabrikanten onderzocht worden.

Ook wordt vaak gedacht dat als het gaat om werkzaamheden die worden verricht aan het eindproduct, dat het dan om uitbesteding gaat. Als de uitbesteder het halffabricaat naar de dienstverlener stuurt voor een bewerking is het duidelijk. Het steriliseren van medische hulpmiddelen is dus duidelijk een uitbestede activiteit. Maar de aanlevering van een component van een apparaat, is dat nu inkoop of uitbesteding van fabricagewerkzaamheden? En wordt bij uitbesteding juist niet vaak gesproken over het uitbesteden van activiteiten die niet tot de core business van de organisatie behoren?

Misschien moeten we dan toch even terug naar de voorgaande versie van ISO 9001. In ISO 9001: 2008 paragraaf 4.1 Algemene eisen staat in opmerking 2:

Een proces dat de organisatie nodig heeft voor het kwaliteitsmanagementsysteem en waarvoor de organisatie heeft gekozen dit door een externe partij te laten uitvoeren.

Het bepalende verschil tussen uitbesteden en inkopen is de eindverantwoordelijkheid voor het proces. Bij uitbesteden blijft de eindverantwoordelijkheid voor het proces bij de opdrachtgever (de uitbesteder) liggen, en bij inkoop ligt de verantwoordelijkheid bij de leverancier. Vaak zijn managementsysteemnormen bepalend of er sprake is van uitbesteding of inkoop. Als werkzaamheden op basis van de norm, of op basis van de door de organisatie opgegeven reikwijdte van het managementsysteem tot de verantwoordelijkheden van de organisatie behoren, dan is er sprake van uitbesteding. Hierbij kan de organisatie wel het werk (de taak) uitbesteden, maar niet de eindverantwoordelijkheid. De fabrikant doet er daarom verstandig aan om bij uitbesteding een contract en/of kwaliteitsovereenkomst op te stellen waarin de verantwoordelijkheden zijn geregeld. Zie hiervoor een voorgaande blog.

Een punt waarop dit bijvoorbeeld naar voren komt is het uitbesteden van kalibratie werkzaamheden. Kalibratie is op basis van ISO 9001:2015 7.1.5 een verantwoordelijkheid van de fabrikant die het product op de markt brengt. Kalibratie kan door een extern kalibratielaboratorium of door de leverancier van het apparaat worden uitgevoerd, maar de gebruiker moet toch zelf de tolerantie acceptatiecriteria opstellen en het kalibratierapport tegen deze criteria beoordelen. Alleen dan kan de gebruiker ook verantwoordelijkheid nemen voor de noodzakelijke maatregelen als het meetsysteem buiten tolerantie is. Het ontvangen kalibratiecertificaat moet dus door de gebruiker worden beoordeeld en niet, zoals veel gebruikers doen, ongezien in het systeemdossier worden gestopt.

Ook de juridische aansprakelijkheid blijft bij de uitbesteder liggen. Deze zal daarom zelf een risicoanalyse moeten uitvoeren. Ook blijft de uitbesteder van productontwerp of fabricage verantwoordelijk voor het technisch constructiedossier.Een toeleverancier van een productonderdeel is, ongeacht of er sprake is van inkoop of uitbesteding, niet verplicht een bijdrage te leveren aan het technisch constructiedossier van de fabrikant. Bij uitbesteding kan dit wel contractueel worden overeengekomen. Worden producten toegeleverd die vallen onder een EU-productrichtlijn of -verordening, dan gelden in de relevante gevallen voor die producten eventuele eisen voor het meeleveren van documenten, zoals een verklaring van overeenstemming en gebruiksaanwijzing, of inbouwverklaring en montage-instructies.

Het grootste risico van uitbesteden is dat de organisatie die uitbesteedt weliswaar eindverantwoordelijk blijft voor de resultaten, maar geen directe invloed heeft op de uitbestede activiteiten. Daarom vindt er vaak wel op enige wijze een controle plaats van de geleverde producten of diensten. Hierdoor biedt ook de wijze waarop de kwaliteit van de ingekochte goederen of uitbestede diensten wordt gecontroleerd geen eenduidig onderscheid tussen uitbesteding en inkoop. Zowel bij inkoop als bij uitbesteding ligt de beheersing van de impact op het eigen productiesysteem en de kwaliteit van het eindproduct met name in het uitvoeren van inkomende goederen controles. Goederen worden bij aflevering (steekproefsgewijs) geïnspecteerd, alvorens te worden gebruikt in het fabricageproces of te worden verwerkt in het eindproduct. Deze inspectie kan onderdeel vormen van de uitbesteding of inkoop, waarbij de leverancier de testen uitvoert en een analysecertificaat of certificaat van overeenstemming met de goederen meestuurt.