De relatie tussen FAT & SAT en IQ & OQ

Zowel de leverancier als de gebruiker hebben een groot belang bij de oplevering van nieuwe (productie)installaties. De gebruiker wil een installatie die geschikt is voor het beoogde gebruik en die tijdens het gebruik weinig verstoringen oplevert. De leverancier wil de kosten voor nazorg en garantieclaims zo gering mogelijk houden. Van dit gemeenschappelijk belang kan worden gebruik gemaakt tijdens het testen van de nieuwe installaties voor oplevering. In deze blog bespreek ik hoe acceptatietesten kunnen worden geïntegreerd in de kwalificatie van nieuwe systemen.

Acceptatietesten
Fabriek Acceptatie Testen (FAT) en Locatie Acceptatie Testen (SAT) worden samen ook wel inbedrijfstelling of commissioning genoemd. Het is onderdeel van de Good Engineering Practices die door veel leveranciers worden gevolgd. Voor kritische projecten wil de leverancier zekerstellen dat de installatie op het moment inbedrijfstellen mechanisch compleet is. Dat wil zeggen, de installatie is geconstrueerd en werkt volgens de fabrieksspecificaties. Een deel van deze testen wordt uitgevoerd op locatie van de leverancier: de FAT. Eventueel aangetroffen problemen kunnen daar snel worden opgelost, voordat de installatie naar de locatie van de klant wordt verscheept.

De constructeur stelt hiervoor een test- en inspectieplan op. Dit plan wordt tijdens de bouwfase uitgevoerd om te verifiëren of:

• De constructie veilig is voor het personeel, het milieu en het publiek.
• Aan de technische kwaliteit is voldaan, dat wil zeggen overeenstemt met de for construction ontwerpdocumenten, specificaties, diagrammen en tekeningen.
• Aan de eventuele wettelijke eisen is voldaan.
• De volgende stap in het constructieproces kan worden voltooid.

De wijze van testen hangt af van de specificatie. Er kan gebruik worden gemaakt van de methodes die worden beschreven in specifieke internationale industrienormen (ISO, ASTM) wat de uitwisselbaarheid van de gegevens met de klanten groter maakt. Eventueel worden externe testlaboratoria of certificerende instanties ingehuurd.
Soms wenst de klant aanwezig te zijn bij bepaalde testen, de zogenaamde witness points. De constructeur moet melden wanneer een dergelijke test kan worden uitgevoerd. Het is dan aan de klant of hij al dan niet gebruik wil maken van deze gelegenheid of toch wil volstaan met een latere verificatie van de testregistraties. Andere controlepunten zijn zo kritisch dat het resultaat van de test eerst moet worden goedgekeurd, voordat het werkproces verder kan gaan, de zogenaamde hold points. Hold points betreffen meestal kritische aspecten van het werk die later niet meer kunnen worden gecontroleerd of gecorrigeerd omdat het onderwerp van de test fysiek niet meer toegankelijk is of de kosten van het herstel vele malen toeneemt als de fout later wordt ontdekt.

Van alle aangetroffen afwijkingen word een punchlijst bijgehouden. Hierin wordt het punt gevolgd totdat het naar tevredenheid is opgelost. De klant doet er verstandig aan om van deze punchlijst een hold point te maken voor het verschepen van de installatie naar de gebruiker. Dat wil niet zeggen dat alle punten opgelost moeten zijn. Wel moet beoordeeld worden of de punten een belemmering voor verscheping vormen of dat het punten betreffen die ook op de locatie van de gebruiker kunnen worden opgelost.

Eenmaal op locatie van de klant wordt het systeem verder of opnieuw getest conform het opgestelde Inspectie en Test Plan. De installatie maakt vaak onderdeel uit van een samenstel van installaties. De aansluiting op en de interactie met deze installaties kan nu worden getest. Ook kan nu worden beoordeeld of het systeem werkt met gebruik van de lokaal beschikbare voorzieningen (elektra, water, stoom, perslucht, gassen, CIP reinigingssytemen etc.). De System Acceptance Tests zijn de eerste grote test van de totale functionaliteit van het systeem en het is gebruikelijk voor de gebruiker om bij de System Acceptance Tests te getuigen om na te gaan dat het systeem wordt getoetst aan de overeengekomen functionele specificatie. Ook kunnen eindgebruikers worden betrokken bij de uitvoering van de testen, zodat dit gelijktijdig een opleiding van de gebruiker vormt.

Als de leverancier het bewijs heeft verzameld dat het systeem de gewenste kwaliteit heeft, kan het worden opgeleverd. Het bewijs van kwaliteit wordt met de klant besproken om zich daarmee ook te behoeden voor onterechte garantieclaims of andere onwenselijke claims.

Kwalificatietesten
De Installatie Kwalificatie (IQ) en Operationele Kwalificatie (OQ) zijn gebruikerstesten. De gebruiker wil vaststellen dat het systeem technisch en functioneel voldoet aan de gestelde eisen en geschikt is voor het beoogde gebruik. Hiervoor wordt een validatieplan opgesteld en uitgevoerd. De protocollen worden vooraf door de stakeholders (waaronder de eindgebruiker en QA) goedgekeurd. Eventueel aangetroffen afwijkingen worden in deviaties vastgelegd en gevolgd tot ze naar tevredenheid zijn opgelost. Het resultaat van de kwalificatie wordt in een eindrapport vastgelegd. Hierin worden ook de openstaande of onoplosbare deviaties vermeld, waarbij de consequenties voor het gebruik en onderhoud van de installatie worden aangegeven.

Met andere woorden, de FAT/SAT en de IQ/OQ van installaties hebben grotendeels dezelfde doelstelling: toetsing van de installatie tegen de technische en functionele specificaties. Hierdoor kunnen deze tegelijkertijd of gecombineerd worden uitgevoerd. Beslissingen over de noodzaak van Factory en Site Acceptance Testing, de timing hiervan met de betrekking tot de IQ en OQ en de mogelijke combinatie van deze moeten in de vroege stadia van het project worden besproken. Het besluit kan namelijk consequenties hebben voor de contractuele verplichtingen met de leverancier. Dit besluit dient te worden gedocumenteerd als onderdeel van het Validatie Master Plan of in het Project Kwaliteitsplan. De kwalificatierapporten kunnen dan naar de standaard testrapporten van de leverancier of van de onafhankelijke derde partij verwijzen. Hierdoor worden de FAT/SAT resultaten onderdeel van een formele goedkeuring door de eindgebruikers en QA.

Het gebruik maken van FAT/SAT resultaten tijdens de IQ/OQ kan grote voordelen hebben. Natuurlijk levert het een enorme kostenbesparing op. Waarom zou je opnieuw testen als de gegevens al beschikbaar zijn? Maar soms moet je als gebruiker wel investeren in de kwaliteit van de door de leverancier aangeleverde gegevens. Er wordt hierbij ervan uitgegaan dat het niveau van gedocumenteerd bewijs voldoende is om aan de kwalificatie-eisen te voldoen. Deze eisen zijn afhankelijk van het GxP kritieke karakter van het systeem (risico). Afhankelijk van de impact die de installatie heeft op de kwaliteit van het eindproduct wordt gekozen voor het al dan niet uitvoeren van gebruikerstesten (IQ/OQ) in aanvulling op de acceptatietesten (FAT/SAT). De ontwikkeling van testspecificaties vindt plaats op hetzelfde moment als de productspecificatie (dit wordt natuurlijk gedaan door een onafhankelijk team). Dit vermindert de implementatietijd van het project en helpt ervoor te zorgen dat de functionele en technische ontwerpspecificaties toetsbaar zijn.

Het gebruik maken van de FAT/SAT mogelijkheden kan ook een aanzienlijke besparing opleveren voor de projectdoorlooptijd. IQ/OQ testen starten pas na oplevering van de installatie. FAT/SAT testen beginnen al tijdens de bouwfase. Het grootste deel van de hardware en software kan al worden geïnspecteerd tijdens de FAT gedurende de bouwfase. De integratietesten kunnen worden uitgevoerd tijdens de installatie op de gebruikerslocatie. Afwijkingen worden ook in een vroegtijdig stadium ontdekt, daar waar ze nog weinig consequenties hebben en ook het snelst kunnen worden verholpen.

Voor leveranciers die werken volgens Good Engineering Practice is het gebruikelijk hun opgeleverde systemen uitvoerig te testen volgens standaard test methoden. Zij hebben het technisch vermogen en de kennis om deze testen op een betrouwbare wijze uit te voeren. Het is dus wenselijk om gebruik te maken van de vakkundigheid van de leverancier in plaats van als gebruiker zelf te gaan experimenteren met test methoden. De gebruiker moet wel beoordelen of de leverancier de testen adequaat uitvoert. Het hanteren van internationale normen (ISO, ASTM, etc) en gecertificeerde test laboratoria kan hierbij helpen. Onafhankelijke test laboratoria kunnen eventueel ook door de gebruiker worden ingeschakeld. Dit gebeurt bijvoorbeeld bij de lascontroles, waarbij een van de lasser onafhankelijke controle gewenst is en de gebruiker te weinig kennis heeft voor het uitvoeren van deze testen.