Jak śledzić wymagania URS na etapie DQ, FAT, SAT, IQ i OQ

Klauzula URS sporządzona na etapie definiowania projektu ma sens tylko wtedy, gdy można ją jednoznacznie odnaleźć w protokole testowym, który zamyka proces kwalifikacji miesiące lub lata później. Gdy czytelnik pyta, jak prześledzić wymagania poprzez DQ, FAT, SAT, IQ i OQ, prawdziwym wyzwaniem jest to, jak zapewnić identyfikowalność danego wymagania w wielu dokumentach, przy udziale wielu osób oraz w wielu momentach, w których samo wymaganie może ulec zmianie. Kwestia ta ma duże znaczenie, ponieważ dokumentacja kwalifikacyjna, która nie pozwala na ustalenie powiązania z pierwotnym wymaganiem, jest trudna do obrony podczas kontroli, a także trudno jest jej zaufać wewnątrz organizacji w przypadku wystąpienia niepowodzenia.

Macierz identyfikowalności jako punkt kontrolny dla każdej klauzuli URS

Matryca identyfikowalności służy do wielokrotnego udzielania odpowiedzi na jedno pytanie: w odniesieniu do danego wymagania – jaka decyzja projektowa je uwzględniła, jaki test je zweryfikował, jakie wyniki dał ten test oraz co się stanie, jeśli wymaganie nie zostało w pełni spełnione. Matryca ta nie jest dokumentem podsumowującym sporządzanym na zakończenie projektu; jest to struktura kontrolna, którą należy tworzyć już na etapie opracowywania specyfikacji wymagań użytkowych (URS), a następnie utrzymywać jako jedyny punkt odniesienia, do którego odwołują się wszystkie późniejsze dokumenty.

Działa to tylko wtedy, gdy każde wymaganie posiada stały identyfikator od momentu jego zatwierdzenia. W przypadku gdy wymaganie zostanie przeredagowane podczas przeglądu projektu, podzielone na dwa punkty lub połączone z innym, system identyfikacji musi uwzględnić tę zmianę bez zerwania powiązania z dowodami, które zostały już wygenerowane w odniesieniu do wcześniejszej wersji. Matryca, która pozwala na swobodną zmianę numeracji wymagań lub umożliwia dokumentowi projektowemu odwoływanie się ogólnie do “URS” zamiast do konkretnego numeru klauzuli, traci swoją wartość jako punkt kontrolny, ponieważ żaden późniejszy recenzent nie będzie w stanie potwierdzić, którą wersję którego wymagania faktycznie potwierdza dany wynik testu.

W praktyce należy powiązać sześć elementów dla każdego odpowiedniego zapisu: sam wymóg, odpowiedź dostawcy na ten wymóg, dokument projektowy pokazujący, w jaki sposób odpowiedź została wdrożona, protokół testowy oraz kryterium akceptacji przypisane w celu weryfikacji, wynik odnotowany w odniesieniu do tego kryterium, a także status odchylenia lub zatwierdzenia, jeśli wynik nie był jednoznacznie pozytywny. Brak któregokolwiek z tych elementów przerywa łańcuch. Odpowiedź dostawcy bez popartego dokumentem projektowym jest niezweryfikowaną obietnicą. Wynik testu bez odniesienia do kryterium akceptacji to tylko liczba pozbawiona znaczenia. Odstępstwo bez odniesienia do pierwotnego wymogu staje się niemożliwe do zidentyfikowania w momencie, gdy ktoś zapyta, na który punkt faktycznie ma ono wpływ.

W przypadku gdy zakres projektu ulega zmianie w trakcie realizacji, macierz musi w widoczny sposób uwzględnić tę zmianę, a nie pomijać ją w milczeniu. Jeśli wymaganie zostaje usunięte, ponieważ przestało mieć zastosowanie, macierz powinna wskazywać, że zostało ono usunięte, kiedy to nastąpiło i na podstawie jakiej zgody, a nie po prostu pomijać ten wiersz. Jeśli wymaganie zostanie dodane z opóźnieniem, wymaga ono takiego samego sześcioczęściowego powiązania jak wszystkie elementy zdefiniowane wcześniej, nawet jeśli nie przeszło etapu kwalifikacji projektowej, przez który przeszedł reszta zestawu wymagań. Właśnie w tym miejscu wiele matryc traci na skuteczności: wymagania dodane z opóźnieniem są weryfikowane nieformalnie, ponieważ formalna dyscyplina powiązań została już uznana za “zakończoną”.”

Kwalifikacja projektu łączy wymagania z zatwierdzoną dokumentacją projektową

Kwalifikacja projektu ma na celu udzielenie odpowiedzi na pytanie o węższym zakresie niż cała macierz: czy proponowany projekt, w teorii, faktycznie spełnia wymagania każdej odpowiedniej klauzuli URS, zanim projekt ten zostanie zrealizowany jako gotowy system, którego modyfikacja wiąże się z wysokimi kosztami. Jest to etap, na którym dyscyplina w zakresie identyfikowalności się opłaca, ponieważ luka wykryta na tym etapie wiąże się jedynie z koniecznością aktualizacji dokumentacji, podczas gdy ta sama luka wykryta podczas testów FAT lub na późniejszym etapie wymaga ponownej obróbki fizycznego sprzętu.

DQ nie weryfikuje wydajności; weryfikuje zakres. Dla każdej klauzuli URS mającej zastosowanie na etapie projektowania zapis DQ powinien wskazywać, który rysunek, specyfikacja lub dokument projektowy potwierdza, że wymaganie zostało przełożone na cechę projektu, oraz czy recenzent posiadający odpowiednie kompetencje techniczne potwierdził to przełożenie. W przypadku gdy wymóg jest szeroki lub subiektywny, to właśnie na etapie DQ należy go uczynić możliwym do przetestowania — w razie potrzeby sformułować na nowo w sposób wystarczająco konkretny, aby późniejszy protokół mógł go faktycznie sprawdzić. Wymóg, którego nie da się przełożyć na warunek możliwy do przetestowania na etapie DQ, nie stanie się łatwiejszy do przetestowania w późniejszym terminie; będzie po prostu weryfikowany niekonsekwentnie, o ile w ogóle.

Warunkiem, który wpływa na tę ocenę, jest stopień dopracowania projektu w momencie przeprowadzania kontroli DQ. Gdy weryfikacja DQ dotyczy dojrzałego, w dużej mierze ustalonego projektu, podczas przeglądu można porównać wymagania z ostatecznym rysunkiem technicznym, mając pewność, że przed rozpoczęciem produkcji nic się nie zmieni. Gdy weryfikacja DQ odbywa się wcześniej, w odniesieniu do projektu koncepcyjnego lub wstępnego, podczas przeglądu należy rozróżnić wymagania, które koncepcja wyraźnie spełnia, od wymagań, które pozostają otwarte w oczekiwaniu na szczegółowe opracowanie techniczne — a macierz wymaga wartości statusu dla tego stanu “otwartego, oczekującego na dalsze opracowanie”, odrębnej od “zatwierdzonego” i odrębnej od “nie dotyczy”. Połączenie tych trzech stanów w jedno pole wyboru jest częstym powodem, dla którego identyfikowalność po cichu zawodzi: wymaganie oznaczone jako zrealizowane na etapie DQ, ponieważ koncepcja wydawała się rozsądna, a na późniejszym etapie nie zostało ponownie rozpatrzone, gdy szczegółowy projekt odbiegał od koncepcji.

Nie każda klauzula URS ma zastosowanie w przypadku DQ. Na przykład wymagania dotyczące warunków eksploatacyjnych mogą okazać się niemożliwe do wykazania, dopóki sprzęt nie zostanie zainstalowany i nie będzie można go uruchomić. W matrycy należy oznaczyć te pozycje jako “na tym etapie jeszcze nieweryfikowalne”, a nie pozostawiać je puste, tak aby osoba dokonująca później przeglądu matrycy mogła odróżnić pozycje “jeszcze nie wymagane” od „pominiętych”.”

Testy odbiorcze w fabryce służą do weryfikacji działania przed wysyłką

Test FAT odpowiada na inne pytanie niż test DQ: nie chodzi o to, czy projekt spełnia wymagania, ale czy wyprodukowany sprzęt faktycznie realizuje funkcję opisaną w wymaganiu w warunkach, jakie może zapewnić zakład produkcyjny. Zadaniem związanym z identyfikowalnością na tym etapie jest przypisanie — ustalenie dla każdego punktu, który dotarł do tego etapu, czy test FAT stanowi wiarygodne miejsce do jego weryfikacji, czy też warunek ten rzeczywiście wymaga instalacji na miejscu lub integracji z procesem w celu wykazania zgodności.

Właśnie przy podejmowaniu tej decyzji największe znaczenie ma osąd, ponieważ niektóre warunki można równie dobrze zweryfikować zarówno w fabryce, jak i na miejscu instalacji, podczas gdy inne można zweryfikować tylko w jednym z tych miejsc. Funkcję, która zależy wyłącznie od własnego systemu sterowania urządzenia i jego zachowania mechanicznego, zazwyczaj można zweryfikować podczas testów FAT, ponieważ środowisko fabryczne pozwala odtworzyć odpowiednie warunki wejściowe. Funkcja, która zależy od interfejsów z instalacjami obiektowymi, integracji z sąsiednimi pomieszczeniami lub systemami albo warunków środowiskowych charakterystycznych dla miejsca instalacji, nie może zostać wiarygodnie zweryfikowana, dopóki interfejsy te nie zostaną uruchomione — bez względu na to, jak dokładnie zaprojektowano test fabryczny. Przypisanie takiego wymogu do testu FAT skutkuje udokumentowanym wynikiem pozytywnym, który w rzeczywistości nie potwierdza spełnienia warunku opisanego w wymogu.

W przypadku gdy wynik uzyskany podczas testu FAT ma zastąpić późniejszy test SAT — czyli ma zostać przeniesiony, a nie powtórzony na miejscu instalacji — w matrycy należy odnotować nie tylko sam wynik, ale także uzasadnienie jego ponownego wykorzystania. Uzasadnienie to powinno uwzględniać, czy cokolwiek, co mogło mieć miejsce między fabryką a miejscem instalacji, mogłoby w sposób wiarygodny wpłynąć na wynik: transport, ponowny montaż, inne zasilanie sieciowe lub inne warunki otoczenia. Ponowne wykorzystanie wyniku bez takiego uzasadnienia rodzi podczas kontroli to samo pytanie, co w przypadku nieprzypisanego wymagania — mianowicie, czy warunek został faktycznie zweryfikowany tam, gdzie należało to zrobić, czy też zweryfikowano go raz w dogodnym miejscu, a następnie założono, że ma zastosowanie wszędzie indziej.

Wynika z tego, że podczas planowania zakres testów FAT należy ustalać indywidualnie dla każdego wymagania w oparciu o ten test wiarygodności, a nie kierować się domyślnym założeniem “weryfikacji wszystkiego, co możliwe w fabryce” tylko dlatego, że testowanie tam jest tańsze lub szybsze niż po montażu.

Odbiór obiektu i kwalifikacja instalacji – potwierdzenie dostarczonej konfiguracji

Zarówno test SAT, jak i IQ odbywają się po dostawie i oba dotyczą sprzętu w stanie zainstalowanym, a nie w stanie zaprojektowanym czy wyprodukowanym w fabryce, jednak odpowiadają na różne pytania, a matryca musi wyraźnie odzwierciedlać tę różnicę. SAT ponownie potwierdza działanie funkcjonalne w warunkach panujących na miejscu instalacji — jest to ta sama kategoria kontroli co FAT, ale przeprowadzana w odniesieniu do rzeczywistych mediów na miejscu, rzeczywistych punktów integracji oraz wszelkich lokalnych warunków, których fabryka nie była w stanie odtworzyć. Natomiast IQ potwierdza, że to, co faktycznie zostało zainstalowane, jest zgodne z tym, co zostało określone w specyfikacji i zatwierdzone — prawidłowe komponenty, prawidłowa konfiguracja, prawidłowa dokumentacja — niezależnie od tego, czy sprzęt już działa poprawnie.

Warunkiem decydującym o tym, czy dana klauzula URS należy do etapu SAT, czy IQ, jest rodzaj dowodu, jakiego faktycznie wymaga ta klauzula. Wymóg dotyczący atrybutu fizycznego lub konfiguracyjnego — materiału, elementu montażowego, udokumentowanej zmiany rysunku technicznego zainstalowanej na miejscu — stanowi fakt instalacyjny, a etap IQ jest tym, na którym można go zamknąć. Wymóg dotyczący zachowania w warunkach eksploatacyjnych — prawidłowe działanie funkcji po uruchomieniu — wymaga, aby sprzęt był uruchomiony, co powoduje, że należy go zaklasyfikować do etapu SAT, a nie IQ. Wymogi opisujące zarówno atrybuty instalacyjne, jak i reakcję funkcjonalną należy podzielić na te dwa etapy, zamiast na siłę dopasowywać je do jednego, przy czym w macierzy obie części powinny być przypisane do tego samego wymogu nadrzędnego.

Właśnie w przypadku dostarczonej konfiguracji matryca wykazuje swoją wartość operacyjną, ponieważ jest to moment, w którym wcześniejsze decyzje dotyczące konkretnego projektu — wybory konfiguracyjne dostawcy, opcje wybrane podczas sporządzania oferty, szczegóły interfejsów uzgodnione podczas przeglądu projektu — albo pokrywają się z tym, co pojawia się na placu budowy, albo nie. W przypadku pojawienia się rozbieżności między zatwierdzoną dokumentacją projektową a tym, co faktycznie zostało dostarczone, macierz pozwala recenzentowi prześledzić rozbieżność aż do momentu, w którym została ona wprowadzona, zamiast traktować ją jako odosobnione ustalenie na poziomie placu budowy, oderwane od historii projektu.

Kwalifikacja operacyjna sprawdza działanie urządzeń w różnych zatwierdzonych warunkach eksploatacyjnych

OQ odpowiada na pytanie, na które testy DQ i FAT nie były w stanie w pełni odpowiedzieć samodzielnie: czy urządzenie działa poprawnie nie tylko jednorazowo, w ramach pojedynczych warunków demonstracyjnych, ale w całym zakresie warunków eksploatacyjnych faktycznie opisanych w zatwierdzonych wymaganiach. Podczas gdy testy FAT i SAT w dużej mierze potwierdzają, że dana funkcja działa, test OQ ma na celu poddanie tej funkcji rygorystycznej weryfikacji — sprawdzenie jej zachowania na skrajach przewidzianego zakresu eksploatacyjnego, w zmiennych warunkach oraz w połączeniu z innymi funkcjami działającymi w tym samym czasie, a nie w izolacji.

To rozróżnienie wpływa na to, jakie dane musi rejestrować macierz na tym etapie. Pojedynczy wynik pozytywny lub negatywny dla jednego warunku pracy nie oznacza spełnienia wymagania, które zostało sformułowane z myślą o całym zakresie warunków. Jeśli klauzula URS określa, że funkcja musi działać poprawnie przy zmiennym obciążeniu, zmiennych warunkach środowiskowych lub zmiennej kombinacji równoczesnych operacji, wpis w macierzy dotyczący tej klauzuli musi wskazywać, które konkretne warunki zostały poddane testom, oraz potwierdzać, że zakres testów faktycznie obejmuje to, co opisuje wymaganie — a nie tylko to, że dana funkcja została raz pomyślnie uruchomiona.

W przypadku gdy na etapie URS wymóg został sformułowany w sposób nieprecyzyjny — co jest częstą konsekwencją opracowywania wymagań przed powstaniem projektu — to właśnie na etapie OQ ta niejasność staje się praktycznym problemem, ponieważ nieprecyzyjnie sformułowanego wymogu nie da się przełożyć na konkretny, uzasadniony warunek testowy bez tego, by ktoś z perspektywy czasu zdecydował, co faktycznie miał on obejmować. Właśnie dlatego tak ważna jest wcześniejsza dbałość o to, by wymagania były możliwe do przetestowania już na etapie DQ: wymaganie przepisane pod kątem testowalności podczas DQ daje osobom planującym OQ konkretny warunek do sprawdzenia, podczas gdy wymaganie pozostawione w swojej pierwotnej, ogólnej formie wymusza dokonanie tej interpretacji zbyt późno, nieformalnie i bez takiego samego poziomu weryfikacji, jaki przeszło pierwotne wymaganie.

Matryca powinna również odróżniać wyniki testów kwalifikacyjnych (OQ), które potwierdzają działanie w normalnych, zatwierdzonych warunkach, od wyników dotyczących warunków granicznych lub kombinowanych, ponieważ stanowią one różne poziomy weryfikacji tego samego podstawowego wymogu, a osoba sprawdzająca zakres testów musi wiedzieć, który poziom został faktycznie osiągnięty.

Zmiany, odstępstwa i status zatwierdzenia aż do ostatecznego przekazania

Zanim projekt osiągnie etap przekazania, matryca identyfikowalności zazwyczaj uwzględnia już wiele rund zmian — wymagania zrewidowane po wstępnym zatwierdzeniu, wyniki, które za pierwszym razem nie spełniły kryteriów akceptacji, oraz decyzje o ponownym wykorzystaniu wcześniejszych dowodów zamiast powtarzania testu. Zadaniem na tym końcowym etapie nie jest generowanie nowych dowodów, lecz upewnienie się, że żadna część tej zgromadzonej historii nie została pominięta.

Zatwierdzona zmiana w specyfikacji URS musi pozostawać powiązana z wymogiem, który zastąpiła, a nie po prostu go nadpisywać, tak aby recenzent analizujący dowody zgromadzone przed wprowadzeniem zmiany mógł stwierdzić, którą wersję wymogu te dowody faktycznie potwierdzają. W przypadku zerwania tego powiązania — gdy zmieniony wymóg po cichu zastępuje wcześniejszy bez widocznego związku między nimi — na późniejszych etapach kwalifikacji istnieje ryzyko weryfikacji w oparciu o zestaw wymogów, który nie odpowiada już temu, co zostało formalnie zatwierdzone, co jest trudne do wykrycia wewnętrznie i trudne do uzasadnienia, jeśli zostanie zgłoszone podczas kontroli.

Nierozwiązane wymagania wymagają takiej samej widoczności, a nie ukrywania. Wymaganie, którego nie udało się w pełni zweryfikować lub które spowodowało odchylenie, które w momencie przekazania projektu nadal podlega ocenie, powinno pozostać w macierzy wraz z dołączonym zapisem odchylenia i aktualnym statusem zatwierdzenia, zamiast być usuwane z listy aktywnych pozycji tylko dlatego, że projekt dobiega końca. Jest to zgodne z EudraLex Tom 4 Załącznik 15‘podejście do cyklu życia walidacji, w którym URS pełni rolę stałego punktu odniesienia, obejmującego etap kwalifikacji projektu aż po testy odbiorcze, wraz z rolami FAT i SAT oraz rozróżnieniem między Dowody dotyczące IQ i OQ traktowane oddzielnie, a nie jako elementy zamienne — struktura ta ma sens tylko wtedy, gdy wymóg i jego aktualny status pozostają możliwe do prześledzenia w momencie ostatecznej weryfikacji dowodów.

Wyniki z ponownego wykorzystania testów FAT również wymagają równie wnikliwej analizy końcowej. Jeśli wynik z etapu fabrycznego został przeniesiony w celu zastąpienia weryfikacji na etapie budowy, udokumentowane uzasadnienie tego ponownego wykorzystania musi nadal istnieć i być możliwe do obrony w momencie przekazania, a nie zostać pominięte gdzieś pomiędzy testami FAT a ostatecznym przeglądem. Załącznik 15 potwierdza, że FAT i SAT mające uzasadnione, odrębne role, co oznacza, że ponownie wykorzystany wynik bez dołączonego uzasadnienia sam w sobie nie spełnia tego standardu — uzasadnienie stanowi część materiału dowodowego, a nie odrębną od niego formalność.

W przypadku gdy informacje dotyczące projektu dostarczone przez klienta — pierwotna specyfikacja wymagań użytkownika (URS), późniejsze poprawki oraz warunki specyficzne dla danego obiektu — zostały dokładnie uwzględnione podczas konfiguracji i weryfikacji oferty, to ostateczne uzgodnienie macierzy sprowadza się w dużej mierze do potwierdzenia, że nic nie zostało pominięte na poszczególnych etapach, a nie do rekonstruowania brakujących elementów z perspektywy czasu.

Często zadawane pytania

Q: W jaki sposób nabywca powinien przygotować klauzule URS dotyczące identyfikowalności przed przeprowadzeniem oceny dostawcy?
A: Należy nadać każdej klauzuli stały identyfikator i zachować go w trakcie zatwierdzanych aktualizacji. Należy tak skonstruować matrycę, aby powiązać odpowiedź dostawcy, odpowiedni dokument projektowy, planowany protokół testowy, kryteria akceptacji właściwe dla projektu, wynik, odchylenie oraz status zatwierdzenia z tym identyfikatorem, tak aby luki były widoczne na wszystkich etapach kwalifikacji.

Q: Co nabywca powinien sprawdzić przed zatwierdzeniem kwalifikacji projektu?
A: Należy upewnić się, że każda odpowiednia klauzula URS odnosi się zarówno do odpowiedzi dostawcy, jak i do zatwierdzonej dokumentacji projektowej, wykazującej, w jaki sposób proponowany projekt spełnia dany wymóg. Każda klauzula bez wyraźnego powiązania powinna pozostać widoczna wraz z informacją o odstępstwie i statusie zatwierdzenia, zanim wprowadzenie zmian w procesie produkcji stanie się kosztowne.

Q: W jaki sposób należy przypisać wymaganie do FAT, SAT, IQ lub OQ?
A: Należy przypisać to do etapu, na którym dany warunek można wiarygodnie wykazać: wyniki fabryczne w przypadku odpowiednich kontroli przed wysyłką, wyniki z placu budowy w przypadku warunków wykazanych na miejscu, kontrole instalacyjne w przypadku dostarczonej konfiguracji oraz wyzwania eksploatacyjne w przypadku zatwierdzonych warunków eksploatacji. Obok danego punktu należy odnotować wybór etapu oraz kryteria odbioru specyficzne dla projektu, aby później można było ocenić dowody w świetle zamierzonej kontroli.

Q: Kiedy można ponownie wykorzystać wynik FAT zamiast powtarzać weryfikację w późniejszym terminie?
A: Należy ponownie wykorzystać tę informację wyłącznie wtedy, gdy w tabeli wskazano odpowiednią klauzulę URS, podano odniesienie do zarejestrowanego wyniku fabrycznego oraz udokumentowano uzasadnienie oparcia się na tej informacji. Należy sprawdzić, czy dostawa, montaż, warunki panujące na miejscu lub zatwierdzona zmiana wpłynęły na stan podlegający weryfikacji; jeśli tak, należy wyznaczyć dodatkową weryfikację na odpowiednim późniejszym etapie.

Q: Co należy sprawdzić w matrycy przed ostatecznym przekazaniem?
A: Należy sprawdzić, czy dokumentacja dowodowa odnosi się do aktualnej, zatwierdzonej wersji URS oraz czy każda zaplanowana weryfikacja ma przypisany wynik lub widoczne odchylenie wraz ze statusem zatwierdzenia. Należy zwrócić szczególną uwagę na wymagania nierozwiązane oraz ponownie wykorzystaną dokumentację dowodową z testów FAT, tak aby ich aktualny status i udokumentowane uzasadnienie były jasno określone w momencie przekazania.