Come verificare certificati, rapporti di prova e progetti di riferimento

Una proposta di un fornitore può arrivare accompagnata da una cartella contenente certificati, rapporti di prova e una presentazione di progetti passati, ma nulla di tutto ciò risponde alla domanda fondamentale: queste prove sono applicabili al sistema oggetto dell’offerta? La verifica delle prove non riguarda il volume dei documenti presentati, ma il fatto che ciascun documento sia collegato a questa entità giuridica, a questa configurazione e a una condizione di progetto paragonabile a quella in fase di pianificazione. Tale collegamento deve essere verificato con attenzione, poiché un documento può essere autentico e tuttavia non essere applicabile.

Cosa può e cosa non può dimostrare ogni tipo di prova

I certificati, i rapporti di prova e i progetti di riferimento rispondono a domande diverse, e considerarli come prove intercambiabili di idoneità crea lacune che emergono in una fase successiva del progetto. Un certificato attesta che un organismo o un ente ha espresso un giudizio su un’entità, un prodotto o un sito specifici in condizioni definite; non descrive le prestazioni di una singola unità né conferma che l’ambito certificato copra la configurazione offerta. Un rapporto di prova descrive ciò che è accaduto quando una configurazione specifica è stata testata secondo un metodo specificato; non attesta che l’unità testata corrisponda a ciò che il progetto riceverà, a meno che non venga confermata la corrispondenza della configurazione. Un progetto di riferimento descrive ciò che un fornitore ha consegnato altrove; non attesta che la stessa struttura di rischi, limiti e responsabilità si applichi al progetto in esame.

Laddove un acquirente necessiti di una prova della capacità generale, un certificato può servire a tale scopo entro l’ambito di applicazione indicato. Laddove un acquirente necessiti di una prova delle prestazioni relative alla configurazione offerta, un rapporto di prova specifico per tale configurazione soddisfa lo scopo in modo più diretto. Laddove un acquirente debba valutare se l’esperienza di un fornitore sia trasferibile a un nuovo progetto, un progetto di riferimento fornisce prove più attinenti alla decisione di acquisto effettiva rispetto a un certificato, a condizione che il contesto operativo e i limiti siano descritti in modo sufficientemente dettagliato da consentire un confronto.

La condizione che modifica tale valutazione è la precisione o l’ampiezza con cui è definito l’ambito di applicazione indicato nel documento. Un certificato il cui ambito di applicazione è limitato a un’azienda generalmente non si estende a una linea di prodotti specifica, e un rapporto di prova il cui ambito di applicazione è limitato a una configurazione non si estende a una variante, a meno che il rapporto stesso o il fornitore non confermino che la variante fosse inclusa. I revisori che accettano un documento solo perché esiste, senza leggere ciò che effettivamente riporta, trasferiscono tale lacuna nel progetto. EudraLex Volume 4 Allegato 15 sostiene la pratica di esaminare la documentazione dei fornitori alla luce di criteri di accettazione predefiniti e di documentare eventuali scostamenti, anziché accettare le dichiarazioni dei fornitori come complete al momento della presentazione; tale logica di revisione si applica al modo in cui un team di progetto dovrebbe trattare ciascuno dei tre tipi di prove prima di fare affidamento su di esse.

Verifica dei certificati relativi all’emittente, all’entità, all’ambito di applicazione e alla validità

Un certificato è una dichiarazione rilasciata da un ente specifico riguardo a un’entità, un prodotto o un sito specifici, valida a determinate condizioni, e ciascuno di questi elementi può discostarsi da quanto presupposto dall’acquirente senza che il certificato stesso sia falso. La discrepanza che si verifica più comunemente nella revisione commerciale riguarda l’entità titolare del certificato e quella che lo presenta nell’offerta: un certificato rilasciato a una società madre, a un sito produttivo o a un’altra entità giuridica all’interno della stessa struttura aziendale non si estende automaticamente all’entità che si assumerà la responsabilità contrattuale del progetto.

La stessa logica si applica all’ambito di applicazione. Un certificato può essere accurato e aggiornato pur riferendosi a una classe di apparecchiature, a un sistema di gestione o a una struttura, senza necessariamente coprire la specifica configurazione di sistema proposta per il progetto. Laddove l’ambito di applicazione del certificato indichi una famiglia di prodotti in termini generali, il compito dell’acquirente è quello di confermare che il sistema proposto rientri in tale famiglia, così come testata o valutata, senza dare per scontata l’appartenenza alla famiglia basandosi esclusivamente sul nome del prodotto. Le date di validità presentano una condizione analoga: un certificato valido al momento della chiusura della gara d’appalto potrebbe scadere prima della consegna o dei collaudi di accettazione, e un progetto che si estende su un lungo periodo di consegna deve verificare che il certificato rimanga valido durante tutte le fasi in cui se ne fa affidamento.

Qualora uno qualsiasi dei seguenti elementi — emittente, entità, ambito di applicazione, prodotto, sito o data di validità — non corrisponda a quanto dichiarato nell’offerta, il certificato non viene immediatamente considerato non valido, ma cessa di fungere da prova autonoma e diventa un punto che richiede chiarimenti prima di poter essere utilizzato a sostegno della documentazione del progetto.

Verifica del rapporto di prova: configurazione, metodo, taratura, risultati e approvazione

Un rapporto di prova è utile solo nella misura in cui è in grado di dimostrare che un risultato dichiarato deriva da una prova ben definita, eseguita su una configurazione ben definita utilizzando strumenti tracciabili. Un'affermazione di superamento del test priva di tali elementi di supporto comunica al lettore che qualcosa ha superato un test, senza identificare cosa sia stato testato o come sia stato ottenuto il risultato. La corrispondenza della configurazione è la prima condizione da verificare: quando un fornitore presenta un rapporto relativo a un progetto precedente o a una versione precedente del prodotto, l’acquirente deve sapere se le differenze tra quella configurazione e quella offerta siano rilevanti ai fini del risultato citato, poiché un rapporto relativo a una configurazione diversa non costituisce prova dei risultati per l’offerta attuale.

Il metodo di prova e la strumentazione comportano una condizione correlata. Se un metodo non viene specificato, il lettore non è in grado di valutare se l’approccio di prova sia conforme a quanto richiesto dal progetto; se invece vengono omessi i registri di taratura, le misurazioni riportate non hanno una base tracciabile. I criteri di accettazione fungono da standard rispetto al quale viene valutato il risultato; un rapporto che riporta un risultato senza specificare i criteri utilizzati per valutarlo costringe il lettore ad accettare la conclusione del fornitore anziché verificarla in modo indipendente.

Le osservazioni grezze e le deviazioni documentate modificano il peso attribuibile a un risultato sintetico. Un rapporto incentrato interamente su una dichiarazione di conformità sintetica, senza le osservazioni sottostanti, non consente al lettore di verificare se i risultati marginali siano stati arrotondati in modo favorevole o se si sia verificata una deviazione che sia stata risolta prima dell’approvazione. Laddove una deviazione sia documentata ma la sua risoluzione non lo sia, la deviazione rimane aperta e richiede una revisione prima che il rapporto possa supportare l’accettazione del progetto. L'approvazione chiude la catena di custodia del rapporto, confermando chi ha rivisto e approvato il risultato dichiarato; un rapporto privo di approvazione non ha completato il proprio processo interno, indipendentemente da quanto affermato nel corpo del rapporto stesso.

Questi controlli assumono particolare rilevanza nella fase di revisione che precede i test di accettazione, quando il team di progetto deve decidere se le prove già raccolte possano sostituire o ridurre l’ambito dei test previsti per la specifica unità da consegnare; l’approccio di revisione descritto in [Quali documenti di convalida deve fornire un fornitore di apparecchiature di contenimento prima dei test FAT e SAT?] affronta lo stesso limite probatorio dal punto di vista della presentazione da parte del fornitore.

Verifiche sui progetti di riferimento per individuare rischi, perimetri e ambiti di fornitura comparabili

Un progetto di riferimento è una prova di esperienza, non una prova di prestazione per l’acquisto in questione, e la distanza tra queste due cose dipende da quanto il progetto citato sia simile a quello in fase di pianificazione. La comparabilità dei rischi costituisce il primo filtro: l’esperienza di un fornitore con una determinata classe di rischio non è direttamente trasferibile a una classe di rischio diversa, poiché le pressioni di progettazione e di collaudo variano a seconda di ciò da cui l’apparecchiatura deve proteggere e di ciò che essa protegge. Laddove l’obiettivo principale del progetto citato differisca da quello del progetto attuale, il riferimento attesta un’esperienza generale di realizzazione piuttosto che l’idoneità all’obiettivo specifico di protezione in questione.

La comparabilità dei confini delle apparecchiature determina se il riferimento descrive lo stesso ambito di responsabilità fisica e funzionale attualmente proposto. Un progetto di riferimento in cui il fornitore ha consegnato un'apparecchiatura circoscritta all'interno di un sistema più ampio realizzato da altri descrive un ruolo del fornitore più ristretto rispetto a uno in cui lo stesso fornitore era responsabile delle interfacce, dell'integrazione o del collaudo in un ambito più ampio. Se la proposta attuale assegna al fornitore un ambito più ampio o più ristretto rispetto al riferimento citato, il riferimento non conferma la capacità del fornitore di operare nell'ambito attualmente proposto.

L’ambito dei test e il contesto operativo aggiungono ulteriori condizioni. Un progetto di riferimento testato in condizioni simili all’ambiente operativo previsto ha maggiore rilevanza rispetto a uno testato in condizioni diverse, e un progetto di riferimento in cui la responsabilità contrattuale del fornitore corrispondeva a quanto ora proposto ha maggiore rilevanza rispetto a uno in cui la responsabilità era ripartita in modo diverso tra più parti. Laddove un team di progetto non sia in grado di determinare l’ambito dei test, il contesto operativo o la responsabilità del fornitore sulla base di quanto fornito, il progetto di riferimento funge da dichiarazione di esperienza piuttosto che da prova comparabile.

I loghi e il numero di progetti descrivono la portata, non l’adeguatezza. Un elenco di clienti precedenti o un numero di installazioni completate non indica al team di valutazione se uno qualsiasi di quei progetti fosse simile alla struttura in termini di rischi, limiti e responsabilità del progetto in fase di pianificazione; richiedere tali dettagli su un numero più ristretto di riferimenti realmente comparabili produce prove più utili rispetto alla richiesta di un elenco più lungo.

Misure di chiarimento in caso di prove mancanti, non corrispondenti o non verificabili

Quando un certificato, un rapporto di prova o un progetto di riferimento non supera uno dei controlli sopra indicati, il team di progetto deve decidere come colmare la lacuna, piuttosto che stabilire se essa esista o meno. Le azioni disponibili rientrano generalmente in tre categorie: richiedere la ripresentazione della documentazione corretta o completa, richiedere che una prova o un’ispezione sia effettuata in presenza di un testimone indipendente, oppure richiedere che la prova venga ripetuta in condizioni che il team di progetto possa verificare direttamente.

L’azione da intraprendere dipende dal tipo di discrepanza riscontrata. Un certificato con un nome dell’entità non corrispondente può essere risolto tramite una nuova presentazione, in cui il fornitore può produrre il certificato equivalente rilasciato all’entità corretta o chiarire in che modo l’entità indicata sia collegata a quella che presenta l’offerta. Anche un rapporto di prova privo di registrazioni di calibrazione o di osservazioni grezze può essere risolto mediante una nuova presentazione, se i registri sottostanti esistono e sono stati semplicemente omessi. Laddove la discrepanza riguardi la corrispondenza tra una configurazione testata e quella offerta, la sola nuova presentazione non è sufficiente a risolverla se le configurazioni testata e offerta differiscono effettivamente; in tal caso, il team di progetto necessita o di un nuovo rapporto relativo alla configurazione corretta, oppure di una decisione volta a includere test specifici per quella configurazione nel piano di verifica del progetto stesso.

La presenza di un testimone diventa rilevante quando la questione non riguarda l’esistenza di un risultato, ma la fiducia nel modo in cui è stato ottenuto. Un team di progetto che nutra dubbi sulla corrispondenza tra le pratiche di collaudo interne di un fornitore e i requisiti del progetto può richiedere che un collaudo ripetuto o imminente preveda la presenza di un testimone indipendente, anziché ripetere l’intero ambito di collaudo. Il collaudo ripetuto diventa necessario quando non esistono risultati precedenti relativi alla configurazione corretta, quando sono state lasciate irrisolte delle deviazioni o quando la comparabilità in termini di rischio o di limiti delle prove precedenti non può essere stabilita in modo sufficientemente accurato da sostituire il collaudo diretto.

Ogni discrepanza irrisolta individuata durante la revisione delle prove deve essere registrata come richiesta di chiarimento, specificando quale controllo non sia andato a buon fine, quali prove potrebbero risolverla e se tali prove debbano essere ripresentate, autenticate o ripetute prima che il progetto possa farvi affidamento. Lasciare una discrepanza non documentata, anche quando il team di progetto intende sollevarla verbalmente, elimina la tracciabilità da cui dipendono le fasi successive del progetto per confermare che le questioni in sospeso siano state risolte prima dell’accettazione. L’approccio comparativo descritto in [Come confrontare i fornitori di apparecchiature ad alto contenimento in base alla qualità della risposta URS e alla portata delle prove fornite] considera questa stessa procedura di chiarimento come parte integrante del processo di valutazione delle risposte dei fornitori durante la fase di selezione, e non solo in sede di accettazione finale.

Limiti di accettazione prima che le prove fornite dal fornitore vengano inserite nel fascicolo di progetto

Decidere quando una prova è sufficientemente valida da essere inserita nella documentazione del progetto è una valutazione ben distinta dal decidere se tale prova esista o meno. Un certificato, un rapporto di prova o un progetto di riferimento possono essere autentici, aggiornati e descritti in modo accurato, ma non soddisfare comunque i requisiti del fascicolo di progetto se il loro ambito non corrisponde all’entità, alla configurazione o alle condizioni di pericolo e ai limiti dell’acquisto che si sta effettuando. Il limite di accettabilità non è una soglia unica applicata in modo uniforme; dipende da quale verifica il documento doveva soddisfare e da quali conseguenze derivano dal fare affidamento su di esso.

Laddove si ricorra a un certificato per dimostrare che un fornitore opera nell’ambito di un sistema di qualità o di gestione riconosciuto, un ambito di applicazione a livello aziendale può essere sufficiente per tale scopo limitato, anche se lo stesso certificato non sarebbe sufficiente a dimostrare che uno specifico sistema proposto soddisfi un requisito prestazionale. Laddove un rapporto di prova venga utilizzato per ridurre o sostituire le prove previste durante le fasi di verifica del progetto stesso, la soglia di accettazione è più elevata, poiché la documentazione del progetto fa affidamento su tale rapporto come se fosse stato generato sotto la supervisione del progetto stesso; una discrepanza di configurazione, una deviazione non documentata o una mancanza di approvazione impediscono, ciascuna indipendentemente dalle altre, al rapporto di avere quel peso fino a quando non vengono risolte. Laddove un progetto di riferimento venga utilizzato per supportare una decisione di selezione del fornitore piuttosto che per sostituire le prove dirette, il limite di accettazione può tollerare informazioni più parziali, a condizione che le lacune siano riconosciute anziché trattate come risolte.

La condizione che modifica questi confini è proprio ciò che le prove rappresentano. Le prove utilizzate per descrivere la capacità generale di un fornitore possono avere una portata più ampia rispetto a quelle utilizzate per soddisfare un requisito di verifica specifico. Quando le informazioni relative a un progetto vengono presentate per una revisione della configurazione o del preventivo in QUALIA, vale la stessa distinzione: i certificati generali e i materiali di riferimento supportano una valutazione iniziale dell’idoneità, mentre le prove di test specifiche per la configurazione diventano rilevanti una volta che l’ambito del progetto sottoposto a revisione si restringe a uno specifico sistema proposto. Un team di progetto che mantenga esplicita questa distinzione evita sia di fare eccessivo affidamento sui documenti generali, sia di sottoutilizzarli rispetto allo scopo per cui possono legittimamente servire. La conversione dell’obiettivo di protezione di un progetto in criteri di accettazione rispetto ai quali il fornitore può essere verificato, come descritto in [Come trasformare i requisiti di progetto BSL e OEB in criteri di accettazione verificabili dai fornitori], fornisce al team di progetto uno standard ben definito in base al quale valutare ogni singolo elemento di prova presentato, anziché giudicarlo caso per caso.

Domande frequenti

Q: Cosa occorre preparare prima di esaminare la documentazione dei fornitori?
A: Creare un elenco di tracciabilità che colleghi la configurazione proposta, il rischio, i limiti dell’apparecchiatura, l’ambito della prova e i criteri di accettazione al documento previsto per ciascun punto. Ciò consente di individuare eventuali prove mancanti o non corrispondenti prima che vengano considerate come prova del progetto.

Q: Un certificato rilasciato a livello aziendale può attestare la conformità del sistema di contenimento proposto?
A: No. Verificare che la persona giuridica, l’ente emittente, il numero del certificato, l’ambito di applicazione, il prodotto o il sito indicato e la data di validità corrispondano all’offerta; eventuali discrepanze devono essere trattate come richieste di chiarimento relative all’offerta fino alla loro risoluzione.

Q: Come dovremmo gestire un rapporto di collaudo relativo a una configurazione simile, ma non identica, a quella dell'offerta?
A: Non dare per scontato che il risultato sia applicabile alla configurazione proposta. Registrare le differenze, confermare il metodo di prova, gli strumenti e la loro taratura, i criteri di accettazione, i dati grezzi delle osservazioni, gli scostamenti e l’approvazione, quindi specificare se, prima dell’accettazione, sia necessario presentare nuovamente la documentazione, farla certificare da un testimone o ripetere la prova.

Q: Cosa succede se un cliente di riferimento non può autorizzare la divulgazione completa del progetto?
A: Considerate il riferimento come un elemento di prova incompleto piuttosto che come una prova di conformità. Richiedete dettagli condivisibili in merito al rischio, ai limiti dell’apparecchiatura, all’ambito della prova, al contesto operativo e alla responsabilità del fornitore, e registrate qualsiasi punto di confronto che rimanga non verificabile.

Q: È necessario colmare ogni lacuna probatoria nella stessa fase?
A: No. Distinguere le discrepanze che impediscono un confronto equo delle offerte dagli elementi che possono essere ripresentati, verificati o ripetuti prima dell’accettazione del progetto, e registrare l’azione richiesta e i criteri di accettazione per ciascuna discrepanza irrisolta.