Une proposition de fournisseur peut être accompagnée d'un dossier contenant des certificats, des rapports d'essais et une présentation de projets antérieurs, sans que rien de tout cela ne réponde à la question essentielle : ces justificatifs s'appliquent-ils au système faisant l'objet de l'offre ? L'examen des justificatifs ne porte pas sur le volume des documents fournis, mais sur la question de savoir si chaque document est en lien avec cette entité juridique, cette configuration et une situation de projet comparable à celle prévue. Ce lien doit être vérifié avec soin, car un document peut être authentique sans pour autant être pertinent.
Ce que chaque type de preuve permet et ne permet pas de prouver
Les certificats, les rapports d’essai et les projets de référence répondent à des questions différentes, et les considérer comme des preuves interchangeables de l’état de préparation crée des lacunes qui apparaissent plus tard dans le projet. Un certificat atteste qu’un organisme ou une instance a rendu une décision concernant une entité, un produit ou un site désigné dans des conditions définies ; il ne décrit pas les performances d’une unité spécifique et ne confirme pas que le périmètre certifié couvre la configuration proposée. Un rapport d’essai décrit ce qui s’est passé lorsqu’une configuration spécifique a été testée selon une méthode précisée ; il n’établit pas que l’unité testée correspond à ce que le projet recevra, à moins que la concordance des configurations ne soit confirmée. Un projet de référence décrit ce qu’un fournisseur a livré ailleurs ; il n’établit pas que la même structure de risques, de limites et de responsabilités s’applique au projet à l’étude.
Lorsqu’un acheteur a besoin d’une preuve de capacité générale, un certificat peut remplir cette fonction dans les limites de son champ d’application. Lorsqu’un acheteur a besoin d’une preuve de performance pour la configuration proposée, un rapport d’essai portant sur cette configuration répond plus directement à cette exigence. Lorsqu’un acheteur doit déterminer si l’expérience d’un fournisseur est transposable à un nouveau projet, un projet de référence apporte des éléments plus pertinents pour la décision d’achat proprement dite qu’un certificat, à condition que le contexte opérationnel et les limites soient décrits de manière suffisamment détaillée pour permettre une comparaison.
Ce qui peut modifier ce jugement, c’est le degré de précision ou de généralité avec lequel le champ d’application du document est défini. Un certificat dont le champ d’application se limite à une entreprise ne s’étend généralement pas à une gamme de produits spécifique, et un rapport d’essai dont le champ d’application se limite à une configuration ne s’étend pas à une variante, à moins que le rapport ou le fournisseur ne confirme que cette variante était couverte. Les réviseurs qui acceptent un document simplement parce qu’il existe, sans en lire le contenu, transposent cette lacune dans le projet. EudraLex Volume 4 Annexe 15 recommande de vérifier la documentation des fournisseurs à l'aune de critères d'acceptation prédéfinis et de consigner les écarts constatés, plutôt que de considérer les déclarations des fournisseurs comme exhaustives dès leur soumission ; cette logique de vérification s'applique à la manière dont une équipe de projet doit traiter chacun des trois types de justificatifs avant de s'y fier.
Vérification des certificats : émetteur, entité, champ d'application et validité
Un certificat est une attestation délivrée par un organisme spécifique concernant une entité, un produit ou un site donné, valable sous certaines conditions ; chacun de ces éléments peut s’écarter de ce que l’acheteur suppose sans pour autant que le certificat lui-même soit faux. Le décalage le plus fréquemment constaté lors de l’examen commercial concerne l’entité détentrice du certificat et celle qui le présente dans l’offre : un certificat délivré à une société mère, à un site de fabrication ou à une autre entité juridique au sein de la même structure d’entreprise ne s’étend pas automatiquement à l’entité qui assumera la responsabilité contractuelle du projet.
La même logique s’applique au champ d’application. Un certificat peut être exact et à jour tout en couvrant une catégorie d’équipements, un système de gestion ou une installation, sans pour autant couvrir la configuration spécifique du système proposée pour le projet. Lorsque le champ d’application du certificat désigne une famille de produits en termes généraux, l’acheteur doit s’assurer que le système proposé s’inscrit bien dans cette famille telle qu’elle a été testée ou évaluée, et ne pas présumer de l’appartenance à cette famille sur la seule base du nom du produit. Les dates de validité sont soumises à une condition similaire : un certificat en cours de validité à la date de clôture de l’appel d’offres peut expirer avant la livraison ou les essais de réception, et un projet s’étalant sur une longue période de livraison doit vérifier que le certificat reste valide tout au long des étapes où il est utilisé comme référence.
| Vérification du certificat | Avec quoi l'assortir ? | Front de décision |
|---|---|---|
| Personne morale | L'entité mentionnée sur le certificat et l'entité qui le présente | Une divergence d'entité reste en suspens tant qu'elle n'a pas été clarifiée |
| Organisme émetteur | L'organisme émetteur mentionné sur le certificat | Vérifiez l'identité de l'émetteur avant de considérer le certificat comme une preuve |
| Numéro de certificat | Le numéro de certificat figurant dans le document | Utilisez ce numéro pour retrouver le certificat en cours d'examen |
| Champ d'application | Le champ d'application déclaré du certificat et le système proposé | Un certificat au niveau de l'entreprise ne suffit pas à lui seul à valider le système proposé |
| Produit ou site | Le produit ou le site concerné mentionné dans le certificat | Vérifiez que le certificat s'applique bien au produit ou au site concerné. |
| Date de validité | La date de validité indiquée sur le certificat | Vérifiez la validité du certificat avant de vous y fier |
Si l’un des éléments suivants — émetteur, entité, champ d’application, produit, site ou date de validité — ne correspond pas aux informations fournies dans l’offre, le certificat n’est pas pour autant invalidé d’emblée ; toutefois, il cesse de faire office de preuve autonome et devient un point nécessitant une clarification avant de pouvoir être utilisé à l’appui du dossier du projet.
Vérifications du rapport d'essai concernant la configuration, la méthode, l'étalonnage, les résultats et la validation
L'utilité d'un rapport d'essai dépend de sa capacité à démontrer qu'un résultat déclaré provient d'un essai bien défini, réalisé sur une configuration bien définie à l'aide d'instruments traçables. Une simple mention de « conformité » dépourvue de ces éléments justificatifs indique au lecteur que quelque chose a satisfait à une exigence, sans préciser ce qui a été testé ni comment le résultat a été obtenu. La concordance des configurations est la première condition à vérifier : lorsqu’un fournisseur soumet un rapport relatif à un projet antérieur ou à une version antérieure du produit, l’acheteur doit savoir si les différences entre cette configuration et celle proposée ont une incidence sur le résultat cité, car un rapport portant sur une configuration différente ne vaut pas pour l’offre actuelle.
La méthode d'essai et l'instrumentation sont soumises à une condition connexe. Une méthode non précisée empêche le lecteur de déterminer si l'approche d'essai correspond aux exigences du projet, et l'absence de registres d'étalonnage signifie que les mesures rapportées ne reposent pas sur une base traçable. Les critères d'acceptation servent de référence par rapport à laquelle le résultat est évalué ; un rapport qui présente un résultat sans préciser les critères utilisés pour l'évaluer oblige le lecteur à accepter la conclusion du fournisseur plutôt que de la vérifier de manière indépendante.
Les observations brutes et les écarts documentés modifient le poids que peut avoir un résultat synthétique. Un rapport entièrement articulé autour d’une déclaration de conformité synthétique, sans les observations sous-jacentes, ne permet pas au lecteur de vérifier si les résultats marginaux ont été arrondis de manière favorable ou si un écart s’est produit et a été résolu avant la validation. Lorsqu’un écart est documenté mais que sa résolution ne l’est pas, l’écart reste en suspens et nécessite un examen avant que le rapport puisse servir de base à l’acceptation du projet. La validation clôt la chaîne de traçabilité du rapport, en confirmant qui a examiné et approuvé le résultat indiqué ; un rapport ne comportant pas de validation n’a pas mené à bien son propre processus interne, quel que soit le contenu du corps du rapport.
| Vérification du rapport d'essai | Ce qu'il faut vérifier | Front de décision |
|---|---|---|
| Configuration proposée | La configuration testée correspond à la configuration proposée. | Un rapport portant sur une configuration différente ne permet pas de déterminer les résultats de l'offre. |
| Méthode d'essai | La méthode d'essai est identifiée | Une instruction « pass » sans mention de la méthode ne permet pas de savoir comment le résultat a été obtenu |
| Instruments et étalonnage | Les instruments et leur étalonnage sont consignés par écrit | L'absence d'informations sur l'instrument ou son étalonnage limite la traçabilité des mesures |
| Critères d'acceptation | Les critères d'acceptation sont énoncés | Évaluer les résultats par rapport aux critères définis plutôt qu'en se basant uniquement sur la mention « admis » |
| Données brutes d'observation | Les données brutes corroborent les résultats rapportés | Ne vous fiez pas uniquement à un résumé de la déclaration de passage |
| Écarts | Tout écart est consigné | Les écarts non résolus doivent faire l'objet d'un examen avant d'être validés. |
| Validation | Le rapport comprend une validation | Vérifier la validation avant de considérer le rapport comme une preuve complète |
Ces vérifications revêtent une importance particulière lors de la phase de revue qui précède les tests d'acceptation, lorsque l'équipe de projet doit déterminer si les preuves déjà générées peuvent se substituer aux tests prévus pour l'unité spécifique livrée, ou en réduire la portée ; l'approche de revue décrite dans [Quels documents de validation un fournisseur d'équipements de confinement doit-il fournir avant les essais FAT et SAT ?] aborde cette même question des limites en matière de preuves sous l'angle des déclarations des fournisseurs.
Vérifications des projets de référence concernant les risques comparables, les limites et le périmètre d'intervention des fournisseurs
Un projet de référence atteste de l’expérience, et non des performances pour l’achat en cours ; l’écart entre ces deux éléments dépend du degré de similitude entre le projet cité et celui en cours de planification. La comparabilité des risques constitue le premier critère de sélection : l’expérience d’un fournisseur dans une classe de risque ne s’applique pas directement à une autre classe de risque, car les pressions de conception et d’essai varient en fonction de ce contre quoi l’équipement protège et de ce qu’il protège. Lorsque l’objectif principal du projet cité diffère de celui du projet en cours, la référence témoigne d’une expérience générale en matière de prestation plutôt que d’une adéquation à l’objectif de protection spécifique en question.
La comparabilité des limites de l'équipement permet de déterminer si le projet de référence décrit le même périmètre de responsabilité physique et fonctionnelle que celui proposé actuellement. Un projet de référence dans lequel le fournisseur a livré un équipement délimité au sein d’un système plus vaste construit par d’autres décrit un rôle de fournisseur plus restreint que celui où ce même fournisseur assumait la responsabilité des interfaces, de l’intégration ou de la réception dans le cadre de périmètre plus large. Si la proposition actuelle attribue au fournisseur un périmètre plus large ou plus restreint que celui de la référence citée, celle-ci ne confirme pas la capacité du fournisseur à remplir ses obligations dans le périmètre actuellement proposé.
Le périmètre des tests et le contexte d’exploitation ajoutent des conditions supplémentaires. Un projet de référence testé dans des conditions proches de l’environnement d’exploitation prévu présente davantage de pertinence qu’un projet testé dans des conditions différentes, et une référence dans laquelle la responsabilité contractuelle du fournisseur correspondait à ce qui est désormais proposé présente davantage de pertinence qu’une référence où la responsabilité était répartie différemment entre plusieurs parties. Lorsqu’une équipe de projet ne peut pas déterminer le périmètre des tests, le contexte d’exploitation ou la responsabilité du fournisseur à partir des informations fournies, la référence sert alors davantage à attester de l’expérience du fournisseur qu’à constituer une preuve comparable.
| Point de comparaison | Question à poser |
|---|---|
| Risque | Cette référence présente-t-elle un risque comparable à celui lié à l'achat envisagé ? |
| Limites de l'équipement | Les caractéristiques techniques de l'équipement de référence sont-elles comparables à celles de l'achat prévu ? |
| Portée des tests | Le projet cité prévoit-il un périmètre de test comparable ? |
| Contexte opérationnel | Le contexte d'utilisation correspond-il à l'usage prévu ? |
| Responsabilité des fournisseurs | La responsabilité du fournisseur est-elle comparable à celle qui est proposée ? |
| Détails de la preuve | La référence fournit-elle suffisamment de détails, au-delà des logos ou du nombre de projets, pour évaluer l'adéquation ? |
Les logos et le nombre de projets reflètent la portée, mais pas l'adéquation. Une liste d'anciens clients ou le nombre d'installations réalisées ne permet pas à une équipe d'évaluation de savoir si l'un de ces projets présentait des similitudes avec les risques, les limites et la structure des responsabilités du projet en cours de planification ; demander ces précisions sur un nombre plus restreint de références véritablement comparables fournit des éléments plus exploitables que de demander une liste plus longue.
Mesures de clarification en cas d'éléments de preuve manquants, discordants ou invérifiables
Dès lors qu’un certificat, un rapport d’essai ou un projet de référence ne satisfait pas à l’un des contrôles susmentionnés, l’équipe de projet doit décider de la marche à suivre pour combler cette lacune, plutôt que de se demander si celle-ci existe bel et bien. Les mesures possibles relèvent généralement de trois catégories : demander la nouvelle soumission de justificatifs corrigés ou complets, exiger qu’un essai ou une inspection soit effectué(e) en présence d’un témoin indépendant, ou exiger que l’essai soit répété dans des conditions que l’équipe de projet peut vérifier directement.
La mesure à prendre dépend de la nature de la divergence constatée. Un certificat présentant un nom d’entité non conforme peut être régularisé par une nouvelle soumission, dans le cadre de laquelle le fournisseur peut produire le certificat équivalent délivré à l’entité correcte ou préciser le lien entre l’entité mentionnée et celle qui présente l’offre. Un rapport d’essai dans lequel manquent des enregistrements d’étalonnage ou des observations brutes peut également être corrigé par une nouvelle soumission, si les enregistrements sous-jacents existent et n’ont tout simplement pas été inclus. Lorsque la lacune porte sur la question de savoir si une configuration testée correspond à la configuration proposée, une simple nouvelle soumission ne suffit pas à la résoudre si les configurations testée et proposée diffèrent réellement ; dans ce cas, l’équipe de projet doit soit obtenir un nouveau rapport pour la configuration correcte, soit décider d’inclure des essais spécifiques à cette configuration dans le plan de vérification du projet.
La présence d'un témoin prend tout son sens lorsque l'enjeu ne réside pas dans l'existence d'un résultat, mais dans la confiance accordée à la manière dont il a été obtenu. Une équipe de projet qui n’est pas certaine que les pratiques de test internes d’un fournisseur correspondent aux exigences du projet peut demander qu’un test répété ou à venir inclue un témoin indépendant, plutôt que de répéter l’ensemble du périmètre de test. La répétition des tests devient nécessaire lorsqu’il n’existe aucun résultat antérieur pour la configuration correcte, lorsque des écarts n’ont pas été résolus, ou lorsque la comparabilité en termes de danger ou de limites des preuves antérieures ne peut être établie de manière suffisamment fiable pour se substituer à des tests directs.
Chaque divergence non résolue identifiée lors de l'examen des preuves doit être consignée sous forme de demande de clarification, en précisant quelle vérification a échoué, quelle preuve permettrait de la résoudre, et si cette preuve doit être soumise à nouveau, certifiée par un témoin ou répétée avant que le projet puisse s'y fier. Ne pas consigner une divergence, même lorsque l'équipe de projet a l'intention de la signaler oralement, supprime la traçabilité dont dépendent les étapes ultérieures du projet pour confirmer que les points en suspens ont bien été résolus avant la réception. L’approche comparative décrite dans [Comment comparer les fournisseurs d'équipements à haut niveau de confinement en fonction de la qualité de leur réponse aux demandes d'URS et de l'étendue des éléments fournis] considère que cette même rigueur en matière de clarification fait partie intégrante de l'évaluation des réponses des fournisseurs lors de la sélection, et pas seulement lors de la réception définitive.
Critères d'acceptation avant l'intégration des justificatifs du fournisseur dans le dossier du projet
Déterminer à quel moment une preuve est suffisamment solide pour être intégrée au dossier du projet relève d’un jugement distinct de celui visant à établir si cette preuve existe. Un certificat, un rapport d’essai ou un projet de référence peut être authentique, à jour et décrit avec précision, tout en ne répondant pas aux exigences du dossier du projet si son champ d’application ne correspond pas à l’entité, à la configuration ou aux conditions de risque et aux limites de l’achat en cours. Le critère d’acceptation n’est pas un seuil unique appliqué de manière uniforme ; il dépend de la vérification à laquelle le document était destiné et des conséquences qui découlent de son utilisation.
Lorsqu’un certificat est utilisé pour attester qu’un fournisseur opère dans le cadre d’un système de qualité ou de gestion reconnu, un champ d’application au niveau de l’entreprise peut suffire à cette fin limitée, même si ce même certificat ne suffirait pas à établir qu’un système spécifique proposé répond à une exigence de performance. Lorsqu’un rapport d’essai est utilisé pour réduire ou remplacer les essais prévus au cours des phases de vérification propres au projet, le seuil d’acceptation est plus élevé, car le dossier du projet s’appuie sur ce rapport comme s’il avait été établi sous la supervision du projet lui-même ; une incompatibilité de configuration, un écart non documenté ou une validation manquante empêchent, chacun séparément, le rapport d’avoir ce poids tant que le problème n’est pas résolu. Lorsqu’un projet de référence est utilisé pour étayer une décision de sélection de fournisseur plutôt que pour se substituer à des essais directs, le seuil d’acceptation peut tolérer davantage d’informations partielles, à condition que les lacunes soient reconnues plutôt que considérées comme résolues.
La condition qui fait évoluer ces limites est ce que les preuves sont censées représenter. Les preuves utilisées pour décrire les capacités générales d’un fournisseur peuvent avoir une portée plus large que celles utilisées pour répondre à une exigence de vérification spécifique. Lorsque des informations relatives à un projet sont soumises dans le cadre d’une configuration QUALIA ou d’un examen de devis, la même distinction s’applique : les certificats généraux et les documents de référence permettent une première évaluation de l’adéquation, tandis que les preuves d’essais spécifiques à la configuration deviennent pertinentes dès lors que le périmètre du projet examiné se restreint à un système proposé précis. Une équipe de projet qui maintient cette distinction de manière explicite évite à la fois de se fier excessivement aux documents généraux et de les sous-utiliser pour les fins auxquelles ils peuvent légitimement servir. La conversion de l’objectif de protection d’un projet en critères d’acceptation permettant de vérifier la conformité du fournisseur, telle que décrite dans [Comment transformer les exigences des projets BSL et OEB en critères d'acceptation vérifiables par les fournisseurs], fournit à l'équipe chargée du projet une norme bien définie permettant d'évaluer chaque élément de preuve présenté, plutôt que de le juger au cas par cas.
Questions fréquemment posées
Q : Que faut-il préparer avant d'examiner les pièces justificatives des fournisseurs ?
A : Élaborez une liste de traçabilité qui relie la configuration proposée, les dangers, les limites de l'équipement, le périmètre des essais et les critères d'acceptation au document attendu pour chaque point. Cela permet de mettre en évidence les preuves manquantes ou non conformes avant qu'elles ne soient considérées comme des éléments justificatifs du projet.
Q : Un certificat délivré au niveau de l'entreprise peut-il valider le système de confinement proposé ?
A : Non. Vérifiez que l’entité juridique, l’organisme émetteur, le numéro de certificat, le champ d’application, le produit ou le site mentionné et la date de validité correspondent bien à l’offre ; toute divergence doit faire l’objet d’une demande de clarification avant d’être résolue.
Q : Comment devons-nous traiter un rapport de test issu d'une configuration similaire à celle de l'offre, mais qui n'est pas identique ?
A : Ne partez pas du principe que ce résultat s'applique à la configuration proposée. Notez les différences, vérifiez la méthode d'essai, les instruments et leur étalonnage, les critères d'acceptation, les observations brutes, les écarts et la validation, puis précisez si des justificatifs doivent être fournis à nouveau, validés par un témoin ou si les essais doivent être répétés avant l'acceptation.
Q : Que faire si un client de référence ne peut pas autoriser la divulgation complète des informations relatives au projet ?
A : Considérez cette référence comme un élément d'information incomplet plutôt que comme une preuve de conformité. Demandez des précisions pouvant être communiquées concernant le risque, les limites de l'équipement, le périmètre des essais, le contexte d'exploitation et la responsabilité du fournisseur, et consignez tout point de comparaison qui reste invérifiable.
Q : Faut-il combler toutes les lacunes en matière de preuves au même stade ?
A : Non. Distinguez les écarts qui empêchent une comparaison équitable des offres des éléments pouvant être présentés à nouveau, attestés ou reproduits avant l'acceptation du projet, et consignez la mesure à prendre ainsi que les critères d'acceptation pour chaque divergence non résolue.
