Предложение поставщика может сопровождаться папкой с сертификатами, протоколами испытаний и презентацией о прошлых проектах, но ни один из этих документов не дает ответа на главный вопрос: применимы ли эти данные именно к той системе, по которой составляется предложение. При рассмотрении документации речь идет не о количестве представленных документов, а о том, имеет ли каждый документ отношение к данному юридическому лицу, данной конфигурации и условиям проекта, сопоставимым с планируемым. Эту связь необходимо тщательно проверять, поскольку документ может быть подлинным, но при этом не иметь отношения к данному проекту.
Что можно и чего нельзя доказать с помощью каждого вида доказательств
Сертификаты, протоколы испытаний и эталонные проекты дают ответы на разные вопросы, и если рассматривать их как взаимозаменяемые доказательства готовности, это приводит к появлению пробелов, которые впоследствии проявляются в ходе реализации проекта. Сертификат подтверждает, что организация или орган вынесли заключение в отношении конкретного субъекта, продукта или объекта в определённых условиях; он не описывает, как работала конкретная единица, и не подтверждает, что сертифицированный объем работ охватывает предлагаемую конфигурацию. Протокол испытаний описывает, что произошло при тестировании конкретной конфигурации в соответствии с указанной методикой; он не подтверждает, что испытанная единица соответствует тому, что будет получено в рамках проекта, если только не подтверждено совпадение конфигураций. Референтный проект описывает то, что поставщик реализовал в другом месте; он не подтверждает, что к рассматриваемому проекту применимы те же самые риски, границы и структура ответственности.
Если покупателю требуется подтверждение общей компетентности, сертификат может служить этой цели в пределах указанной в нём сферы применения. Если покупателю требуется подтверждение работоспособности предлагаемой конфигурации, протокол испытаний, касающийся именно этой конфигурации, более непосредственно отвечает этой цели. Если покупателю необходимо оценить, применим ли опыт поставщика к новому проекту, проект-референс предоставляет доказательства, более близкие к фактическому решению о покупке, чем сертификат, при условии, что условия эксплуатации и границы проекта описаны достаточно подробно для сравнения.
Условием, влияющим на данное суждение, является то, насколько узко или широко сформулирована область применения, указанная в документе. Сертификат, действующий в отношении компании в целом, как правило, не распространяется на конкретную линейку продукции, а протокол испытаний, относящийся к одной конфигурации, не распространяется на ее вариант, если только в протоколе или в подтверждении поставщика не указано, что данный вариант был включен в испытания. Эксперты, которые принимают документ лишь на основании его наличия, не ознакомившись с его фактическим содержанием, переносят этот пробел в проект. EudraLex Том 4 Приложение 15 поддерживает практику проверки документации поставщиков на соответствие заранее определённым критериям приёмки и фиксации отклонений, а не безоговорочного принятия заявлений поставщиков как полных сразу после их представления; эта логика проверки распространяется на то, как проектная команда должна подходить к любому из трёх типов доказательств, прежде чем полагаться на них.
Проверка сертификатов на соответствие эмитента, организации, области применения и срока действия
Сертификат — это заявление, выданное конкретным органом в отношении конкретного субъекта, продукта или объекта, действительное при определенных условиях, и каждый из этих элементов может отличаться от того, что предполагает покупатель, при этом сам сертификат не является ложным. Наиболее частая несогласованность, возникающая при коммерческой экспертизе, касается различия между организацией, владеющей сертификатом, и организацией, представляющей его в рамках тендерной заявки: сертификат, выданный материнской компании, производственному предприятию или иному юридическому лицу в рамках той же корпоративной структуры, не распространяется автоматически на организацию, которая будет нести договорную ответственность за проект.
Та же логика применима и к сфере действия сертификата. Сертификат может быть точным и актуальным в отношении определенного класса оборудования, системы управления или объекта, не охватывая при этом конкретную конфигурацию системы, предлагаемую для проекта. Если в сфере действия сертификата обозначено семейство продуктов в общих чертах, задача заказчика заключается в том, чтобы подтвердить, что предлагаемая система входит в это семейство в том виде, в котором она была испытана или оценена, а не делать предположения о принадлежности к семейству исключительно на основании названия продукта. Сроки действия сертификата сопряжены с аналогичным условием: сертификат, действующий на момент закрытия тендера, может утратить силу до начала поставки или приемочных испытаний, и в случае проекта с длительным сроком поставки необходимо отслеживать, остается ли сертификат действительным на всех этапах, на которых на него опираются.
| Проверка сертификата | С чем сочетать | Граница принятия решения |
|---|---|---|
| Юридическое лицо | Организация, указанная в сертификате, и организация, предъявляющая его | Несоответствие сущностей остается нерешенным до тех пор, пока оно не будет прояснено |
| Орган, выдающий документ | Орган, выдавший сертификат, указанный в сертификате | Прежде чем рассматривать сертификат в качестве доказательства, необходимо удостовериться в личности его выдающего лица |
| Номер сертификата | Номер сертификата, указанный в документе | Используйте этот номер для отслеживания рассматриваемого сертификата |
| Область применения | Указанная сфера применения сертификата и предлагаемая система | Наличие сертификата на уровне компании само по себе не является достаточным основанием для одобрения предлагаемой системы |
| Продукт или сайт | Соответствующий продукт или объект, указанный в сертификате | Убедитесь, что сертификат распространяется на предлагаемый продукт или объект |
| Срок действия | Срок действия, указанный в сертификате | Прежде чем полагаться на сертификат, проверьте его действительность |
Если какой-либо из следующих элементов — эмитент, организация, сфера применения, продукт, местоположение или срок действия — не соответствует данным, указанным в предложении, сертификат не считается полностью недействительным, но перестает выступать в качестве самостоятельного доказательства и становится моментом, требующим разъяснения, прежде чем он сможет быть использован в документации по проекту.
В отчете об испытаниях проверяются конфигурация, методика, калибровка, результаты и утверждение
Отчет об испытаниях имеет ценность только в той мере, в какой он способен продемонстрировать, что заявленный результат был получен в ходе четко определённого испытания, проведённого на определённой конфигурации с использованием приборов, прослеживаемость которых обеспечена. Заявление о прохождении испытаний без этих подтверждающих элементов сообщает читателю лишь о том, что что-то прошло испытания, не указывая при этом, что именно тестировалось и как был получен результат. Соответствие конфигурации — это первое условие, которое необходимо подтвердить: если поставщик предоставляет отчет по предыдущему проекту или более ранней версии продукта, заказчику необходимо знать, имеют ли различия между той конфигурацией и предлагаемой конфигурацией отношение к приведенному результату, поскольку отчет по другой конфигурации не подтверждает результаты для текущего предложения.
К методу испытаний и испытательному оборудованию предъявляются соответствующие требования. Отсутствие информации о методе означает, что читатель не может судить о том, соответствует ли подход к испытаниям требованиям проекта, а отсутствие данных о калибровке означает, что приведенные в отчете измерения не имеют прослеживаемой основы. Критерии приемки служат стандартом, по которому оценивается результат; отчет, в котором приводится результат без указания критериев, использованных для его оценки, вынуждает читателя принять вывод поставщика, а не проверить его самостоятельно.
Исходные наблюдения и задокументированные отклонения влияют на степень достоверности итогового результата. Отчет, построенный исключительно на основе итогового заявления о прохождении проверки без приведения исходных наблюдений, не позволяет читателю проверить, были ли пограничные результаты округлены в благоприятную сторону или же имело место отклонение, которое было устранено до подписания отчета. Если отклонение задокументировано, но его устранение — нет, отклонение остается открытым и требует проверки, прежде чем отчет сможет служить основанием для приемки проекта. Подписание завершает цепочку контроля отчета, подтверждая, кто проверил и утвердил указанный результат; отчет без подписания не прошел свой внутренний процесс до конца, независимо от того, что указано в тексте отчета.
| Проверка протокола испытаний | Что необходимо проверить | Граница принятия решения |
|---|---|---|
| Предлагаемая конфигурация | Проверенная конфигурация соответствует предлагаемой конфигурации | Отчет, составленный для другой конфигурации, не определяет результаты предложения |
| Метод испытания | Определен метод испытания | Оператор pass без указания метода не показывает, как был получен результат |
| Приборы и калибровка | Инструменты и их калибровка зафиксированы в документации | Отсутствие прибора или данных о калибровке ограничивает прослеживаемость результатов измерений |
| Критерии приемлемости | Изложены критерии приемки | Оценивайте результаты с учетом установленных критериев, а не только на основании самого факта прохождения |
| Исходные данные наблюдений | Данные наблюдений подтверждают полученный результат | Не полагайтесь исключительно на краткое заявление о прохождении |
| Отклонения | Любые отклонения фиксируются | Нерешенные отклонения требуют проверки перед приемкой |
| Подпись | Отчет содержит утверждение | Проверьте подписание отчета, прежде чем рассматривать его в качестве полного доказательства |
Эти проверки имеют наибольшее значение на этапе рецензирования, предшествующем приемочным испытаниям, когда проектная группа решает, могут ли ранее полученные данные заменить или сократить объем испытаний, запланированных для конкретного поставляемого модуля; подход к рецензированию, описанный в [Какие подтверждающие документы должен предоставить поставщик герметизирующего оборудования перед проведением приемочных испытаний на месте (FAT) и на объекте (SAT)?] рассматривает тот же вопрос о пределе доказательств с точки зрения предоставления информации поставщиком.
Проверка эталонных проектов на предмет сопоставимости уровней опасности, границ и объема работ поставщиков
Референсный проект является подтверждением опыта, а не показателем эффективности в контексте текущей закупки, и разница между этими двумя аспектами зависит от того, насколько приведенный проект схож с планируемым. Сопоставимость видов опасности является первым фильтром: опыт поставщика в отношении одного класса опасности не может быть напрямую перенесен на другой класс опасности, поскольку расчетные и испытательные давления различаются в зависимости от того, от чего защищает оборудование и что именно оно защищает. Если основная цель приведенного в качестве примера проекта отличается от основной цели текущего проекта, то эта ссылка свидетельствует скорее об общем опыте выполнения заказов, чем о пригодности для достижения конкретной поставленной цели защиты.
Сопоставимость границ оборудования определяет, описывает ли эталонный проект тот же объем физической и функциональной ответственности, который предлагается в настоящее время. Эталонный проект, в котором поставщик поставлял отдельный модуль оборудования в рамках более крупной системы, созданной другими организациями, описывает более узкую роль поставщика, чем тот случай, когда тот же поставщик нес ответственность за интерфейсы, интеграцию или приемочку в рамках более широких границ. Если в текущем предложении поставщику назначаются более широкие или более узкие границы, чем в приведенном эталонном проекте, то этот эталонный проект не подтверждает способность поставщика выполнять свои обязательства в рамках предлагаемых в настоящее время границ.
Объем испытаний и условия эксплуатации вносят дополнительные ограничения. Референсный проект, испытанный в условиях, схожих с планируемой средой эксплуатации, имеет большее значение, чем проект, испытанный в иных условиях; при этом референс, в котором договорные обязательства поставщика соответствовали тому, что предлагается в настоящее время, имеет большее значение, чем тот, в котором ответственность была распределена иначе между несколькими сторонами. Если проектная команда не может определить объем испытаний, условия эксплуатации или ответственность поставщика на основании предоставленной информации, референс выступает скорее как заявление об опыте, а не как сопоставимое доказательство.
| Точка сравнения | Вопрос, который нужно задать |
|---|---|
| Опасность | Содержит ли данная ссылка информацию об опасности, сопоставимой с запланированной покупкой? |
| Границы оборудования | Соответствуют ли технические характеристики эталонного оборудования параметрам планируемой закупки? |
| Объем тестирования | Предусматривает ли указанный проект аналогичный объем испытаний? |
| Условия эксплуатации | Соответствует ли условия эксплуатации запланированному использованию? |
| Ответственность поставщика | Соответствует ли ответственность поставщика тому, что предлагается? |
| Подробная информация о доказательствах | Содержит ли эта рекомендация достаточно подробной информации, помимо логотипов или количества проектов, чтобы оценить, насколько компания подходит для данного задания? |
Логотипы и количество проектов отражают масштаб деятельности, но не её соответствие требованиям. Список предыдущих клиентов или количество выполненных проектов не дают экспертной комиссии представления о том, был ли хотя бы один из этих проектов схож по структуре рисков, ограничений и сфер ответственности с планируемым проектом; запрос таких подробных сведений по небольшому числу действительно сопоставимых проектов дает более полезную информацию, чем запрос длинного списка.
Меры по уточнению в случае отсутствия, несоответствия или невозможности проверки доказательств
Как только сертификат, протокол испытаний или эталонный проект не проходит одну из вышеперечисленных проверок, перед проектной группой встает вопрос не о том, существует ли несоответствие, а о том, как его устранить. Доступные меры, как правило, делятся на три категории: запросить повторную подачу исправленных или полных доказательств, потребовать проведения испытаний или осмотра в присутствии независимого наблюдателя или потребовать повторного проведения испытаний в условиях, которые проектная группа может непосредственно проверить.
Выбор подходящего действия зависит от характера выявленного несоответствия. Проблема с сертификатом, в котором указано неверное название организации, может быть устранена путем повторной подачи документов, при этом поставщик может предоставить эквивалентный сертификат, выданный на имя правильной организации, или разъяснить, каким образом указанная организация связана с организацией, подавшей предложение. Протокол испытаний, в котором отсутствуют записи о калибровке или исходные данные наблюдений, также можно исправить путем повторной подачи, если соответствующие записи существуют, но просто не были включены. Если несоответствие касается того, соответствует ли испытанная конфигурация предлагаемой, то сама по себе повторная подача не устранит его, если испытанная и предлагаемая конфигурации действительно различаются; в этом случае проектной группе потребуется либо новый протокол для правильной конфигурации, либо решение о включении испытаний конкретной конфигурации в собственный план верификации проекта.
Присутствие свидетеля становится актуальным в тех случаях, когда речь идет не о наличии результата, а об уверенности в том, как он был получен. Проектная группа, не уверенная в том, соответствуют ли внутренние процедуры тестирования поставщика требованиям проекта, может попросить, чтобы при повторном или предстоящем тестировании присутствовал независимый наблюдатель, вместо того чтобы повторять весь объем тестирования. Повторное тестирование становится необходимым в тех случаях, когда отсутствуют предыдущие результаты для правильной конфигурации, когда отклонения остались нерешенными или когда опасность или сопоставимость предельных значений предыдущих данных не могут быть установлены с достаточной степенью уверенности, чтобы заменить непосредственное тестирование.
Каждое неустраненное несоответствие, выявленное в ходе анализа доказательств, следует фиксировать в качестве запроса на разъяснение, четко указав, какая проверка не прошла, какие доказательства позволят устранить несоответствие, а также необходимо ли повторно предоставить, заверить или повторить эти доказательства, прежде чем проект сможет на них опираться. Отсутствие документального фиксирования несоответствия, даже если проектная команда намеревается поднять этот вопрос устно, лишает возможности отслеживания, от которой зависят последующие этапы проекта при подтверждении того, что открытые вопросы были закрыты до приемки. Сравнительный подход, описанный в [Как сравнивать поставщиков оборудования высокой степени изоляции по качеству ответов на запросы URS и объему представленных доказательств] рассматривает эту же процедуру уточнения как один из критериев оценки ответов поставщиков в ходе отбора, а не только при окончательной приемке.
Установление границ приемлемости до включения данных поставщика в документацию по проекту
Решение о том, когда доказательства являются достаточно убедительными для включения в документацию по проекту, представляет собой отдельное суждение, отличное от решения о том, существуют ли эти доказательства. Сертификат, протокол испытаний или эталонный проект могут быть подлинными, актуальными и точно описанными, но при этом не соответствовать требованиям проектной документации, если их сфера применения не совпадает с объектом, конфигурацией, опасностью или граничными условиями осуществляемой закупки. Критерий приемлемости не является единым пороговым значением, применяемым одинаково ко всем случаям; он зависит от того, для выполнения каких проверок использовался документ и какие последствия влечет за собой опора на него.
В случае использования сертификата для подтверждения того, что поставщик работает в рамках признанной системы качества или управления, сфера действия на уровне компании может оказаться достаточной для этой ограниченной цели, даже если тот же сертификат не будет достаточным для подтверждения соответствия конкретной предлагаемой системы требованию к эксплуатационным характеристикам. Если протокол испытаний используется для сокращения или замены испытаний, запланированных на этапах проверки в рамках самого проекта, порог приемлемости устанавливается выше, поскольку проектная документация опирается на этот протокол так, как если бы он был составлен под собственным контролем проекта; несоответствие конфигурации, недокументированное отклонение или отсутствующее утверждение — каждое из этих обстоятельств по отдельности лишает протокол необходимой весомости до тех пор, пока проблема не будет устранена. Если эталонный проект используется для обоснования решения о выборе поставщика, а не для замены непосредственного тестирования, граница приемлемости может допускать больше неполной информации при условии, что пробелы признаются, а не рассматриваются как устраненные.
Условие, определяющее сдвиг этих границ, и является тем, что отражают представленные доказательства. Доказательства, используемые для описания общих возможностей поставщика, могут иметь более широкую сферу применения, чем доказательства, используемые для выполнения конкретного требования по проверке. При представлении информации о проекте для рассмотрения конфигурации QUALIA или коммерческого предложения действует то же различие: общие сертификаты и справочные материалы служат основой для первоначальной оценки соответствия, в то время как данные испытаний, относящиеся к конкретной конфигурации, становятся актуальными, когда рассматриваемый объем проекта сужается до конкретной предлагаемой системы. Проектная команда, четко соблюдающая это различие, избегает как чрезмерной зависимости от общих документов, так и их недостаточного использования для тех целей, которым они по праву могут служить. Преобразование цели защиты проекта в критерии приемки, по которым можно проверить поставщика, как описано в [Как преобразовать проектные требования BSL и OEB в критерии приемки, которые могут быть проверены поставщиком], предоставляет проектной группе четко сформулированный стандарт, по которому можно оценивать каждый представленный доказательный материал, а не принимать решения в каждом конкретном случае отдельно.
Часто задаваемые вопросы
Q: Что следует подготовить перед проверкой документации поставщика?
A: Составьте список прослеживаемости, в котором предлагаемая конфигурация, опасность, границы оборудования, объем испытаний и критерии приемки будут соотнесены с документами, которые должны быть представлены по каждому из этих пунктов. Это позволит выявить отсутствующие или несоответствующие доказательства до того, как они будут приняты в качестве подтверждения выполнения проекта.
Q: Может ли сертификат, выданный на уровне компании, подтвердить соответствие предлагаемой системы локализации?
A: №. Проверьте соответствие юридического лица, органа, выдавшего сертификат, номера сертификата, сферы применения, указанного продукта или объекта, а также срока действия сертификата с условиями предложения; любое несоответствие должно рассматриваться как запрос на разъяснение предложения до тех пор, пока оно не будет устранено.
Q: Как следует поступить с отчетом об испытаниях, полученным для конфигурации, которая схожа с предложенной, но не идентична ей?
A: Не следует предполагать, что его результат применим к предлагаемой конфигурации. Зафиксируйте различия, подтвердите методику испытаний, приборы и их калибровку, критерии приемки, исходные данные наблюдений, отклонения и подписание протокола, а затем укажите, необходимо ли перед приемкой повторно предоставить доказательства, обеспечить присутствие свидетелей или повторить испытания.
Q: Что делать, если референтный заказчик не может разрешить полное раскрытие информации о проекте?
A: Рассматривайте эту ссылку скорее как неполную информацию, а не как доказательство соответствия. Запросите подробные сведения, которые можно предоставить, об опасности, границах оборудования, объеме испытаний, условиях эксплуатации и ответственности поставщика, а также зафиксируйте все моменты сравнения, которые остаются непроверенными.
Q: Должны ли все пробелы в доказательствах быть устранены на одном и том же этапе?
A: Нет. Отделите несоответствия, препятствующие объективному сравнению предложений, от данных, которые можно повторно предоставить, подтвердить свидетельскими показаниями или повторить до приемки проекта, и зафиксируйте необходимые меры и критерии приемки для каждого неустраненного несоответствия.
