3 General requirements for the performance evaluation

3.1 Responsibilities and resources

The manufacturer takes the responsibility for the initiation and/or the conduct of a performance evaluation study. He shall define the responsibility and the interrelation of all personnel who manage

and conduct the performance evaluation of IVD MDs, particularly for personnel who need the

organisational freedom and authority to

a) assess the validity of test results and data already available;

b) specify performance claims which shall be further examined or confirmed;

c) specify and document the evaluation plan and the test procedures;

d) prepare the evaluation report.

The manufacturer shall appoint a co-ordinator with overall responsibility of the performance evaluation

study. The co-ordinator shall himself assure that adequate resources are available. The investigator

shall ensure that the evaluation plan is followed at his location and that the study is appropriately

reviewed from an ethical point of view.

3.2 Documentation

The documentation of the performance evaluation study shall contain the files relating to clauses 3 to

7 of this standard and shall be part of the technical documentation of the IVD MD.

3.3 Final assessment and review

The co-ordinator shall assess and document which performance claims are met, state whether claims

are not met and give recommendations for corrective actions, where necessary.

The responsible management of the manufacturer shall make sure that the results of the performance

evaluation study and the recommendations for corrective actions are carefully considered and properly

documented before issuing a declaration of conformity.

4 Organisation of a performance evaluation study

4.1 Preconditions

Before starting a performance evaluation study it shall be ensured by the co-ordinator that

a) the performance claims of the IVD MD which are the subject of the study are specified;

b) the IVD MD has been manufactured under controlled production processes and conditions;

c) the IVD MD to be evaluated meets the quality control release specifications;

d) a sufficient number of samples of the IVD MD can be provided during the entire period of the

performance evaluation study;

e) all legal requirements for performance evaluation studies are met;

f) the investigator(s) is (are) adequately skilled and trained to conduct the study and the necessary

resources are available.

4.2 Evaluation plan

The evaluation plan shall state the purpose on scientific, technical or medical grounds, the scope of

the evaluation, the structure and organization of the study and the number of devices concerned.

Defining the objective of the study, the co-ordinator shall have assessed which performance claims

are already verified by data or scientific literature.

The evaluation plan shall be designed to minimise the requirements for invasive sampling. In the case

of IVD MDs for self-testing it shall be ensured that the evaluation plan is appropriate and acceptable to

users and the information provided shall be clear and easily understood.

The evaluation plan shall specify

a) that the investigator(s) is (are) adequately skilled and trained to use the IVD MD;

b) the list of laboratories or other institutions taking part in the performance evaluation study; for selftesting,

the location and number of lay persons involved;

c) the time-table;

d) the necessary minimum number of probands from whom specimens are collected by invasive

procedures in order to adequately assess the performance of the IVD MD;

e) instructions for use including a description of the conditions of use;

f) the performance claims (e.g. analytical sensitivity, diagnostic sensitivity, analytical specificity,

diagnostic specificity, accuracy, repeatability, reproducibility) to be validated;

g) the format of performance study records.

4.3 Sites and resources

In general, the performance study procedure(s) shall be carried out under conditions reflecting the

relevant intended conditions of use.

The co-ordinator shall take the responsibility for the proper conduct of the performance evaluation

study at all sites. All investigators shall be named.

The co-ordinator shall ensure adequate competence and skill at all sites involved and that the

necessary resources are available.

Where lay persons are involved in a performance evaluation study of an IVD MD for self-testing, the

location of the study and the number of persons shall be given. The co-ordinator shall specify the

criteria for the selection of a representative panel.

Especially for studies involving lay persons it shall be ensured that these persons do not receive

additional information on the use of the IVD MD apart from that which is provided with the IVD MD

when it is placed on the market because the comprehension of the manufacturer's instructions for use

is one of the important aspects of the study. lt shall also be ensured that the untrained person(s) do

not receive any additional information or help, e. g. from a tutor, other than the training specified and

provided by the manufacturer in the instructions for use.

4.4 Basic design information

The co-ordinator shall provide the investigator(s) with sufficient information in order to understand the

function and application of the IVD MD and, where necessary, the investigator shall make himself

familiar with the IVD MD and its application. The information provided shall include a statement that

the device in question conforms with the requirements of the Directive 98/79/EC apart from those to be

evaluated.

4.5 Experimental design

The experimental procedures to validate each performance claim subject to the performance

evaluation study shall be documented in the evaluation plan.

Special consideration in performance evaluation studies of reagents/kits shall be given, where

applicable, to the following:

– specification of type (e.g. serum, plasma, urine) and properties (e.g. concentration range, age

and sex of the proband population) of specimens appropriate to the intended use;

– probands to be enrolled;

– suitability, stability and volume of specimens and specimen exclusion criteria;

– blind procedures, where necessary;

– reagent stability;

– inclusion of common interfering factors, caused by specimen condition or the

pathological/physiological status of the specimen donor or treatment;

– conditions for use which can be reasonably anticipated; special attention shall be paid to the

conditions of use by lay persons;

– selection of an appropriate reference measurement procedure and reference material of

higher order, where available;

– determination of the status of specimens (for qualitative tests with a nominal or ordinal scale);

– calibration procedures, including traceability, where appropriate;

– appropriate means of control;

– limitations of the test;

– criteria for re-examination and data exclusion;

– availability of additional information concerning the specimen or donor if follow-up of

unexpected results is required;

– appropriate measures to reduce risk of infection to the user.

Where the study is intended to validate the performance claims of an instrument special consideration

shall be given additionally to the following:

– maintenance and cleaning;

– carry-over effects;

– software validation.

NOTE For the investigation of the technical aspects of instruments, other standards can be relevant.

4.6 Performance study records

The performance study records shall

– refer to the experimental procedures in the evaluation plan;

– be unequivocally identifiable;

– contain or refer to all results and related relevant data;

– be part of the technical documentation of the IVD MD.

The protection of all confidential data shall be ensured.

4.7 Observations and unexpected outcomes

Special attention shall be paid to observations and unexpected outcomes, e. g. drop outs, outliers,

instability of sample or reagent signal etc., non-reproducibility, non-correlation of results to the

reference or to the diagnostic pattern, defects or breakdowns, software errors, or error signals.

Any deviation from the defined procedures shall be recorded. In the case of IVD MDs for self-testing,

the investigator or tutor shall duly note any difficulty or question a user may have and any deviation

from the mode of application of the IVD MD as described by the manufacturer.

Any such observation shall be properly recorded. The co-ordinator shall, together with the investigator,

trace the cause whenever possible. The result shall be recorded and shall be part of the evaluation

report.

Where the validity of the examinations already performed may be questionable because of an

identified source of error the tests shall be repeated after exclusion of that cause.

Where a misuse or misinterpretation of the instructions for use has been the cause and where an

unexpected risk inherent to the product design or the mode of application has been identified this shall

be clearly stated.

The proposals of the investigator(s) and the co-ordinator for any improvement of the IVD MD and/or its

application shall be recorded.

4.8 Evaluation report

The co-ordinator shall establish an evaluation report. It shall contain a description of the study, an

analysis of the results together with a conclusion on the performance claims investigated.

The report shall also discuss any unexpected outcomes which have occurred. It shall identify the

cause whenever possible and give recommendations for corrective actions to be taken, where

necessary.

If several studies have been conducted for one IVD MD, a single summarizing report may be

established.

5 Modifications during the performance evaluation study

Where the manufacturing process has been changed it shall be checked whether the performance

claims of the IVD MD still conform to those which had been set initially. Otherwise the validity of the

examinations already performed shall be questioned and the evaluation plan shall be revised

accordingly.

Where design changes are introduced, the evaluation plan shall be revised.

6 Re-evaluation

In case of changes to the design or manufacturing process of the IVD MD, the performance evaluation

study shall be repeated as far as necessary, to ensure that the intended use and the performance

claims of the IVD MD placed on the market are adequately evaluated.

This re-evaluation may refer to documented results of a preceding evaluation insofar as these are considered valid and transferable after critical review.

7 Protection and safety of probands

The removal, collection and use of tissues, cells and substances of human origin is governed, in

relation to ethics, by the principles laid down in the Convention of the Council of Europe for the

protection of human rights and dignity of the human being with regard to the application of biology and

medicine and by any national regulations on this matter.

In any case, the results obtained from a specimen by means of the IVD MD under evaluation shall not

be used for other purposes than for performance evaluation, unless ethical reasons, fully supported by

a responsible medical professional, suggest the contrary. In such a case the medical professional

assumes complete responsibility.

3 性能評估的一般要求

3.1 責(zé)任和謀略

生產(chǎn)商負(fù)責(zé)性能評估研究的開始和/或引導(dǎo)。他應(yīng)規(guī)范明確所有管理和引導(dǎo)IVD-MD性能評估的人員的責(zé)任和相互關(guān)系，尤其對那些需要組織的自由和授權(quán)進(jìn)行

1， 評估已有的測試結(jié)果和數(shù)據(jù)的有效性。

2， 詳述/指定需要進(jìn)一步檢查或確認(rèn)的性能聲明。

3， 詳述/指定并記錄評估計劃及測試過程。

4， 準(zhǔn)備評估報告。

生產(chǎn)商應(yīng)指定一個協(xié)調(diào)者總體負(fù)責(zé)性能評估研究。協(xié)調(diào)者應(yīng)確保具有所需的才智能力。審查者應(yīng)確保在他手上評估計劃正確軌道進(jìn)行，并且在倫理學(xué)上合適。

3.2 記錄

性能研究的記錄應(yīng)包括相關(guān)于本標(biāo)準(zhǔn)的條款3到7要求的文件。并應(yīng)成為IVD MD技術(shù)文檔的一部分。

3.3 最終評估和回顧

協(xié)調(diào)者應(yīng)評估并記錄那些性能聲明是符合的，表明是否有不符合的聲明并需要的話，給出改進(jìn)建議。

生產(chǎn)商的負(fù)責(zé)任的管理應(yīng)確保性能評估研究的結(jié)果和改進(jìn)建議受到仔細(xì)考慮并適當(dāng)記錄，然后才能發(fā)布（評估結(jié)果的）一致性聲明。

4. 組織一個性能評估研究

4.1 先決條件

在開始實驗前，協(xié)調(diào)者需要確保

1. IVD MD的性能聲明，也就是研究的主題是指定的。

2. IVD MD  在受約束的生產(chǎn)過程和條件下生產(chǎn)出來了。

3. 要評估的IVD MD 符合質(zhì)量控制標(biāo)準(zhǔn)。

4. 在全部研究過程中有充足數(shù)目的IVD MD樣品提供。

5. 符合所有的法律法規(guī)對性能評估研究的要求。

6. 研究者具有足夠的技能并被培訓(xùn)過，進(jìn)行試驗，同時，足夠的資料可以得到。

4.2 評估計劃

評估計劃需講述從科學(xué)，技術(shù)或醫(yī)學(xué)的背景上的目標(biāo)，評估的范圍，所進(jìn)行的研究的組織結(jié)構(gòu)以及有關(guān)的（醫(yī)療）設(shè)備（此處應(yīng)指實驗對象，也就是試劑）的數(shù)目。

在明確實驗?zāi)繕?biāo)時，協(xié)調(diào)者應(yīng)核定哪些性能聲明已經(jīng)被數(shù)據(jù)或科學(xué)文獻(xiàn)所核實。

設(shè)計評估計劃時，應(yīng)最小化有擴(kuò)散危害的樣品的需求。在IVD MD用來自我測試的情況下，應(yīng)確保評估計劃是適當(dāng)?shù)?，并讓使用者可（理解）接受，同時所提供的信息應(yīng)清晰并易理解。

評估計劃應(yīng)詳述并指定：

1. 研究者具有足夠的使用IVD MD的技能和培訓(xùn)。

2. 列出參與性能評估實驗的實驗室或機(jī)構(gòu)；對自我測試的情況，需要包括參與實驗人員（普通人，無醫(yī)學(xué)背景的人）的定位和數(shù)目。

3. 時間表

4. 所必需的最小數(shù)目的人群，他們的樣本通過侵入性過程所采集，用來確切評估IVD MD性能。

5. 操作指南包括使用條件的描述。

6. 所認(rèn)證的性能聲明（例如，分析敏感度，診斷敏感度，分析特異性，診斷特異性，精度，可重復(fù)性，重復(fù)能力）

7. 性能研究記錄的格式。

4.3 位置和資料

總體上，性能研究過程應(yīng)在反應(yīng)出實際使用條件相關(guān)的情況下進(jìn)行。

協(xié)調(diào)者應(yīng)負(fù)責(zé)性能評估過程各步驟的適當(dāng)?shù)闹笇?dǎo)。所有的研究者應(yīng)留下姓名。

協(xié)調(diào)者應(yīng)確保在各步驟都具有足夠的技能并有必須的謀略。

當(dāng)普通人卷入自我測試的研究時候，需要給出進(jìn)行研究的地址和人員數(shù)目。協(xié)調(diào)者應(yīng)詳述代表性的小組的選擇的標(biāo)準(zhǔn)。

尤其當(dāng)研究包括普通人時候，應(yīng)確保這些人員不會得到額外的使用IVD MD的信息，除了在投放市場時候所提供的和IVD MD一起的信息，因為對生產(chǎn)商的使用指南的理解是研究所包括的一個重要方面。也需要確保未受訓(xùn)人員（普通人）不會得到額外的信息與幫助，比如從一個導(dǎo)師那里，除了那些廠商的使用指南中的那些訓(xùn)練。

4.4 基本設(shè)計信息

協(xié)調(diào)者需提供給研究者足夠的信息，以理解IVD MD 的功能和應(yīng)用，并且，當(dāng)需要時，研究者自己應(yīng)熟悉IVD MD及應(yīng)用。所提供的信息應(yīng)包括一個陳述，所研究的設(shè)備（實驗對象）符合98/79/EC標(biāo)準(zhǔn)要求，不僅僅是評估的那些。

4.5 實驗設(shè)計

實驗過程的每一步都需要記錄在評估計劃中。

試劑/裝備的性能評估研究所需要的特別考慮，當(dāng)需要時，需要給定，例如：

-所適用的標(biāo)本的種類（如：血清，血漿，尿液）和屬性（如：濃度范圍，實驗的人口的年齡和性別）

-實驗人群

-標(biāo)本的合適性，穩(wěn)定性與數(shù)量及排除標(biāo)準(zhǔn)。

-雙盲過程，如果需要的話。

-試劑穩(wěn)定性

-由標(biāo)本條件或標(biāo)本捐獻(xiàn)者的病理/生理狀態(tài)引起的常見干擾因子。

-可以合理預(yù)測到的使用條件；尤其是普通人使用所需的條件。

-選擇合適的更高層次的參考測量過程和材料，需要的話。

-決定標(biāo)本的狀態(tài)（用來定性測試的少量的或序數(shù)的等級）

-校準(zhǔn)過程，包括需要時的可追溯性

-合適的對照方法

-實驗的弱點，限制。

-重新檢測及數(shù)據(jù)剔除的規(guī)范。

-可用的額外的關(guān)于樣本或捐者的信息，若需要對不符合期望的結(jié)果進(jìn)行追訪。

-適當(dāng)?shù)氖侄蝸頊p少使用者感染的危險。

當(dāng)研究試圖驗證一個儀器的性能聲明時，下面的特別考慮也需要給定：

-維護(hù)和清潔

-延期的影響

-軟件確認(rèn)。

注意：對于儀器的技術(shù)方面的研究者，還有其他的可能相關(guān)的標(biāo)準(zhǔn)。

4.6 性能研究記錄

記錄應(yīng)：

-參照評估計劃中的實驗過程

-毫不含糊地確認(rèn)

-包括或參照所有結(jié)果及相關(guān)數(shù)據(jù)。

-成為IVD MD的技術(shù)文檔的一部分。

機(jī)密數(shù)據(jù)的保護(hù)需要確保。

4.7 觀測和非期待的結(jié)果

需要特別的注意觀測與不符的結(jié)果，例如，丟棄的結(jié)果，外層的結(jié)果，樣品或試劑的不穩(wěn)定性信號等等，不可重復(fù)性，結(jié)果對參考值或?qū)υ\斷模式的不相關(guān)性，缺陷或故障，軟件錯誤，或誤差信號。

任何對確切的（實驗）過程的偏離都應(yīng)被記錄。在自測IVD MD的案例中，研究者或?qū)煈?yīng)準(zhǔn)確標(biāo)注使用者可能遇到的問題及困難，以及對IVD MD生產(chǎn)商的使用指南所描述的使用方式的偏差。

所有的這些觀測應(yīng)被正確記錄。可能的話，協(xié)調(diào)者應(yīng)與研究者一道，探求原因。結(jié)果應(yīng)被記錄并成為評估報告的部分。

當(dāng)已經(jīng)完成的檢測的有效性被質(zhì)疑，因為識別了錯誤的根源，那么這個測試應(yīng)該被重復(fù)，在排除了該錯誤原因后。

當(dāng)一個對用戶指南的錯誤解讀或錯誤使用成為原因，以及那些起源于產(chǎn)品設(shè)計或應(yīng)用方式的非預(yù)期的風(fēng)險被識別，需要被清晰稱述。

研究者及協(xié)調(diào)者對IVD MD 的改進(jìn)和/或使用的提議應(yīng)被記錄。

4.8 測評報告

協(xié)調(diào)者應(yīng)建立評估報告。應(yīng)包括對研究的描述，結(jié)果的分析和對所研究的性能聲明的結(jié)論。

報告也應(yīng)該討論所發(fā)生的任何非期望的結(jié)果。應(yīng)辨別可能的原因并給予糾正的推薦行為，當(dāng)需要的時候。

當(dāng)對同一個IVD MD的幾個研究都進(jìn)行，應(yīng)該建立一個獨立的總結(jié)報告。

5 性能評估研究的修改

當(dāng)生產(chǎn)過程改變時候，應(yīng)當(dāng)檢查IVD MD的性能聲明是否仍然符合那些最初設(shè)置的。否則，那些已經(jīng)進(jìn)行了的檢測應(yīng)被質(zhì)疑，同時，評估計劃該做相應(yīng)修改。

6 重新分析

當(dāng)IVD MD設(shè)計或生產(chǎn)過程有所改變，性能測試研究，只要需要，應(yīng)被重復(fù)，以保證投放市場的IVD MD的使用目的和性能聲明被恰當(dāng)評估。這重評估可以參照以前的記錄了的評估結(jié)果，只要它們在關(guān)鍵回顧后被認(rèn)可有效和可轉(zhuǎn)換。

7 參加實驗人員的安全與保護(hù)

對源自人身的組織，細(xì)胞和物質(zhì)的移除，收集和使用，應(yīng)根據(jù)倫理學(xué)來監(jiān)控，由