カットオーバー判定会議においては、図に示すような品質評価グラフをよく利用します。
これは名前の通り、システム・テストの結果を受けて、新システムの達成品質を評価するものですが、システム・テストの進捗の総合評価に使用されます。
そしてテストの進捗は残テスト件数で表現していきます。
当然、テスト終了日に向けて右肩下がりの線になっていきます(このような線で表したグラフを「バーンタウン・チャート」と呼びます)。
残り件数で進捗を示すことの利点は、「残りを0にする」という目標が明確になることです。
これに加え、障害発生累積件数と未解決障害件数をプロットします。
障害発生累積件数は、新システムのSLOC(ソース・プログラム命令数)から計算できます。
グラフはその目標値(目標障害発生件数)に向かって進みますが、予想上限(+20%)と予想下限(-20%)の間に収まっていなければなりません。
もし上限を超えたなら、新システムの品質が悪いと評価されます。
障害発生件数が少ないのは、良い傾向のように思えるのですが、必ずしもそうではありません。
下限に届かないなら、テスト・シナリオの品質が悪いと評価すべきです。
良いテストが行われなければ、障害は出てこないからです。
目標障害発生件数としては、過去のシステム・テストの実績があればそれを使用すればよいでしょう。
ない場合は、1件/2000命令で計算します。
10万SLOCなら、50件の障害発生が予測されることになるのです。
これは理想的なシステム・テストの進捗を表しているといえます。
一方、図はテストの進捗が思わしくなく、障害解決能力が低い場合です。
残テスト件数が、テスト終了日に向けて0に収束しそうもないことが読み取れます。
未解決障害件数は増加傾向にあります。
この状態を放置していたのでは、予定通りのカットオーバーは望むべくもありません。
システム・テストがうまく進捗している場合には、残テスト件数と障害発生累積件数のグラフが、「X字」を形成します。
このため、品質評価グラフはしばしば「Xチャート」と呼ばれます。