DevTest トレーサは、以下の 4 つのレベルの 1 つ以上でメトリックを生成します。
シミュレータおよびテスト ステップ レベルで作成されるメトリックも、ユーザ設定可能な最大レベル(デフォルトではテスト ケース)に集約されます。 テスト ケースが 2 つのシミュレータで実行され、2 つのテスト ステップが含まれる場合、「Responses Per Interval」メトリックは各シミュレータの各テスト ステップに対して生成されます。 その後、(設定に応じて)値が集約され、各シミュレータの「Responses Per Interval」メトリックが生成されます。 最後に、(設定に応じて)値が再度集約され、テスト ケースの「Responses Per Interval」メトリックが生成されます。 どのメトリックもロールアップできる最高レベルはテスト ケース レベルです。 そのため、以下の表には、DevTest レベルで生成されるメトリックのみを DevTest のレベルと共に示します。
各エージェント レポート間隔(15 秒)における関連するタイプのすべてのイベントからのデータは、以下のように組み合わせられます。
|
メトリック |
レベル |
Source |
|
平均応答時間(ミリ秒) |
テスト ステップ |
すべての「ステップ応答時間」イベント(id 18)の「詳細な説明」値の平均(整数に変換) |
|
間隔ごとの応答数 |
テスト ステップ |
すべての「ステップ応答時間」イベント(id 18)の数 |
|
間隔ごとのエラー数 |
テスト ステップ |
すべての「ステップ エラー」イベント(id 20)の数 |
|
間隔ごとの失敗数 |
テスト ステップ |
すべての「中止」(id 50)および「サイクルの失敗」(id 13)イベントの数。 |
|
テスト実行 |
テスト ケース |
エージェント レポート間隔の最後に実行されているテスト ケースの数。 カウントは「テストの開始」イベント(id 4)ごとに増加し、「テストの終了」イベント(id 5)ごとに減少します。 |
|
実行中仮想ユーザ |
シミュレータ |
エージェント レポート間隔の最後に実行されている仮想ユーザの数。 カウントは「サイクルの開始」イベント(id 11)ごとに増加し、「サイクル終了」イベント(id 24)ごとに減少します。 |
|
Test Runner Errors Per Interval |
DevTest |
すべての「サイクル ランタイム エラー」イベント(id 25)の数 |
|
Staging Errors Per Interval |
DevTest |
すべての「モデル定義エラー」イベント(id 23)の数 |
最初のエラー イベントが検出された場合にのみ、テスト ステップ、シミュレータ、またはテスト ケースの Errors Per Interval メトリックがレポートされます。 Failures Per Interval の場合も同様です。
少数の短いテスト ケースのみが実行された場合、Tests Running および Virtual Users Running メトリックは各エージェント レポート サイクルに対して 0 をレポートし続ける場合があります。 これは開始イベントと終了イベントの両方が同じ 15 秒間に発生し、その間隔の終了時の数が 0 の場合です。
メトリックが集約される場合、低いレベルのメトリックは 1 つのエージェント レポート間隔に作成されます。 集約されたメトリックは、その後の間隔に作成される場合があります。 間隔内で低いレベルとロールアップされたメトリックの値が一致しないときがあります。 この状況は回避不能です。
|
Copyright © 2014 CA Technologies.
All rights reserved.
|
|