Schreiben von Testfällen: Unterschied zwischen den Versionen
| Zeile 18: | Zeile 18: | ||
Ein Testfall der genau eine zugesicherte Eigenschaft überprüft hat genau zwei relevante Ausführungsstatus (a. ''Die zugesicherte Eigenschaft wurde nachgewiesen'', b. ''Die zugesicherte Eigenschaft muss nachgewiesen werden'') und drei mögliche Ausführungsergebnisse (a. Die Ausführung weist das Vorhandensein der zugesicherten Eigenschaft zum Zeitpunkt der Ausführung nach, b. Die Ausführung weist das Fehlen der zugesicherten Eigenschaft zum Zeitpunkt der Ausführung nach, c. Die Ergebnis der Ausführung ist nicht konkludent).<br> | Ein Testfall der genau eine zugesicherte Eigenschaft überprüft hat genau zwei relevante Ausführungsstatus (a. ''Die zugesicherte Eigenschaft wurde nachgewiesen'', b. ''Die zugesicherte Eigenschaft muss nachgewiesen werden'') und drei mögliche Ausführungsergebnisse (a. Die Ausführung weist das Vorhandensein der zugesicherten Eigenschaft zum Zeitpunkt der Ausführung nach, b. Die Ausführung weist das Fehlen der zugesicherten Eigenschaft zum Zeitpunkt der Ausführung nach, c. Die Ergebnis der Ausführung ist nicht konkludent).<br> | ||
<br> | <br> | ||
| − | Die Grundidee des Ausführungsstatus ist einfach. Entweder '''ist''' die zugesicherte Eigenschaft nachgewiesen. Andernfalls '''muss''' sie nachgewiesen werden, denn es handelt sich ja um eine zugesicherte Eigenschaft. Dabei ist der Ausführungsstatus eines Testfalls initial ''Die zugesicherte Eigenschaft muss nachgewiesen werden''. Wurde der Testfall mit dem Ergebnis ''Die Ausführung weist das Vorhandensein der zugesicherten Eigenschaft zum Zeitpunkt der Ausführung nach'' ausgeführt, ändert sich der Ausführungsstatus des Testfalls zu ''''Die zugesicherte Eigenschaft wurde nachgewiesen''. Der Ausführungsstatus wechselt zurück in ''Die zugesicherte Eigenschaft muss nachgewiesen werden'', wenn ein Ereignis den Nachweis ungültig werden lässt. Ein solches Ereignis könnte eine Veränderung der Software sein (ein neues Release z. B.) oder auch die Erkenntnis, dass der Nachweis ungenügend war (bespielweise zeigt sich in der Anwendung, dass die zugesicherte Eigenschaft unter bestimmten Bedingungen, die im Testfall nicht berücksichtigt waren, nicht vorhanden ist) | + | Die Grundidee des Ausführungsstatus ist einfach. Entweder '''ist''' die zugesicherte Eigenschaft nachgewiesen. Andernfalls '''muss''' sie nachgewiesen werden, denn es handelt sich ja um eine zugesicherte Eigenschaft. Dabei ist der Ausführungsstatus eines Testfalls initial ''Die zugesicherte Eigenschaft muss nachgewiesen werden''. Wurde der Testfall mit dem Ergebnis ''Die Ausführung weist das Vorhandensein der zugesicherten Eigenschaft zum Zeitpunkt der Ausführung nach'' ausgeführt, ändert sich der Ausführungsstatus des Testfalls zu ''''Die zugesicherte Eigenschaft wurde nachgewiesen''. Der Ausführungsstatus wechselt zurück in ''Die zugesicherte Eigenschaft muss nachgewiesen werden'', wenn ein Ereignis den Nachweis ungültig werden lässt. Ein solches Ereignis könnte eine Veränderung der Software sein (ein neues Release z. B.) oder auch die Erkenntnis, dass der Nachweis ungenügend war (bespielweise zeigt sich in der Anwendung, dass die zugesicherte Eigenschaft unter bestimmten Bedingungen, die im Testfall nicht berücksichtigt waren, nicht vorhanden ist). Unser Tipp ist: Implementieren Sie nicht nur eine "grün/rot" Ampel. Viele Projekte führen Testfälle als 'passed' oder 'failed', berücksichtigen aber nicht, ob der Status 'passed' zum Zeitpunkt der Draufsicht noch valide ist. So kommt es täglich tausendfach vor, dass Computer-Systeme fehlerhaft arbeiten, obwohl Testfälle für das betreffende System vorhanden und ausgeführt waren und den Fehler hätten finden können.<br> |
| + | <br> | ||
Version vom 6. August 2016, 12:13 Uhr
Das Schreiben von Testfällen ist eine meist unterschätzte Herausforderung, die noch bedeutend größer wird, wenn die Testfälle geeignet sein sollen um automatisiert zu werden.
Diese Seite hat sich nicht zum Ziel gesetzt, die vielen Bücher und Fachartikel über das Schreiben von Testfällen zu ersetzen. Und schon gar nicht möchte diese Seite Stellung in den vielen vielen, zum Teil erbittert geführten Kämpfen um wichtige Fragen nach bspw. der Abgrenzung zwischen abstrakten und konkreten Testfällen oder nach angewandter Methodik vs. reiner Lehre, beziehen.
Was dieser Artikel möchte, ist auf die wesentliche Literatur zu verweisen und dazu ein paar einfache Wege aufzuzeigen, wie Testautomatisierung funktioniert. Beginnen wir also am Anfang. Auch wenn Sie den Eindruck haben, dass Sie über viel KnowHow verfügen: Lesen Sie mit uns den Grundlagenartikel über Testfälle.
Inhaltsverzeichnis
Requirements / zugesicherte Eigenschaften
Gleich im ersten Satz des Grundlagenartikels steht etwas Elementares: Ein Testfall dient der Überprüfung einer zugesicherten Eigenschaft. Und dies ist einer der wertvollsten Tipps, die wir Ihnen geben können. Schreiben Sie Testfälle, die genau eine zugesicherte Eigenschaft Ihres System überprüfen. Da zugesicherte Eigenschaften in IT Projekten erstaunlich oft Mangelware sind, werden von manchen Testexperten lange Testfallketten, die z. B. die wichtigsten 100 Geschäftsprozesse durchlaufen, als Lösung angeboten. Die dahinter steckende Idee ist, dass Ihr System schon eine vertretbare Qualität haben muss, wenn die 100 wichtigsten Prozesse problemlos durchlaufen. Bei näherer Draufsicht hat dieses Vorgehen aber ein paar Schönheitsfehler: Wer kann denn festlegen, dass ein Totalversagen des 101ten Prozesses nicht ebenfalls katastrophale Folgen für das Unternehmen haben wird? Und wenn keine zugesicherten Eigenschaften bekannt sind, wie prüfe ich dann, ob meine 100 Prozesse wirklich das gewünschte Ergebnis hatten. Nur weil die Prozesse ohne Fehlermeldung durchgelaufen sind und ggf. ihre primären geschäftlichen Ziele erreicht wurden, heißt das nicht, dass alle Eigenschaften, die das System bei der Abarbeitung diese Prozesse hätte zeigen müssen, auch korrekt vorhanden waren. Ein plastisches Beispiel: Einer der 100 wichtigsten Prozesse einer Retail-Bank wird vermutlich der Transfer von Geld zwischen Konto in Form einer Überweisung sein. Also ein Testfall entwickelt, der eine Überweisung ausführt. Nach der Ausführung ist der Saldo des Auftraggeberkontos um den Überweisungsbetrag niedriger und der Saldo des Empfängerkontos um den Überweisungsbetrag höher, als vor dem Test. Das primäre geschäftliche Ziel wurde ohne Fehler erreicht. Aber: zu den zugesicherten Eigenschaften gehören sicher auch Dinge wie eine Autorisierung (nicht jeder darf Geld von jedem Konto überweisen), eine Prüfung der Limite (wir der Dispo richtig berücksichtigt?), eine lückenlose Dokumentation der Transaktion (kann die Zahlung nachverfolgt werden?). Sie sehen, wenn die zugesicherten Eigenschaften nicht Bestandteil der Überprüfung des Testergebnisses sind, sagt die Ausführung fast nichts über die Qualität des Testobjektes aus. Ein Test sollte nicht nur feststellen, dass da irgendetwas irgendwie läuft, sondern dass etwas Konkretes genau so läuft, wie gefordert. Und wenn Sie keine zugesicherten Eigenschaften haben? Dann nehmen Sie die Quellen die Ihnen zur Verfügung stehen, das System und Ihre analytischen Fähigkeiten und formulieren Sie zugesicherte Eigenschaften in Form von Axiomen ("Bei einer ausgehenden Überweisung muss das System prüfen, ob der Überweisungsbetrag kleiner gleich der Summe aus Saldo + Dispo + Geduldeter Überziehung (10% des Dispos) ist. Ist der Überweisungsbetrag kleiner gleich, wird die Überweisung ausgeführt. Ist der Überweisungsbetrag größer, wird die Überweisung zur manuellen Freigabe in die Nachbearbeitung gegeben."). Dazu können Sie Testfälle schreiben. Und die Grundlage Ihrer Tests kann überprüft und ggf. korrigiert werden.
Formale Anforderungen an Testfälle
Es gibt nur wenige Bereiche, in denen so viel formalisiert wird, wie beim Schreiben von Testfällen. Viele Unternehmen versuchen die Qualität Ihrer Testfälle durch den Einsatz umfangreicher Formulare, die wie ein Testfallautorenkorsett wirken sollen, zu gewährleisten. Aber auch wenn Formulare sicher geeignet sind um eine Gleichförmigkeit zu gewährleisten: Die Formalien, die einen Testfall robust und aussagekräftig machen, sind durch ein Formular oft nicht erreichbar. Hier ein paar ganz einfache Tipps:
Klarheit und Verständlichkeit
Vollständigkeit
Entkopplung und Abgeschlossenheit
Eindeutigkeit
Ein Testfall der genau eine zugesicherte Eigenschaft überprüft hat genau zwei relevante Ausführungsstatus (a. Die zugesicherte Eigenschaft wurde nachgewiesen, b. Die zugesicherte Eigenschaft muss nachgewiesen werden) und drei mögliche Ausführungsergebnisse (a. Die Ausführung weist das Vorhandensein der zugesicherten Eigenschaft zum Zeitpunkt der Ausführung nach, b. Die Ausführung weist das Fehlen der zugesicherten Eigenschaft zum Zeitpunkt der Ausführung nach, c. Die Ergebnis der Ausführung ist nicht konkludent).
Die Grundidee des Ausführungsstatus ist einfach. Entweder ist die zugesicherte Eigenschaft nachgewiesen. Andernfalls muss sie nachgewiesen werden, denn es handelt sich ja um eine zugesicherte Eigenschaft. Dabei ist der Ausführungsstatus eines Testfalls initial Die zugesicherte Eigenschaft muss nachgewiesen werden. Wurde der Testfall mit dem Ergebnis Die Ausführung weist das Vorhandensein der zugesicherten Eigenschaft zum Zeitpunkt der Ausführung nach ausgeführt, ändert sich der Ausführungsstatus des Testfalls zu ''Die zugesicherte Eigenschaft wurde nachgewiesen. Der Ausführungsstatus wechselt zurück in Die zugesicherte Eigenschaft muss nachgewiesen werden, wenn ein Ereignis den Nachweis ungültig werden lässt. Ein solches Ereignis könnte eine Veränderung der Software sein (ein neues Release z. B.) oder auch die Erkenntnis, dass der Nachweis ungenügend war (bespielweise zeigt sich in der Anwendung, dass die zugesicherte Eigenschaft unter bestimmten Bedingungen, die im Testfall nicht berücksichtigt waren, nicht vorhanden ist). Unser Tipp ist: Implementieren Sie nicht nur eine "grün/rot" Ampel. Viele Projekte führen Testfälle als 'passed' oder 'failed', berücksichtigen aber nicht, ob der Status 'passed' zum Zeitpunkt der Draufsicht noch valide ist. So kommt es täglich tausendfach vor, dass Computer-Systeme fehlerhaft arbeiten, obwohl Testfälle für das betreffende System vorhanden und ausgeführt waren und den Fehler hätten finden können.