Durch Tests möchten wir Fehler finden, bevor diese in Produktion gelangen. Leider gelingt das nicht immer. Studien zeigen, dass die meisten Feldfehler dort auftreten, wo viel geändert, aber wenig getestet wurde. Seit 2012 setzen wir deshalb mit unseren Kunden Test-Gap-Analyse ein, wodurch solche ungetesteten Änderungen bereits während der Entwicklung vollautomatisch identifiziert werden, damit Entwickler und Tester frühzeitig und kontinuierlich reagieren können.

In unserem Vortrag stellen wir zunächst kurz die Grundlagen der Test-Gap-Analyse und die benötigten Datenquellen vor. Anschließend diskutieren wir verschiedene Anwendungsszenarien, die sich im Laufe der Zeit aus den Anforderungen unserer Kunden ergeben haben.

Die Bandbreite reicht dabei von Test-Gap-Analyse für automatisierte Unit-Tests einzelner Systemkomponenten bis zu automatisierten oder manuellen End-to-End-Tests, die mehrere unabhängige Systeme in verschiedenen Technologien durchlaufen. Wir sprechen sowohl über die Anwendung von Test-Gap-Analyse durch Test-Manager, die einen Überblick auf Systemebene brauchen, als auch durch Tester und Entwickler, die effizient die Test-Gaps für einzelne Change Requests analysieren wollen.

Im zweiten Teil des Vortrags stellen wir Herausforderungen bei der Einführung der Test-Gap-Analyse vor. Beispielsweise ist in Embedded-Umgebungen die Aufzeichnung von Testabdeckung oft nicht ohne Weiteres möglich, und die neuen Deployment-Paradigmen aus dem Microservice- und Docker-Umfeld erfordern neue Strategien zum Einsammeln und Aggregieren der Testdaten.

Nach mehrjährigem Einsatz der Test-Gap-Analyse bei einigen Kunden können wir zudem erstmals den intuitiv wahrgenommenen Nutzen mit konkreten Zahlen untermauern. So konnten Projekte, die die Analyse kontinuierlich nutzen, die Anzahl der Fehler in Produktion um über 20% reduzieren. Mit einer Analyse dieser Erkenntnisse beschließen wir unseren Vortrag.