mitmario.dev

Was man testet und was nicht

PHP Sandbox 4 Min Lesezeit 3 BeispieleLektion 5 von 6

Der erste Lauf ist grün, und schon liegt der Gedanke nahe, jetzt einfach alles zu testen. Nur läuft eine Sammlung, die zu groß wird, langsam und bricht bei jeder Umbenennung. Irgendwann schaltet sie dann jemand ab.

Ein Test zu einem gemeldeten Fehler

Ob sich ein Test lohnt, hängt daran, welcher Fehler an ihm auffallen würde. Am deutlichsten ist das bei einem Fehler, den schon jemand gemeldet hat.

Ein Test, der einen echten Fehler festhält
<?php

declare(strict_types=1);

use App\Versand;
use PHPUnit\Framework\TestCase;

final class VersandTest extends TestCase
{
    public function testUnterFuenfzigKostetDerVersand(): void
    {
        $this->assertSame(495, Versand::kosten(4999));
    }

    public function testUeberFuenfzigIstErFrei(): void
    {
        $this->assertSame(0, Versand::kosten(8000));
    }

    public function testAnDerGrenzeIstErSchonFrei(): void
    {
        // Genau 50 Euro. Das ist der Fall, den die Kundin gemeldet hat.
        $this->assertSame(0, Versand::kosten(5000));
    }
}

Ab 50 Euro ist der Versand frei, so steht es in der Regel. Im Code steht > statt >=, und damit zahlt ausgerechnet die Kundin mit exakt 50 Euro noch 4,95 Euro. Zwei der drei Tests sind grün, der dritte ist rot und meldet Failed asserting that 495 is identical to 0., also 495 Cent Versand, wo 0 stehen sollte. Zeichnest du mit src/Versand.php vorn auf, stehen im Reiter Debug die drei Aufrufe in derselben Zeile. summe hat erst 4999, dann 8000, dann 5000 Cent, und beim dritten Mal sagt das > nein.

Derselbe Test nach der Behebung
<?php

declare(strict_types=1);

use App\Versand;
use PHPUnit\Framework\TestCase;

final class VersandTest extends TestCase
{
    public function testUnterFuenfzigKostetDerVersand(): void
    {
        $this->assertSame(495, Versand::kosten(4999));
    }

    public function testUeberFuenfzigIstErFrei(): void
    {
        $this->assertSame(0, Versand::kosten(8000));
    }

    public function testAnDerGrenzeIstErSchonFrei(): void
    {
        // Genau 50 Euro. Das ist der Fall, den die Kundin gemeldet hat.
        $this->assertSame(0, Versand::kosten(5000));
    }
}

Mit >= statt > sind alle drei grün, und der dritte Test bleibt stehen. Kippt in einem halben Jahr jemand beim Arbeiten an der Versandregel die Grenze wieder, merkt er es beim nächsten Lauf.

Wo einmal ein Fehler passiert ist, liegt eine Stelle, die man leicht missversteht. Ich schreibe zu jedem gemeldeten Fehler zuerst den Test, der ihn festhält, und sehe ihn rot, bevor ich den Fehler behebe. Im Beispiel war das erst ..F und dann .... Erst am roten Lauf siehst du, dass der dritte Test die Grenze wirklich prüft.

Wo Tests sich lohnen

  • Rechnungen, also alles mit Geld, Mengen, Prozenten und Steuern. Fehler sind hier teuer und fallen spät auf.
  • Regeln, etwa wer was darf, ab wann welcher Preis gilt oder welcher Status auf welchen folgt. Das ist der Teil deiner Anwendung, den es nur bei dir gibt.
  • Grenzfälle wie exakt 50 Euro, der leere Korb, der letzte Tag im Monat oder null Treffer. An der Grenze einer Regel gehen > und >= auseinander, in ihrer Mitte nicht.
  • Alles, was schon einmal kaputt war, wie oben die Versandgrenze.

Wo sie wenig bringen

Drei Tests, die nichts beweisen
<?php

declare(strict_types=1);

use App\Kunde;
use App\Versand;
use PHPUnit\Framework\TestCase;

final class OhneWertTest extends TestCase
{
    public function testDerGetterGibtZurueckWasHineingegebenWurde(): void
    {
        // Prueft, dass PHP eine Eigenschaft speichern kann.
        $this->assertSame("Mia", (new Kunde("Mia"))->name());
    }

    public function testStrtolowerMachtKleinbuchstaben(): void
    {
        // Prueft die Standardbibliothek von PHP, nicht diesen Code.
        $this->assertSame("mia", strtolower("MIA"));
    }

    public function testRuftNurAufUndBehauptetNichts(): void
    {
        // Laeuft durch, prueft aber nichts. PHPUnit nennt diesen Test
        // deshalb riskant.
        Versand::kosten(6000);
    }
}

Die drei Tests im Beispiel sehen nützlich aus:

  • Der erste prüft einen Getter, der nur zurückgibt, was hineingegeben wurde. Er kann gar nicht fehlschlagen, solange PHP funktioniert.
  • Der zweite prüft strtolower() und damit die Standardbibliothek. Fremder Code hat seine eigenen Tests, und wo er keine hat, ändert ein Test in deinem Projekt daran nichts.
  • Der dritte ruft nur auf und behauptet nichts. PHPUnit macht aus seinem Punkt ein R für riskant und schreibt This test did not perform any assertions darunter, „dieser Test hat nichts behauptet“. Am Ende steht trotzdem OK, but there were issues!, und der Lauf endet mit dem Exit-Code 0, als wäre alles bestanden. Mit --fail-on-risky endet derselbe Lauf mit 1.

Tests für Vorlagen sind selten die Mühe wert. Wo im HTML ein <li> steht, ändert sich bei jeder Gestaltungsrunde. Ein Test darauf reißt ständig, ohne dass ein Fehler dahintersteckt, und nach dem fünften Mal nimmt ihn niemand mehr ernst, wenn er rot wird.

Was die Testabdeckung misst

Die Testabdeckung (englisch code coverage) ist der Anteil der ausführbaren Zeilen deines Codes, die beim Testlauf ausgeführt wurden. PHPUnit misst sie mit --coverage-text und braucht dafür zwei Dinge. Eine Erweiterung wie Xdebug oder PCOV und in der phpunit.xml einen Abschnitt <source>, in dem der Ordner steht, der zählen soll. In der Sandbox fehlt schon die Erweiterung, und der Lauf meldet dort No code coverage driver available. Mit Erweiterung, aber ohne <source> stünde dort No filter is configured, code coverage will not be processed.

Den dritten Test oben rechnet PHPUnit dabei nicht mit, denn was ein riskanter Test ausführt, gilt nicht als abgedeckt. Steht hinter dem Aufruf aber ein assertTrue(true), ist der Test nicht mehr riskant. Dann zählt die Zeile in Versand als abgedeckt, obwohl niemand ihr Ergebnis angesehen hat.

Steht unter den nicht abgedeckten Zeilen die Rabattrechnung, weißt du, wo ein Test fehlt. Welche Zeilen das sind, zeigt --coverage-html als Seite, --coverage-text nennt nur den Anteil je Klasse. Als Ziel eignet sich die Abdeckung aber nicht. Eine Vorgabe von 90 Prozent bringt Tests hervor, die nur aufrufen und pro forma etwas behaupten, und solche Tests täuschen eine Sicherheit vor, die es nicht gibt.

In der Aufgabe bekommst du eine fertige Rabatt-Klasse in Cent und Platz für vier Tests.

Zum Mitnehmen

Am meisten bringt ein Test zu einem Fehler, der schon einmal gemeldet wurde, und nichts einer, der nicht reißen kann. Die Testabdeckung zählt gelaufene Zeilen und keine richtigen.

Jetzt du

Basis Konto, kostenlos

Zu dieser Lektion gehört eine Aufgabe. Du schreibst den Code selbst, und nach jedem Lauf sagt dir eine Prüfliste, was schon stimmt.

Dafür brauchst du das Basis Konto. Es kostet nichts, und ein Passwort gibt es auch nicht.

In diesem Kurs läuft dein Code auf einem Server. Dafür hat das Basis Konto 1 Stunde im Monat, mehr Zeit gibt es mit dem Premium Konto.

Was in dieser Lektion steckt

  • Artikel mit 3 Beispielen zum Ausprobieren

    Steht hier, ohne Konto lesbar.

  • Aufgabe, dein Code läuft auf einem Server

    Öffnet sich mit dem Basis Konto.