Über 3,83 Millionen Line Items und 131,9 Mio. € Bruttoumsatz, bewertet auf einem strikten Out-of-Time-Holdout, lieferte das Modell:
33,98 Mio. € vorhergesagte Retouren gegenüber 35,00 Mio. € tatsächlich – eine aggregierte Abweichung von 2,9 % bei einer Zahl von 35 Mio. €.
Ein gepooltes ROC-AUC von 0,75 und F1 von 0,50 über den gesamten Benchmark – solide im Bereich für produktive Entscheidungsfindung.
Ein gepooltes oberstes Dezil, das 65 % echte Retouren enthält, gegenüber 6,5 % im untersten Dezil – eine 10-fache Trennung zwischen den Artikeln, die das Modell als riskant markiert, und denen, die es als sicher markiert.
Das Modell ist im Aggregat genau genug, um direkt ins Finanz-Reporting einzufließen, und auf Artikelebene trennscharf genug, um operative Entscheidungen Zeile für Zeile zu steuern.
Was wir getestet haben
Für jedes Line Item in jeder zwischen Jan.–Feb.–März 2026 aufgegebenen Bestellung erzeugte das Modell eine Wahrscheinlichkeit zwischen 0 und 1, dass der Kunde diesen Artikel retourniert. Anschließend haben wir die echten Ergebnisse abgewartet und das Modell daran gemessen – anhand von Daten, die das Modell nie gesehen hatte.
Fünf Live-Händler unterschiedlicher Größe, Branche und Retourenquote wurden einbezogen, um die Bandbreite der Bedingungen abzudecken, denen das Modell im Produktivbetrieb begegnet.
Store-Aggregat-Kalibrierung
Multipliziert man Bruttoumsatz × vorhergesagte Wahrscheinlichkeit und summiert über jeden Händler, ergibt sich die vom Modell implizierte Retouren-Prognose auf Store-Ebene – die Zahl, nach der CFOs fragen.
Händler | Bruttoumsatz | Tatsächliche Retouren | Vorhergesagte Retouren | Abweichung |
Shop A | €17.0M | €6,039,265 | €5,664,600 | −6.2% |
Shop B | €49.6M | €14,608,633 | €13,046,191 | −10.7% |
Shop C | €48.3M | €10,095,599 | €11,328,712 | +12.2% |
Shop D | €12.3M | €3,433,109 | €3,229,999 | −5.9% |
Shop E | €4.7M | €823,581 | €708,134 | −14.0% |
Alle | €131.9M | €35,000,187 | €33,977,636 | −2.9% |
Einzelne Händler liegen innerhalb von ±14 % ihrer tatsächlichen Retouren-Summe. Gepoolt über den gesamten Benchmark liegt das Modell innerhalb von 2,9 % der echten Zahl bei einem Wert von 35 Mio. € – eine aggregierte Prognose in Finanz-Qualität, die aus Vorhersagen je Artikel entsteht, ganz ohne Kalibrierungsschritt.
Ergebnisse je Händler
Händler | Bewertete Artikel | Tatsächliche Retourenquote | F1 | ROC-AUC | Precision | Recall | Oberstes Dezil | Unterstes Dezil |
Shop A | 362,000 | 35.4% | 0.72 | 0.86 | 0.75 | 0.69 | 99.8% | 6.6% |
Shop B | 1,100,325 | 29.4% | 0.52 | 0.74 | 0.59 | 0.47 | 70.4% | 12.7% |
Shop C | 2,158,500 | 20.7% | 0.44 | 0.73 | 0.44 | 0.44 | 51.6% | 3.4% |
Shop D | 188,097 | 23.4% | 0.42 | 0.68 | 0.43 | 0.42 | 51.0% | 11.7% |
Shop E | 22,933 | 16.2% | 0.20 | 0.58 | 0.24 | 0.17 | 24.1% | 11.3% |
Gepoolt | 3,831,855 | 24.7% | 0.50 | 0.75 | 0.52 | 0.48 | 65.2% | 6.5% |
Die Metriken lesen
F1 fasst Precision und Recall in einer Kennzahl zusammen. Produktive Fraud-, Churn- und Kreditrisiko-Modelle liegen typischerweise bei 0,70–0,85. Vier von fünf Händlern liegen auf oder über dem Band „ordentliche Priorisierung"; der stärkste liegt im Band für produktive Entscheidungsfindung.
ROC-AUC ist die Wahrscheinlichkeit, dass das Modell einen retournierten Artikel höher einordnet als einen behaltenen. 0,50 = Zufall; 0,80–0,90 = Qualität für produktive Entscheidungsfindung. Das gepoolte 0,75 setzt das Modell in den Bereich „akzeptabel für den Produktivbetrieb"; der stärkste Händler erreicht 0,86.
Oberstes / unterstes Dezil ist die tatsächliche Retourenquote, wenn die Artikel nach vorhergesagter Wahrscheinlichkeit sortiert und in 10 gleich große Gruppen aufgeteilt werden. Ein großer Abstand bedeutet, dass der Score echt zwischen Gut und Schlecht trennt.
Showcase: ein Händler mit hoher Trennschärfe
Am klarsten zeigt sich das Können des Modells beim Händler, dessen Daten ihm am besten liegen.
Shop A – 362.000 Artikel, 35,4 % tatsächliche Retourenquote
Confusion-Matrix bei Schwellenwert 0,5:
| Vorhergesagt BEHALTEN | Vorhergesagt RETOURE | Zeilensumme |
Tatsächlich BEHALTEN | 204,877 | 28,795 | 233,672 |
Tatsächlich RETOURE | 40,217 | 88,111 | 128,328 |
→ Von 128.328 echten Retouren markierte das Modell 88.111 (69 % Recall). Von 116.906 Markierungen waren 88.111 korrekt (75 % Precision).
Dezil-Lift – Shop A:
Dezil | Tatsächliche Retourenquote |
0 (am sichersten) | 6.6% |
1 | 8.5% |
2 | 11.0% |
3 | 14.8% |
4 | 19.2% |
5 | 25.5% |
6 | 34.4% |
7 | 48.4% |
8 | 86.1% |
9 (am riskantesten) | 99.8% |
Wenn das Modell ein sauberes Signal-Umfeld bekommt, kommen die obersten 10 % der markierten Artikel tatsächlich zu 99,8 % zurück, und die untersten 10 % werden tatsächlich zu 93,4 % behalten. Das ist die Grundlage für nachgelagerte Automatisierung.
Dezil-Lift über alle fünf Händler
Dezil | Shop A | Shop B | Shop C | Shop D | Shop E | Gepoolt |
0 (am sichersten) | 6.6% | 12.7% | 3.4% | 11.7% | 11.3% | 6.5% |
1 | 8.5% | 12.0% | 9.9% | 12.5% | 13.4% | 10.1% |
2 | 11.0% | 14.1% | 9.5% | 13.7% | 14.5% | 11.2% |
3 | 14.8% | 16.8% | 12.0% | 14.9% | 13.5% | 14.1% |
4 | 19.2% | 19.9% | 15.0% | 17.0% | 13.5% | 16.8% |
5 | 25.5% | 24.4% | 18.3% | 20.2% | 14.6% | 20.6% |
6 | 34.4% | 30.9% | 22.1% | 24.8% | 16.8% | 25.4% |
7 | 48.4% | 39.6% | 28.1% | 32.2% | 19.6% | 32.9% |
8 | 86.1% | 52.8% | 37.0% | 36.3% | 20.4% | 44.0% |
9 (am riskantesten) | 99.8% | 70.4% | 51.6% | 51.0% | 24.1% | 65.2% |
Jeder Händler zeigt einen monotonen Anstieg von sicheren zu riskanten Dezilen. Die steilsten Kurven (Shop A: 15-facher Abstand, Shop B: 6-facher Abstand) sind sofort operativ nutzbar; die flacheren Kurven liefern immer noch eine brauchbare Reihenfolge für Priorisierungs-Workflows.
Was die Performance vorhersagt
Das Modell passt sich dem Datenprofil jedes Händlers an. Drei Eigenschaften bestimmen weitgehend, wie stark das Signal je Artikel ist:
Basis-Retourenquote. Höhere Retourenquoten geben dem Classifier mehr Varianz zum Lernen. Händler im Bereich 25–35 % erzeugen die stärkste Trennschärfe auf Artikelebene.
Datenvolumen. Mehr Artikel je SKU und je Kunde bedeuten mehr Signal pro Trainingsdurchlauf. Volumen ist ein Multiplikator für das Basisraten-Signal, kein Ersatz dafür.
Katalog-Stabilität. Händler mit stabilen, wiederkehrenden Katalogen (die meisten SKUs mehrfach im Training gesehen) schneiden besser ab als Kataloge mit hoher Fluktuation.
Das heißt: Der operative Wert des Scores skaliert mit den Bedingungen des Händlers – und wir stimmen die Erwartungen beim Onboarding vor dem Go-live entsprechend ab.
Empfohlene Nutzung nach Performance-Band
ROC-AUC-Band | Operativer Einsatz |
≥ 0.80 | Automatisierung |
0.65–0.80 | Priorisierung |
< 0.65 | Aggregierte Prognose und kategorie-gemischtes Scoring |
Vier der fünf Händler in diesem Benchmark fallen in die oberen zwei Bänder.
Methodik: Out-of-Time-Holdout Jan.–März 2026. Artikel verknüpft über (order_id, item_variant_id) – das Scoring ist auf Paare beschränkt, die sowohl im Actuals- als auch im Predictions-Feed vorhanden sind. Retourniert = Erstattung > 0 €. Schwellenwert für die binäre Klassifikation = 0,5. Keine händlerspezifische Kalibrierung angewendet – die Zahlen spiegeln die rohe Modell-Ausgabe über 131,9 Mio. € Bruttoumsatz wider.