Immer wieder werden wir gefragt, wie effektiv unsere Prüfung im Digitalbereich eigentlich ist? Deshalb erklären wir in diesem Beitrag, was und wie wir prüfen und ob sich der Prüf-Aufwand lohnt. Unsere Analyse unternimmt den Versuch zu erklären, wie die IVW zu einem „sauberen“ digitalen Werbeträgermarkt beiträgt.
Von Martin Krieg und Katrin Bögelsack
Immer wieder werden wir gefragt, wie effektiv unsere Prüfung im Digitalbereich eigentlich ist?
Meist ist diese Frage an Ressourcen gebunden und wird so oder so ähnlich von Delegierten oder Mitgliedern formuliert: Seit 2019 wird im Digital-Bereich der IVW ein Tool zur automatischen Erfassung von Auffälligkeiten in den täglichen Nutzungsdaten eingesetzt. Werden seither mehr Mängel in den Angeboten festgestellt? Läuft die Prüfung damit vollständig automatisch ab oder braucht es immer noch „menschliche Prüfer“, die durch ihre kognitive Leistung Mängel in den digitalen Werbeträgern identifizieren?
Unser automatisches Prüf-Tool besteht aus zwei Komponenten: Dem Prüf-Crawler (vergleichbar mit einem „bot“), der tagtäglich zehn Prüf-Requests auf zufällig ausgewählte Seiten unserer rund 1.400 ausgewiesenen Angebote und deren Local-Listen-Einträge schickt, die „korrekt“ zurückkommen müssen. Die zweite Komponente im IVW Prüf-Tool ist ein Automatismus, der die Datenlieferungen des Messdientleister der IVW-Mitglieder, INFONline, vergleicht.
Dazu wird die aktuelle Datenlieferung mit der Datenlieferung zu einem Referenzzeitpunkt (meist minus sieben Tage) vergleichen. Sofern die Abweichungen in einem Toleranz-Korridor liegen, ergibt sich kein Mangel, der beseitigt werden muss. Weicht die Datenlieferung jedoch sehr stark von dem Referenzwert ab, so ist eine genaue Untersuchung auf das Vorliegen eines Mangels vorzunehmen. Somit benötigt es neben der automatischen Identifikation eines z. B. extremen Traffic-Anstiegs auf einer Seite, die menschliche kognitive Prüfung, die analysieren kann, ob der Traffic-Anstieg „real“ zustande gekommen ist (etwa weil ein Ereignis mehr Aufrufe eines Angebots ausgelöst hat) oder ob er auf Manipulation (z. B. durch bewusste oder unbewusste Mehrfach-Messung einer Seite) zurückzuführen sein könnte.
Deshalb benötigt die IVW werktäglich immer ein bis zwei Digital-Prüfer, die die Auffälligkeiten aus dem Prüf-Tool sichten und auf Plausibilität beurteilen und daraufhin einen Mangelbericht anlegen oder eine Sanktion i. S. einer Sperrung der #Ausweisung der Nutzungsdaten aussprechen müssen. Die anderen fünf bis sechs Digitalprüfer, die nicht in die tägliche Prüfung eingebunden sind, sind mit Turnusprüfungen beschäftigt, von denen wir richtliniengemäß zwei pro digitalem Werbeträger pro Jahr durchführen müssen.
Neue Prüfroutine zeigt Wirkung
Bei der Turnusprüfung handelt es sich um eine sehr tief greifende Prüfung, die im Minimum 180 Minuten pro digitalen Werbeträger umfasst und bei der sehr viele Details des Werbeträgers nach einem genau festgelegten Prozess geprüft werden (dazu später mehr). Die tägliche Prüfung mit dem automatisierten Tool hingegen ist eine „Flächenprüfung“ über alle Angebote hinweg, die wenige aber dafür signifikante Veränderungen identifiziert, die einen Mangel darstellen können, der dann wiederum manuell (nach-)geprüft werden muss.
Den positiven Effekt dieser neuen, seit 2019 eingeführten #Prüfroutine sieht man in diesem Schaubild:
In der Zeile „Sanktionen“ sieht man einen Rückgang um 40 Prozent von 2019 auf 2020 – dem ersten Jahr, in dem durchgängig mit dem neuen Prüfprozess geprüft wurde. Dies ist auf die neue Prüfroutine zurückzuführen: Wir identifizieren auf täglicher Basis Mängel schneller, die Angebote bekommen zeitnah eine Rückmeldung und können die Fehler beheben, sodass es zu keiner Sperrung der Monatsdaten kommt.
Noch ein Hinweis zur Zeile „Maßnahmen“ bei unvollständigen Daten: Dieser Mangel, der zu einer Sperrung führt, ist auf die Pflicht zur Messung von potenziell werbeführenden Seiten bei der IVW zurückzuführen. Ein Angebot muss alle seine potenziell werbeführenden Seiten mit dem #Messsystem erfassen. Sind nicht alle potenziell werbeführenden Seiten gemessen, kommt es meist zu einer Mindermessung, die einen zu sanktionierenden Mangel i.S. einer Sperrung darstellt.
Die Statistik legt nun den Schluss nahe, dass wir 2020 immer noch 140 Angebote mit einer Mindermessung aufgrund unvollständiger Messungen auf den werbeführenden Seiten identifiziert haben: Korrekt, aber der wahre Grund liegt darin, dass die Angebote die Prüfung durch die IVW gekündigt haben. Dies ist aber immer nur zum Quartalsende (30.03; 30.06, …) möglich. Viele Angebote bauen jedoch direkt nachdem Sie die IVW-Kündigung ausgesprochen haben, das Messsystem aus ihren Seiten aus, sodass der Messdienstleister der IVW-Mitglieder, die INFOnline GmbH, keinen Traffic mehr liefern kann. Hier werden also überwiegend Angebote erfasst, die das Messsystem vorzeitig aufgrund einer Kündigung ausgebaut haben. Dieser Sachverhalt stellt genau genommen keinen Mangel dar, wird aber von uns als solcher erfasst. Deshalb die Bitte: Wenn ein Digitalangebot bei der IVW gekündigt wird, sollte auch erst kurz vor dem Quartalsabschluss das Messsystem ausgebaut werden.
Was überprüfen nun genau die Digitalprüfer in Turnusprüfungen?
Die in den Richtlinien festgeschriebenen Turnusprüfungen werden zwei Mal pro Jahr pro Angebot durchgeführt. Das Digitalangebot wird nicht darüber informiert, wann eine Turnusprüfung ansteht. Unser Prüf-Tool wählt nach einem Zufallsprinzip Angebote aus, die dann von den Prüfern geprüft werden. Somit vermeiden wir, dass ein Angebot immer vom selben Prüfer geprüft wird, der dann ggf. immer denselben Mangel im Rahmen der stichprobenartigen Prüfung „übersieht.“ Dies ist ein Bestandteil neben vielen anderen unserer internen Qualitätssicherungsroutinen bei der Prüfung.
Bei einer Turnusprüfung werden die Mängel identifiziert, die bei der „Flächenprüfung“ mittels unseres automatisierten Tools nicht entdeckt werden können. Wir sprechen daher bei der TP auch von „Sicht- oder Tiefenprüfungen“, bei denen die Prüfer nach einem festgelegten Plan intensiv neuralgische Stellen für Mängel bei den Angeboten prüfen (Playermessung, Kategoriensystem, Scrollen etc.).
Es dürfte klar sein, dass aufgrund des Wissens bei den Angeboten, dass die IVW zwei Mal pro Jahr als „watch dog“ über das Angebot geht, viele Mängel oder bewusste Manipulationen verhindert werden. Die Angebote laufen ständig Gefahr, „erwischt“ zu werden.
Nach diesen Ausführungen, wie effektiv die IVW auf prozessualer Ebene prüft, nun der Blick darauf, wie effektiv diese Prüfung quantitativ ist – sprich wie viel fehlerhaften Traffic wir mit diesen Prozessen identifizieren. Verbunden mit der Frage:
Lohnt sich der Aufwand überhaupt?
Mithilfe der Prüf-Tools und der manuellen Sichtung werden viele Mängel identifiziert, die zu Sanktionen oder Maßnahmen führen. Wir schaffen es aber nicht immer bei der Entdeckung eines Mangels, diesen über das gesamte Angebot hinweg zu überprüfen. Also den Mangel systematisch über alle Seiten eines digitalen Werbeträgers nachzuverfolgen bzw. nachzuweisen, denn dies würde bei großen Angeboten einen ungerechtfertigten zeitlichen Aufwand darstellen. Wenn ein gravierender Mangel einmalig auftritt reicht es aus, dass das gesamte Angebot gesperrt wird und dessen Nutzungsdaten damit nicht mehr IVW-ausgewiesen sind. Um die Effektivität unserer Prüfung „lückenlos“ nachweisen zu können, müssten wir eigentlich folgende Schritte durchführen:
- Auf dem Angebot alle Seiten prüfen, wo dieser Mangel ebenfalls auftritt. Gehen wir bspw. von einer Mehrfachmessung auf einer Seite im Ressort Sport aus, müsste geprüft werden, ob sich der Mangel für das ganze Ressort systematisch durchzieht und ob weitere Seiten betroffen sind. Bei großen Angeboten können dies bis zu 40.000 Seiten sein, die geprüft werden müssten. Die IVW verhängt die Sperrung unabhängig davon, wie viele Seiten mangelhaft sind. Sobald eine Seite im Angebot nicht richtlinienkonform ist und ein bestimmter Prozentsatz der Monatsdaten oder Tagesdaten absehbar fehlerhaft wäre, wird das ganze Angebot gesperrt. Diese quantitative Effektivität ist nur begrenzt einschätzbar oder in den Daten einsehbar. Es stellt sich somit aber die interessante Frage, wie viel fehlerhaften Traffic wir mit der Identifizierung und Sperrung aus dem „Verkehr gezogen“ haben.
- Zudem müssten wir, wenn das Angebot gesperrt ist, was ja an jedem x-beliebigen Tag des Monats passieren könnte, prognostizieren, in welcher Höhe und für wie viele Tage der Traffic fehlerhaft in die Monatsdaten eingeflossen wäre, um die Aussage treffen zu können: „Unsere Prüfung hat für Kunden und Agenturen so viel fehlerhaften Traffic verhindert.“
Es wird deutlich: Die genaue Bestimmung ist sehr aufwendig und auch mit viel Wahrscheinlichkeit verbunden. Vielleicht führen wir irgendwann einmal eine solche Analyse für zwei bis drei Fälle durch. In der Fläche werden wir aber ein solches – wenn auch wünschenswertes – Ergebnis zu unserer Prüf-Effektivität nicht liefern können.
Daher behelfen wir uns mit folgender Analyse:
Wir vergleichen den vom Messdienstleister der IVW-Mitglieder, INFOnline, gelieferten Traffic (in den Tabellen und Schaubildern als NDR = Nutzungsdatenreport) mit dem von uns ausgewiesenen Traffic (in den Tabellen und Schaubildern als XML = Traffic, der über unsere XML-Schnittstelle veröffentlicht wird und den Sie als Service auch für Ihre BusinessIntelligence- und Datenvisualisierungs-Tools bei uns buchen können).
Auf den ersten Blick sieht es in der grafischen Visualisierung so aus, als ob der Input ab August 2020 dem Output entspricht, die IVW also kaum oder nur sehr geringen fehlerhaften Traffic identifiziert:
Die stärkere Abweichung bei den PIs bis August 2020 resultiert aus den „Nichtausweisern“, die es bis zu diesem Zeitpunkt in der IVW gab. Prinzipiell haben Angebote immer noch das Recht, die Ausweisung ihrer Nutzungsdaten zu verhindern, aktuell nimmt aber keines der ca. 1.400 diese Möglichkeit war – alle IVW-Angebote werden ausgewiesen.
Schaut man sich die Datenlieferung im Vergleich zur Ausweisung auf Monatsebene an, wird das Bild „kaum fehlerhafter Traffic“ relativiert:
Wie ist die Tabelle zu lesen, vor allem, wie sind die letzten beiden Spalten zu interpretieren?
Die Spalte „Differenzen PI und V“ sind bereits erklärt: Das ist der Unterschied zwischen Lieferung und Ausweisung. Die Spalte „Sperrungen“ erklärt sich von selbst. So viele Angebote waren pro Monat gesperrt. Allerdings – Sie erinnern sich an die eingangs gezeigte Prüfstatistik – gibt es in der IVW zwei Gründe, weshalb Sperrungen verhängt werden:
- Das Angebot war nicht richtlinienkonform oder
- das Angebot hatte eine Mindermessung oder „NULL-PI“, weil das Mitglied aufgrund einer Kündigung der IVW-Prüfung bereits das Messsystem ausgebaut hat.
Spannend für die Analyse sind also die Angebote, die wegen eines „echten“ Mangels gesperrt waren: Also Sperrungen – (minus) NULL-PI. Die Anzahl der aufgrund von „echten“ Mängeln Gesperrten schwankt von Monat zu Monat.
Es handelt sich hier um einen Screenshot eines IVW-internen Dashboards in PowerBI, welches wir für #Qualitätssicherungsmaßnahmen bei der Prüfung verwenden.
Was man aus der Tabelle auch ablesen kann: Immer zu den Quartalsenden (September, Dezember, März, Juni) steigen die NULL-PI-Sperrungen an: Eine Folge des zu früh ausgebauten Messsystems, ehe das Angebot ordnungsgemäß aus der Ausweisung „entlassen“ wird, weil es gekündigt hat.
Ohne diese Rechnungen auf die Spitze treiben zu wollen unser Fazit:
Für eine exemplarische Analyse bieten sich Januar und Februar 2021 an, weil hier jeweils ein Angebot aufgrund eines „echten“ Mangels gesperrt wurde.
Im Januar 2021 wurde ein Angebot bei der Monatsausweisung mit 212.000 PI gesperrt.
Geht man von bspw. 12 €/TKP aus, haben wir in diesem Monat Traffic bzw. AdImpressions mit einem Gegenwert von 2.546 € gesperrt. Bitte immer beachten: Die Analyse ist sehr vereinfacht: Es wird immer der komplette Monats-Traffic gesperrt, ob dieser jedoch komplett mangelhaft war oder nur eine Seite mit einem Bruchteil an AdImpressions, wird hier nicht betrachtet. Aber das Angebot steht in dem Monat auf unserer „Prangerliste“ als nicht ausgewiesen wegen Fehlern und Kunden und Agenturen können nachvollziehen, dass es bei Buchungen auf diesem Angebot zu Unregelmäßigkeiten gekommen sein kann.
Man kann nun zurecht sagen: Ziemlich viel Aufwand (sechs Prüfer), um im worst case 2.500 € Fehlauslieferung von Inventar zu entdecken.
Schauen wir aber nun den Folgemonat Februar 2021 ergibt sich Folgendes: ebenfalls ein Angebot jedoch mit 112 Mio. PageImpression bei einem TKP von 12 € = 1.339.091 €.
In dem Fall würde man zurecht sagen: Ziemlich effektiv diese IVW Digital mit dem Monatsgehalt von sechs Prüfern 1,3 Mio. € ggf. falsch abgerechnete AdSpendings zu verhindern: Respekt, das lohnt sich!
Ohne diese Rechnungen auf die Spitze treiben zu wollen und das Jahresmittel heranzuziehen, um näherungsweise belegen zu wollen, wie effektiv die IVW gemessen in Euro in verhinderten fehlallokierten Werbespendings ist, unser Fazit:
Das Entdeckungspotenzial der IVW Digital schwankt. Aber allein die Tatsache, dass es uns gibt und wir tagtäglich versuchen, die „schwarzen Schafe“ zu „erwischen“ bzw. Fehler aus dem Markt zu räumen, sorgt vermutlich dafür, dass der digitale Werbeträgermarkt so „sauber“ ist, wie er sich in dieser Analyse zeigt. Unsere Tätigkeiten geben den Anbietern von digitalen Werbeträgern ein sicheres Gefühl, dass das eigene Angebot, aber auch das der anderen korrekt gemessen ist.
Wir denken, diese Sicherheit sollten wir dem Werbemarkt wert sein!
