Hartnäckige Werbung

[Pummeluff]

Guten Abend.

Ich hab auf meinem NAS einen dnsmasq laufen. Das fungiert als DHCP- und DNS-Server im Heimnetz.

Im dnsmasq hab ich eine Hostliste mit knapp 50.000 Adservern, die auf die lokale IP umgeleitet werden. Das Ganze funktioniert ziemlich gut.

Leider hab ich seit 2 Tagen bei www.n-tv.de, dass browserübergreifend Werbung angezeigt wird. Läuft mein Smartphone über LTE, ist die Werbung (adaway) weg. Schalt ich Wlan an, ist sie da.

Jetzt hab ich auf Firefox mal uBlock Origin installiert. Damit ist die Werbung weg. Lass ich das Element anzeigen, spuckt mir uBlock Origin die Bilder-URL aus:
https://bilder.n-tv.de/img/22222222-2222222222222/4-3/5X8nuj0/edf54190053bc1ae729e8a43fffd91f6.jpg

Jetzt ist das natürlich kontraproduktiv, die gefundene URL zu blockieren. Vor allem blockieren ja uBlock Origin und Adaway irgendwas anderes. Ich hab auch schon das dnsmasq-Log gefiltert und sämtliche URLs, die da beim Laden der Seite so aufgerufen wurde, blockiert. Hat die Werbung nicht beseitigt.

Deaktivier ich Javascript, sind sowohl die Werbebanner als auch alle anderen Bilder auf der Seite weg.

Wie krieg ich die Adserver-URL raus?

 

[BFF]

Vor allem blockieren ja uBlock Origin und Adaway irgendwas anderes

Nope.
Die blockieren auch URL, weil die IP dahinter ständig wechseln kann.

 

[Piktogramm]

Alle Blocker die nur auf Basis von DNS funktionieren können nur Domainnamen blocken. Der Werbeplattformen wissen das auch und versuchen zunehmend die Domainnamen vom gewünschten Inhalt und der Werbung zu vereinen.
uBlock kann mit komplexeren Regeln arbeiten, weil sowohl der Kontext vom HTML, Javascript und der vollen URL vorliegt.

Und Adaway sollte (im VPN-Modus) ein Log haben, schau doch nach, was Adaway blockiert, wenn du die URL auf dem Telefon aufrufst. Gegebenenfalls schau halt, ob du die Filterlisten von Adaway in deine lokalen DNS-Regeln übernommen bekommst.

 

[Amaoto]

Du könntest mit der Netzwerkanalyse der Entwicklertools im Browser (F12) schauen, was genau geladen, bzw. blockiert wird.
Evtl. suchst du etwas wie addefend-platform.com, aber vielleicht meinst du auch etwas anderes.

 

[TP555]

Hi

Nur 50k Server ?

Ich will ja nix sagen , aber probiere Mal Pi-Hole aus.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Mfg.

 

[Pummeluff]

Pihole finde ich bisher noch etwas zu übertrieben. Ich versuch mal die URLs aus adaway auszulesen.

 

[Pummeluff]

Heute bin ich über das nächste Problem gestolpert:

Auf meinem Arbeitsrechner außerhalb meines Heimnetzes nutz ich Chromium mit uBlock Origin. Als ich mich jetzt bei GMX ausgeloggt hab, erscheint die Commerzbank-Anzeige, die ich auch schon auf n-tv.de hatte. Adresse:
https://i0.gmx.net/image/590/5634563161,pd=1,f=teaser-m/DdBWz8-odd-eures-und-bild.jpeg

Ruft man die Adresse im Browser auf, sieht man nur ein kleines Viereck. Ist vermutlich eine transparente Overlaygrafik.

Ich finde das langsam erschreckend, dass jetzt noch nicht mal uBlock die Werbung mehr rausfiltern kann.

 

[Piktogramm]

Naja zwei Dinge. Die Blocklisten können immer nur reagieren, daher gibt es immer wieder Werbung die durchkommt, wenn das Prinzip der Einbindung neu ist. Zum Anderen hat Chromium wie Chrome die selbe, beschnitte API für Plugins.Wobei das Beschneiden der API allen Anschein nach erfolgt um die Effektivität von Werbeblockern einzuschränken.

 

[Pummeluff]

Hab grad so eine URL gefunden, die mir uBlock ausgegeben hat beim Laden von n-tv.de:
https://a1293.g1.akamai.net/
aliasURL=https://bilder-a.akamaihd.net/ip/js/ipdvdc/blockadblock.min.js?0.07650567505294037&

Ergänzung (3. Mai 2024)

Hmpf, Grmpf.

Ich hab jetzt so ziemlich alle URLs, die mir uBlock ausgegeben hat, in dnsmasq eingepflegt. Die Adressen werden danach schön brav auf die IP meines NAS aufgeflöst. Die Werbung kommt trotzdem noch durch.

 

[Pummeluff]

Hab mich jetzt mal hingesetzt und meine Update-Skripte umgestellt. Bin jetzt wieder werbefrei.

Als Liste hab ich die Unified Hosts von Steven Black hergenommen.

Falls jemand die Update-Skripte irgendwie verwerten will:

Spoiler: update-unbound-adblock

#!/bin/bash
#
# Usage: update_adhosts [IP]
# IP is optional, Default is 127.0.0.1 localhost
#
# alt: curl -sS -L --compressed "http://pgl.yoyo.org/adservers/serverlist.php?hostformat=unbound&showintro=0&mimetype=plaintext&useip=127.0.0.1" >> $CONFDIR/hosts-ad.conf
#
URL_BLACK="https://raw.githubusercontent.com/StevenBlack/hosts/master/hosts"
CONF_DIR="/etc/unbound/conf.d/"
HOST_FILE="hosts-adblock.conf"
TMP_FILE="/tmp/$HOST_FILE"
HOST_IP="127.0.0.1"

# Debian nutzt abweichende Config-Dir
grep -q -F 'ID=debian' /etc/os-release && CONF_DIR="/etc/unbound/unbound.conf.d/"

# Host IP as parameter - without any check
[[ -n "$1" ]] && HOST_IP="$1"

# Liste runterladen
BLACK="$(curl -sS --compressed -w "\n%{http_code}" "$URL_BLACK")"
STATUS=$(tail -1 <<< "$BLACK")
if [[ $STATUS -ne 200 ]]; then
    echo "Download $URL_BLACK fehlgeschlagen: $STATUS"
    exit 1
fi
BLACK_DNS=$(sed -n "s/^0\.0\.0\.0\s\([^ ]\+\).*/local-zone: \"\1\" redirect\nlocal-data: \"\1 A $HOST_IP\"/p" <<< "$BLACK")

echo "server:" > $TMP_FILE
sort -u <<< "${BLACK_DNS}" >> $TMP_FILE
#sort -u <<< "${EASYLIST_DNS}"$'\n'"${WINHELP_DNS}" > $TMP_FILE

if [[ $(cat $TMP_FILE | wc -l) -gt 0 ]]; then
    mv $TMP_FILE $CONF_DIR
    systemctl restart unbound
else
    echo "Fehler: $CONF_DIR/$HOST_FILE leer"
    exit 1
fi

Spoiler: update-dnsmasq-adblock

#!/bin/bash
# downloads a hostfile with ad servers
# removes comments, localhost and blank lines
# moves the file to /etc/dnsmasq.d/hosts-adblock
# and restarts dnsmasq
#
# Usage: update_adhosts [IP]
# IP is optional, Default is 192.168.109.11 kobold
#
# Quellen
# https://discourse.pi-hole.net/t/beste-aktuelle-adlist-fur-deutschland/61388/9
# https://github.com/StevenBlack/hosts?tab=readme-ov-file
# https://firebog.net/
#
# frühere Listen
#WINHELP="$(curl -s -w "\n%{http_code}" 'https://winhelp2002.mvps.org/hosts.txt')"
#WINHELP_DNS=$(sed -n "s/\r//g;s/^0.0.0.0\s\([^ ]*\).*$/address\=\/\1\/$HOST_IP/p" <<< "$WINHELP")
#EASYLIST="$(curl -s -w "\n%{http_code}" 'https://easylist-downloads.adblockplus.org/easylist.txt')"
#EASYLIST_DNS=$(sed -n "s/^||\([0-9a-zA-Z\].\+\)^$/address=\/\1\/$HOST_IP/p" <<< "$EASYLIST")

URL_BLACK="https://raw.githubusercontent.com/StevenBlack/hosts/master/hosts"
CONF_DIR="/etc/dnsmasq.d/"
HOST_FILE="hosts-adblock"
HOST_TMP="/tmp/$HOST_FILE"
HOST_IP="192.168.109.10"

# Host IP as parameter - without any check
[[ -n "$1" ]] && HOST_IP="$1"

# Liste runterladen
BLACK="$(curl -sS --compressed -w "\n%{http_code}" "$URL_BLACK")"
STATUS=$(tail -1 <<< "$BLACK")
if [[ $STATUS -ne 200 ]]; then
    echo "Download $URL_BLACK fehlgeschlagen: $STATUS"
    exit 1
fi
BLACK_DNS=$(sed -n "s/^0\.0\.0\.0\s\([^ ]\+\).*/address=\/\1\/$HOST_IP/p" <<< "$BLACK")

sort -u <<< "${BLACK_DNS}" > $HOST_TMP
#sort -u <<< "${EASYLIST_DNS}"$'\n'"${WINHELP_DNS}" > $HOST_TMP

if [[ $(cat $HOST_TMP | wc -l) -gt 0 ]]; then
    mv $HOST_TMP $CONF_DIR
    systemctl restart dnsmasq
else
    echo "Fehler: $CONF_DIR/$HOST_FILE leer"
    exit 1
fi

 

[Pummeluff]

Und schon wieder zu früh gefreut.

Auf https://www.n-tv.de/leute/Villa-aus-Kevin-allein-zu-Haus-steht-zum-Verkauf-article24966860.html seh ich noch das Werbevideo. Beim Aktivieren von uBlock wird's ausgeblendet.

Im Firefox hab ich mir mal den DNS-Cache (about:networking#dns) angesehen. Und da taucht dann als Rest noch auf:

content.viralize.tv    ipv4    false    192.168.109.10
content.viralize.tv    ipv4    false    35.186.238.232

Wie schafft es die Webseite, meinen DNS-Server zu umgehen und nach der umgeleiteten IP dann die originale wieder irgendwo herzuholen?

Wenn ich die IP auflös, komm ich (vermutlich) auf die Google-Cloud:

dig -x 35.186.238.232

;; ANSWER SECTION:
232.238.186.35.in-addr.arpa. 120 IN    PTR    232.238.186.35.bc.googleusercontent.com.

Das Ziel hab ich auch gleich in meinen DNS-Blocker eingebaut. Bringt allerdings auch nichts.

Update:
Nach dem Löschen des DNS-Caches, Schließen der Seite hat's jetzt irgendwie erst mal geklappt. Mal sehen, wenn das Katz- und Mausspiel von vorn beginnt.

 

[markus-1969]

Es half hier, in der Fritz!Box einen andern DNS einzutragen - viele Seiten mit viel Werbung laden die Werbung nicht mehr weil sie den DNS der Werbeseiten nicht aufgelöst kriegen

 

[Pummeluff]

Übrigens hab ich mir auch die Antwort auf meine Eingangsfrage selbst schon beantwortet:

Wie krieg ich die Adserver-URL raus?

Firefox → about:networking#dns

listet ganz hübsch auf, welche URLs der Browser gerade abgefragt hat. Ist ansich erschreckend, wieviele URLs da bei einer einzigen Webseite kontaktiert werden.

Bei n-tv.de werden von den ca. 50 aufgerufenen URLs bei mir ca. 2/3 weggeblockt.

So. Von meiner Seite aus ist der Thread jetzt abgeschlossen. Vielleicht hilft's ja jemandem.