Google Analytics referral spam blokkeren en verwijderen

update: Google heeft het probleem van referral spam gedeeltelijk opgelost. Toch blijven er nieuwe referral spams zoals van fix-website-errors.com verschijnen in Google Analytics.

 

Natuurlijk wil je kunnen vertrouwen op je data in Google Analytics. En dan is het verschrikkelijk irritant als partijen bewust jouw gegevens vervuilen. Google Analytics referral spam doet dat.

Op internet verhalen allerlei artikelen over deze spam. Helaas werken de gegeven oplossingen niet (helemaal) voor mij. Daarom deze blogposting die verschillende aanknopingspunten biedt.

In deze posting:

• • Wat is analytics spam?
  • Tips vooraf
  • Soorten referral spam en hoe deze te voorkomen
  • Analytics spam verwijderen uit je rapporten

• Spam laten verwijderen
• Update lijst analytics referral spam

Wat is analytics spam?

Kijk in je Google Analytics in Acquisitie / Verwijzigingen. De onbekende domeinnamen in het tabel zijn verdacht. Vaak – maar niet altijd – hebben ze een bouncepercentage van 100%, 0 Pagina’s / sessie en een gemiddelde sessieduur van 0 seconden.

Enkele bekende namen zijn semalt.com, simple-share-buttons.com, buttons-for-website.com en o-o-8-o-o.ru. Helaas zijn spammers zeer creatief en gebruiken ze ook domeinnamen van bijvoorbeeld de BBC als verwijzende website.

Tips vooraf

Voordat je enthousiast deze spam gaat opsporen, blokkeren of verwijderen, 3 dingen:

1. 1. Klik NOOIT door naar de verwijzingsbron. Sommige staan bekend om de verspreiding van malware. Voor anderen betekent jouw doorklik geld verdienen – en dat wil je ook niet.

 

1. 1. In deze posting ga ik filters maken in Google Analytics. Zorg ervoor dat je altijd één dataweergave hebt waarin alle gegevens zijn opgenomen. Daarom raad ik je aan eerst een nieuwe weergave aan te maken.

 

1. Verder ga ik je uitleggen hoe het .htaccess-bestand op je webserver aan te passen. Als je dat nooit eerder hebt gedaan, vraag het dan aan een webdeveloper. Fouten in de .htaccess kunnen er bijvoorbeeld voor zorgen dat je website niet meer zichtbaar is.

Soorten referral spam en hoe deze te voorkomen

Ik maak onderscheid tussen twee soorten referral spam. Beide soorten vragen een andere aanpak om te bestrijden.

1. Enge botjes
Op internet wordt wat af gecrawled. Allerlei botjes (scriptjes) zijn continu bezig met het onschuldig indexeren van websites, maar ook met minder fraaie zaken als malware verspreiden, e-mailadressen van websites verzamelen en content strippen. En spambotjes, natuurlijk.

Dagelijks doen spambotjes miljoenen zogeheten http requests aan websites met spam referer velden. De waarde van de verwijzende bron is terug te vinden in je webserver log en in je Google Analytics-rapporten.

Enge botjes blokkeren
Om enge botjes te voorkomen, gaan we het .htaccess-bestand aanvullen (nogmaals: als je dit nooit hebt gedaan, vraag het een webdeveloper).

RewriteEngine On
Options +FollowSymlinks
RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*semalt\.com\ [NC,OR]
RewriteRule .* – [F]


Deze regel blokkeert al het verkeer van het domein (en alle subdomeinen van) semalt.com. Zo kun je voor ieder domein een regel aanmaken in .htaccess.

Andere mogelijkheden om deze enge botje via de .htaccess toegang tot je site te verbieden zijn bijvoorbeeld:

• het uitsluiten van het verkeer van een bepaal ip-adres
• het uitsluiten van het verkeer van een reeks ip-adressen

Van deze 2 mogelijkheden ben ik geen voorstander. Spammers maken gebruik van botnetwerken. Deze bestaan uit gehackte computers en ip-adressen van niets vermoedende burgers. Door het uitsluiten van deze ip-adressen maak je het ook voor hen onmogelijk je site te bezoeken.

Wel mogelijk is om ip-adressen van één of meerdere landen uit te sluiten. Hoewel deze methode (ook) niet waterdicht is, kan het helpen om botjes uit Rusland, China enzovoort geen toegang te geven tot de site. Tip: tool om ip-reeksen voor landen samen te stellen.

Daarnaast kun je in Google Analytics bekende bots uitsluiten van (toekomstige) opname in je rapporten. Deze instelling is te activeren in Beheer / Weergave / Instellingen voor rapportageweergave.

2. Spook referrals
Spam referrals worden niet alleen veroorzaakt door de hierboven beschreven “enge botjes”. De jongens en meisjes spammers zitten niet stil. De nieuwste spammethode triggert rechtstreeks het analytics-javascript met een willekeurige serie Tracking-ID’s (bekend zijn o.a. hulfingtonpost.com, darodar.com en ilovevitaly.co) . Bij deze methode is er geen bezoek aan de website, dus er is niets te zien in het webserver log. Vandaar de naam spook referrals.

Spook referrals blokkeren
Spook referrals zijn niet te blokkeren door regels in het .htaccess-bestand toe te voegen. Om ze te voorkomen, moet je filters aanmaken in Google Analytics (en hopen dat Google het exploit snel dicht).

Een paar opmerkingen bij deze aanpak:

• voordat je spook referrals gaat blokkeren in Google Analytics maak je zoals eerder gezegd een nieuwe data weergave aan
• gebruik Campagnebronals uit te sluiten Filterveld (en niet Verwijzende url, want die heeft alleen een match als de gehele verwijzende url overeenkomt met de spam referral)
• voor iedere nieuwe spam referal moet je een nieuw filter maken of een bestaande aanpassen. Het filterpatroon voor een aangepast filter heeft een maximum van 255 tekens.
• het is volgens Google onnodig om een backslash \ in deze reguliere expressie voor een enkele domeinnaam te zetten
• het uitsluiten van referral spam in je rapporten betekent niet dat de bezoeken niet bestaan voor Google Analytics. Zo worden ze wel meegenomen bij steekproeven.

Desgewenst kun je een stap verder gaan en bezoeken uit bepaalde landen die toch niet relevant zijn voor je website uitsluiten van opname in je rapporten. Of misschien nog beter: alleen die landen opnemen die wel relevant zijn.

Spam referrals verwijderen uit je rapporten

Het blokkeren van spam referrals is slechts één helft van de oplossing. Blokkeren via zowel .htaccess als analytic filters heeft invloed op de toekomst, maar kent geen terugwerkende kracht. Om je vervuilde rapporten met historische data te schonen, maak je een nieuw segment.

In het geavanceerde segment kies je Voorwaarden, filter je op Sessie en Uitsluiten. Voor de Bronnen maak je een reguliere expressie met verwijzende domeinen. Importeer dit segment in jouw Google Analytics account.

Update lijst analytics referral spam

Lijst met domeinen die referral spam sturen (laatste update 05-02-2016). Let wel: sommige domeinen gebruiken ook nog subdomeinen, die niet in deze lijst staan.

100dollars-seo.com
4webmasters.org
7makemoneyonline.com
adcash.com
adviceforum.info
anticrawler.org
best-seo-solution.com
best-seo-offer.com
blackhatworth.com
build-a-better-business.2your.site
build-audience.for-your.website
buttons-for-your-website.com
buttons-for-website.com
buy-cheap-online.info
cenokos.ru
cenoval.ru
cityadspix.com
claim33698222.copyrightclaims.org
cwd.o00.in
darodar.com
econom.co
edakgfvwql.ru
europages.com.ru
free-share-buttons.com
get-free-traffic-now.com
gigapeta.com
gobongo.info
guardlink.org
hulfingtonpost.com
iloveitaly.ro
ilovevitaly.co
ilovevitaly.com
ilovevitaly.ru
iskalko.ru
kambasoft.com
luxup.ru
new-look.for-your.website
myftpupload.com
o-o-8-o-o.ru
priceg.com
prodvigator.ua
quit-smoking.ga
resellerclub.com
rusexy.xyz
santasgift.ml
savetubevideo.com
screentoolkit.com
semalt.com
seoexperimenty.ru
share-buttons.xyz
simple-share-buttons.com
slftsdybbg.ru
site-33698222-1.snip.tw
smarter-content.for-your.website
social-buttons.com
socialseet.ru
superiends.org
topseoservices.co
top1-seo-service.com
trafficgenius.xyz
traffic2cash.xyz
vodkoved.ru
webextract.profound.net
websocial.me
ykecwqlixx.ru

Ken jij een spam referral dat er niet tussen staat? Zet het alsjeblieft in de reacties.

Het voorkomen van referral spam is een kat-en-muis-spel. Er is geen standaard oplossing die in alle situaties altijd zal blijven werken. Continu maken spammers gebruik van nieuwe ip-adressen, nieuwe referrals en nieuwe methoden. Troost je met de gedachte dat water altijd het laagste punt op zoekt. En dat als jij maatregelen neemt spammers eerder een makkelijker slachtoffer zullen kiezen.