1) Blokkeren van crawlers via de robots.txt
Het robots.txt bestand op je server heeft een grote invloed op het crawlen van je website. Omdat het niet gewenst is dat de website in een testomgeving wordt gecrawld, wordt er meestal een Disallow opgenomen in het robots.txt bestand.
Met een Disallow ontzeg je crawlers de toegang tot (een deel van) de website. Wat vervolgens vaak vergeten wordt, is het weghalen van de Disallow wanneer de website live gaat.
Het gevolg is dat je nieuwe of gewijzigde website hebt, waarbij crawlers niet op de website kunnen. Hierdoor zakken je posities weg, terwijl dit gemakkelijk te voorkomen is.
2) De noindex tag staat nog in de <head> bij livegang
Een tweede manier om de indexatie van een testomgeving te blokkeren, is het gebruik van de noindex metatag (<meta name="robots" content="noindex">) op alle pagina’s van een website. Deze tag wordt in de HTML van een pagina gezet en laat crawlers weten dat de pagina’s niet voor indexatie in aanmerking komen.
Voor de noindex geldt hetzelfde als voor de Disallow in het robots.txt bestand: deze moet worden weggehaald. Het verstandig om een meta index tag op alle pagina’s te plaatsen, na livegang. Zo weet je zeker dat je de nieuwe website geïndexeerd wordt.
Je bent niet de eerste waarbij de noindex tag nog in de code staat, waardoor je hele website opeens uit de zoekresultaten is verdwenen.
3) Bestaande redirects worden niet overgenomen
In veel gevallen zijn er op bestaande websites al eens pagina’s weggehaald, waarna er een 301 redirect is ingesteld naar de nieuwe URL. Als je een website gaat migreren, moet je er rekening mee houden dat ook de oude redirects goed worden overgezet. Redirects moeten minimaal een jaar online blijven staan. Haal je deze offline, dan verlies je posities en waarde.
4) Nieuwe redirects worden vergeten
Wanneer je je oude redirects hebt overgenomen, ben je goed bezig. Maar vergeet ook geen nieuwe redirects in te stellen. Bij elke SEO migratie wijzigt er wel iets in de URL-structuur. Of je nu een nieuw domein in gebruik neemt of je huidige URL wijzigt, er moeten redirects worden ingesteld.
Lees ook: 7 stappen voor een goede SEO migratie.
Er zijn in de wereld van SEO weinig garanties, maar het verlies van posities wanneer je geen redirects instelt, is er één die we je wel kunnen garanderen.
5) Er ontstaan redirect loops
Redirects zijn een belangrijk onderdeel van een migratie, die genoeg aandacht moeten krijgen. Wanneer je je oude redirects hebt overgenomen en nieuwe redirects opstelt, is een redirect loop mogelijk. URL A wordt dan doorgestuurd naar URL B, URL B naar URL C enzovoorts.
Dit gaat ten koste van je crawlbudget, je paginawaarde en je posities. Let er dus goed op dat er maar één 301 redirect plaatsvindt.
Tip: Met onze HTTP status code tool controleer je gemakkelijk of er een redirect loop is ontstaan.
6) Oude sitemaps blijven online staan
Bij een migratie naar een nieuw domeinnaam worden de oude sitemaps nog wel eens vergeten. Deze sitemaps bevatten URL’s die verwijzen naar het oude domein. Controleer dus goed of je sitemaps accuraat zijn.
7) Geen redirect van HTTP naar HTTPS
Je website is op verschillende manieren benaderbaar. Zo kan iemand je website bezoeken via http://website.nl, maar ook via https://website.nl.
Wanneer je geen 301 redirect instelt van de HTTP naar de HTTPS versie, crawlt Google twee versies van je website. Dit is geen ideale situatie. Hierdoor ontstaat duplicate content, wat wordt gestraft door Google. Zorg er daarom voor dat je altijd een 301 redirect instelt vanaf de HTTP-versie naar de HTTPS-versie.
8) Content wordt niet gemigreerd
Bij verschillende migraties hebben we al gezien dat vergeten wordt oude content over te zetten naar de nieuwe website. Wanneer de URL-structuur wijzigt, vergelijkt Google de content op de oude pagina met de content op de nieuwe pagina. Komt de content overeen? Dan neemt de nieuwe pagina de posities sneller over.
Maar komt de content niet overeen? Dan duurt het veel langer voordat Google doorheeft dat de nieuwe pagina de posities van de oude pagina moet overnemen.
Natuurlijk kan het zo zijn dat je de content helemaal moet herschrijven of deels moet herschrijven. In de meeste gevallen is het ons advies om (delen van) de content op de oude pagina overeen te laten komen met de content van de pagina waar de oude URL naar wordt doorgestuurd.
9) Afbeeldingen worden niet geredirect
Zijn afbeeldingen belangrijk voor je website? Dan is het belangrijk om afbeeldingen van de oude naar de nieuwe URL te redirecten. Afbeeldingen worden vaak vergeten binnen een redirectplan, wat ervoor zorgt dat het lang duurt voordat je afbeeldingen weer vindbaar zijn in Google Afbeeldingen.
De URL’s van afbeeldingen kun je niet uit Google Search Console scrapen, maar de URL’s zijn wel te verzamelen met tools als Screaming Frog en Sitebulb.
Conclusie
Een website migratie brengt risico’s met zich mee en een kostbare fout is snel gemaakt. Ook voor SEO migratie fouten geldt: voorkomen is beter dan genezen. Door je website op deze veel gemaakte fouten te controleren voordat hij live gaat, voorkom je negatieve gevolgen door een migratie fout.
Dit artikel is geschreven door Jarik Oosting
Met een passie voor SEO en een ongeëvenaarde drive om resultaten te behalen, is Jarik Oosting de drijvende kracht achter SmartRanking. Met meer dan 13 jaar ervaring in het veld heeft Jarik een schat aan kennis opgebouwd, variërend van technische SEO tot complexe migraties. Als oprichter van SmartRanking heeft hij een team van gelijkgestemde SEO specialisten samengebracht die bedrijven helpen hun online potentieel te realiseren.
Zijn academische achtergrond in Informatiewetenschappen aan de Rijksuniversiteit Groningen, met een specialisatie in Natural Language Processing, geeft hem een unieke kijk op de wereld van SEO. Voor Jarik gaat het niet alleen om vindbaarheid in zoekmachines, maar om het delen van kennis en het begeleiden van bedrijven naar duurzaam online succes.
Want to learn more about SmartRanking?
