Een noindex is een instructie aan zoekmachines om een specifieke pagina niet op te nemen in hun index. Hierdoor verschijnt de pagina niet in de zoekresultaten, ook al is de pagina wel gewoon toegankelijk voor bezoekers via een directe link.
Technische werking
- De zoekmachine bot bezoekt de pagina en scant de code of de serverinstellingen.
- De bot ziet een specifieke regel die aangeeft dat indexering niet is toegestaan.
- De zoekmachine onthoudt deze instructie en haalt de pagina uit de index als die er al in stond.
- Bij volgende bezoeken controleert de bot of de regel nog steeds aanwezig is voordat hij de pagina opnieuw toevoegt.
Belangrijke begrippen
Robots meta tag
Dit is de meest gebruikte methode. Je plaatst een regel code in het hoofdgedeelte van je pagina, waardoor de bot direct ziet dat hij weg moet blijven.
X-Robots-Tag
Dit gebeurt in de response headers van de server. Het is handig voor bestanden zonder HTML-code, zoals PDF’s of afbeeldingen, omdat je daar geen meta tag in kunt zetten.
Nofollow
Dit is iets anders dan noindex. Met nofollow zeg je dat de bot de links op een pagina niet moet volgen, maar de pagina zelf mag nog steeds in de zoekresultaten staan.
Crawl budget
De hoeveelheid tijd en middelen die een bot besteedt aan jouw site. Door onnodige pagina’s uit te sluiten, kan de bot zich concentreren op de pagina’s die er echt toe doen.
Indexering
Het proces waarbij een zoekmachine een pagina analyseert en opslaat in een enorme database. Zonder indexering is een pagina onzichtbaar voor mensen die via Google zoeken.
Praktijkvoorbeeld
Stel je hebt een webshop op example.nl. Je hebt een pagina Bedankje die klanten zien na een bestelling. Deze pagina heeft geen waarde voor nieuwe bezoekers en bevat geen informatie waar mensen op moeten zoeken. Je wilt voorkomen dat iemand via Google direct op deze bedankpagina uitkomt zonder iets gekocht te hebben.
Je plaatst de volgende regel in de source code van die specifieke pagina:
<meta name="robots" content="noindex">
Wat je nu ziet is dat de pagina gewoon werkt voor de klant, maar na een tijdje verdwijnt de URL uit de zoekresultaten van Google. De pagina is er nog, maar hij is onzichtbaar geworden voor de buitenwereld.
Veelgemaakte fouten
- Combineren met robots.txt: Als je een pagina blokkeert in robots.txt én een noindex tag gebruikt, ziet de bot de noindex tag nooit. De bot mag namelijk de pagina niet eens bezoeken om de code te lezen, waardoor de noindex instructie wordt genegeerd en de pagina soms alsnog in de index blijft staan.
- Verkeerde locatie van de tag: De meta tag moet in het hoofdgedeelte van de HTML staan. Zet je hem in het lichaam van de pagina, dan negeren veel zoekmachines de instructie simpelweg.
- Vergeten na lancering: Soms zet je een hele site op noindex tijdens het bouwen. Als je vergeet dit uit te zetten bij de livegang, krijgt je site geen enkel bezoek vanuit zoekmachines.
- Gebruik voor gevoelige data: Een noindex is geen beveiliging. De pagina is nog steeds openbaar; iedereen met de link kan erbij. Gebruik voor echt geheime informatie een wachtwoord of een inlogsysteem.
Gebruik en afwegingen
Gebruik noindex voor pagina’s die technisch nodig zijn, maar geen waarde toevoegen aan de bezoeker. Denk aan filterpagina’s in een webshop, interne zoekresultaten of wettelijke pagina’s zoals de algemene voorwaarden. De afweging is hier simpel: voegt deze pagina waarde toe aan iemand die vanuit Google komt? Is het antwoord nee, dan moet de tag erop.
Gebruik geen noindex voor pagina’s die wel unieke informatie bevatten, maar waar je weinig bezoekers op krijgt. In dat geval kun je beter kijken naar de interne linking om de pagina belangrijker te maken voor de bot. Een noindex is een definitieve stop, geen manier om een pagina minder belangrijk te maken.
Controle van de werking
- Open de betreffende pagina in je browser.
- Klik met de rechtermuisknop en kies voor Pagina-bron bekijken.
- Zoek met Ctrl+F naar de term noindex om te zien of de meta tag daadwerkelijk in de code staat.
- Gebruik voor een definitieve check de URL Inspection tool in Google Search Console om te zien of de pagina is uitgesloten van de index.
- Controleer bij PDF’s of andere bestanden via de browser developer tools in het tabblad Network of de X-Robots-Tag in de response headers wordt meegestuurd.
Het is een veelgemaakte fout om te veel pagina’s op noindex te zetten, waardoor de structuur van je site onduidelijk wordt voor zoekmachines. Houd het simpel en beperk het tot de echt overbodige pagina’s.
Loop nu je belangrijkste landingspagina’s na in de broncode om te checken of er geen per ongeluk een noindex tag is achtergebleven.
