Tips en tutorials voor beginners en gevorderde bloggers

XML sitemaps, robots txts and html sitemaps

xml sitemaps makenWel eens gehoord van sitemaps? Of van robots txt?

Je kunt bijvoorbeeld SEOQuake gebruiken om te kijken of je blog een sitemap heeft.

sitemaps

Je ziet dat mijn Engelstalige blog Momfever een robots.txt heeft maar geen xml sitemap. En dat is niet fijn! Want beide zijn must-haves voor je blog.

Geen idee wat een robot txt of sitemaps zijn? Geen zorgen! Ik leg het je hier onder haarfijn uit!

Robot txt: wat is het?

Een robot txt vertelt zoekmachines waar ze mogen komen. En ook waar ze níét mogen komen. Er zijn misschien posts waarvan je niet wilt dat die in de zoekmachine resultaten komen. Met behulp van een robot txt laat je dit weten aan zoekmachines.

Een robot txt is een simpel tekstbestand. Er staan meestal maar een paar regels in. Als zoekmachines op je blog komen, lezen ze eerst altijd eerst even je robot txt. En als daarin staat: ‘Ga niet naar post over mijn advertorials’ dan doen ze dat ook niet.

Maar dan in robot taal natuurlijk ; )

Automatische robot txt van Blogger blogs

Blogger blogs hebben automatisch een robot txt. Die ziet er bijvoorbeeld zo uit:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /

User-Agent: googlebot
Disallow: /search
Allow: /

WordPress blogs hebben trouwens ook een automatische robots.txt.

XML sitemap: wat is dat nou weer!

Een xml-sitemap is een xml bestand. Het bevat een lijst met al de pagina’s op je blog. Een sitemap helpt zoekmachines je blog in kaart te brengen en te indexeren. En dat wil je graag, want je wilt in de zoekresultaten komen! Een xml-sitemap is fijn en overzichtelijk voor de robots van zoekmachines. Hij zorgt ervoor dat zoekmachines ook de pagina’s vinden die ze anders misschien zouden missen!

Daarnaast geeft een xml sitemap informatie over hoe belangrijk een url is, wanneer hij voor het laatst is ge-update, etc.

Eigenlijk is een xml sitemap dus het tegenovergestelde van een robots.txt: hij vertelt zoekmachines waar ze van harte welkom zijn. Terwijl een robots.txt juist aangeeft waar ze niet welkom zijn.

De standaard xml sitemap voor Blogger blogs laat alleen je 26 nieuwste posts zien. Als je al langer blogt, en meer posts hebt, is dit niet handig.

HTML sitemap: huh?

Om het nog wat ingewikkelder te maken, heb je ook nog html sitemaps. Eigenlijk horen die niet in het rijtje van de xml sitemap en de robots.txt thuis. Want de xml sitemap en de robots.txt zijn voor zoekmachines. Een html sitemap is vooral voor de bezoekers van je blog. Het heeft verder niks te maken met de vindbaarheid van je blog.

Ben je wel eens op een groot blog gekomen, en kon je niet vinden wat je zocht? Wat ik dan altijd doe is kijken of er een sitemap is. Zo’n sitemap is een overzicht op 1 pagina van alle onderwerpen, rubrieken van een blog. Met links! Zo kan ik snel vinden wat ik zoek. Je hoeft er geen te hebben, maar als je een groot blog hebt, kan het fijn zijn voor je bezoekers.

Dit kan er gebeuren met je bezoekers als je geen goede navigatie hebt op je blog!

Ik heb een html sitemap gemaakt voor Momfever. Wil je een html sitemap op jouw Blogger blog? Dan vind je hier de code die je nodig hebt! Het is supermakkelijk. Ook Bloggen en loggen heeft een html sitemap. Kijk maar in de menu balk rechtsboven!

Hoe weet je of je een robots.txt hebt?

Je kunt SeoQuake gebruiken om te kijken of je blog een robots.txt heeft. Maar als je die liever niet wilt installeren kan het ook op een andere manier.

Type: domain.com/robots.txt in de adresbalk.

Vul bij domain.com je blog adres in. Voor Momfever wordt dit: momfever.com/robots.txt. Als je een robots.txt hebt dan krijg je een korte tekst te zien. Bijvoorbeeld:

User-agent: *
Disallow:

Heb je geen robots.txt? Dan gaan de robots van de zoekmachine ervan uit dat ze overal op je blog moeten komen.

Hoe weet je of je een xml sitemap hebt?

 Hoe maak je xml map voor je Blogger blog?

Op zich hoef je niet per sé een xml map te maken voor je Blogger blog. Blogger doet dit immers automatisch voor je. Maar omdat Blogger alleen de meest recente 26 posts doet, is het slim om toch een eigen xml map te maken.

Dat kan op twee manieren:

1. Vul hier onder je eigen url in:

  • Als je een blogspot adres gebruikt: http://naamvanjeblog.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
  • Als je een eigen domeinnaam hebt voor je Blogger blog: http://naamvanjeblog.com/atom.xml?redirect=false&start-index=1&max-results=500

2.  Genereer automatisch een sitemap

genereer sitemap
Klik op generate sitemap
momfever sitemap
En dan krijg je dit!

3. Voeg je Blogger xml sitemap toe aan je Robot txt

  • Kopieer de genereerde xml sitemap.
  • Ga naar je Blogger Dashboard
  • Klik op Settings
  • Klik op Search Preferences
  • Enable Custom Robots.txt
  • Plak de tekst van je xml sitemap
  • Klik op save

N.B. het is hierna niet nodig je xml sitemap ook nog apart op  te geven bij Google Webmaster Tools.

Samenvattend

  • XML-sitemap: is voor robots. Zorgt ervoor dat al je pagina’s worden gevonden door zoekmachines.
  • Robots.txt: is ook voor robots. Vertelt robots welke pagina’s ze niet mogen.
  • Html sitemap: is voor je bezoekers! Biedt ze een handig overzicht van alles op je blog. Vergelijkbaar met de index van een boek.

Blogger blogs maken automatisch xml-sitemaps en robots.txt aan. Je hoeft hiervoor dus niets te doen. Maar het nadeel van de automatische xml-sitemaps is dat ze alleen de meest recente 26 posts laten zien.

Voor WordPress blogs maak je heel eenvoudig een xml sitemap met bijvoorbeeld de Yoast plugin! Een Robot.txt wordt automatisch gemaakt.

Het is belangrijk om een xml-sitemap op te geven in Google Webmaster Tools. Maar als je hem in je Blogger blog robots.txt hebt gezet is dit niet nodig.

Filed Under: SEO

3 Responses to XML sitemaps, robots txts and html sitemaps

  1. Dag Bloggelientje,

    Dank weer voor de handige uitleg. Ik heb volgens jouw aanwijzingen zowel een XML sitemap als een HTML sitemap gemaakt. Ik zie in die laatste dat ik wel erg veel labels heb; misschien moet ik dat maar eens opschonen.
    Wel gek vind ik het dat de labels Italië (en de sublabels daarvan in verschillende posts) en die van Griekenland niet in de HTML-sitemap verschijnen. In totaal heb ik van alle reizen 185 berichten; waarvan van Italië en Griekenland ieder ongeveer 15. Heb jij enig idee waarom die uit 2010 en 2011 daterende berichten niet in de sitemap verschijnen? Ik heb die van Italië inmiddels een datum uit 2012 gegeven maar dat heeft ook niet geholpen. Raadselachtig, he.

  2. Ook bij de xml-sitemap had ik volgens Search Console maar 150 berichten. Zoeken op Engelstalige sites heeft mij geleerd dat Google in een nieuw systeem via de XML-sitemap met de atom code maar 150 berichten weergeeft. Het advies was om een sitemap te installeren via http://www.blognaam.nl/sitemap.xml. Dat heb ik gedaan, zowel in het robot.txt. vak als aangemeld bij Search Console. En hoera, dat werkt. Al mijn berichten zijn nu gevonden en geindexeerd.

Leave a reply