Het web verandert. Zoekmachines zijn allang niet meer de enige geautomatiseerde systemen die je website bezoeken. AI-assistenten, crawlers van Large Language Models, bots voor modeltraining, retrievalsystemen, previewdiensten, SEO-tools en allerlei andere geautomatiseerde diensten kunnen allemaal content van je WordPress-website opvragen.
Daardoor wordt een van de oudste bestanden op het web opnieuw steeds relevanter: robots.txt.
Het probleem is dat het handmatig beheren van dit bestand al snel omslachtig kan worden. Je moet weten welke crawler bij welke dienst hoort, de juiste user-agentnamen onthouden, bepalen wat je daadwerkelijk wilt toestaan of blokkeren en vervolgens al die regels in de loop van de tijd blijven onderhouden.
AEO – Robots.txt Server is mijn poging om dat proces vanuit WordPress aanzienlijk eenvoudiger te maken.
Beheer je Robots.txt rechtstreeks vanuit WordPress
AEO – Robots.txt Server geeft WordPress-beheerders een praktische interface om de robots.txt van hun website te beheren zonder handmatig een fysiek tekstbestand op de server te hoeven onderhouden. In plaats daarvan werkt de plugin met de virtuele robots.txt-functionaliteit van WordPress. Je configuratie blijft binnen WordPress, terwijl de plugin de regels opbouwt die worden weergegeven wanneer iemand of iets /robots.txt opvraagt.
Dit betekent dat je niet via FTP hoeft te verbinden, geen hostingcontrolepaneel hoeft te openen en niet telkens opnieuw een tekstbestand hoeft te bewerken wanneer je je crawlerbeleid wilt aanpassen.
Meer informatie over AEO – Robots.txt Server is beschikbaar via patrickdankers.nl/en/plugins/aeo-rtxts/.
AI- en LLM-crawlers worden onderdeel van websitebeheer
Jarenlang draaiden discussies over robots.txt voornamelijk om traditionele zoekmachines. Tegenwoordig is het landschap van crawlers aanzienlijk breder.
Website-eigenaren kunnen naast bekende zoekmachinecrawlers ook crawlers tegenkomen die zijn verbonden aan AI-assistenten, LLM-platforms, modeltraining, retrievalsystemen en andere geautomatiseerde diensten.
Of je deze systemen toegang tot je website wilt geven, is uiteindelijk aan jou. Het belangrijkste is dat je een beheersbare manier hebt om die keuze kenbaar te maken.
AEO – Robots.txt Server biedt een alfabetisch georganiseerde lijst met ondersteunde AI-, LLM- en andere relevante crawlers. Voor iedere ondersteunde crawler kun je een van drie eenvoudige opties selecteren:
- Allow – de crawler expliciet toestaan.
- Disallow – de crawler expliciet instrueren de website niet te benaderen volgens de geconfigureerde regel.
- N/A – geen individuele regel voor die crawler toevoegen.
Je hoeft daardoor niet iedere user-agentstring te onthouden of zelf handmatig de bijbehorende robots.txt-syntaxis samen te stellen.
Een dynamische virtuele Robots.txt
Een van de uitgangspunten achter de plugin is dat het beheren van crawlerinstructies op een natuurlijke manier binnen WordPress moet passen.
AEO – Robots.txt Server hoeft geen fysiek robots.txt-bestand naar je server te schrijven. In plaats daarvan integreert de plugin met het virtuele bestand dat WordPress dynamisch kan aanbieden.
Wanneer /robots.txt wordt opgevraagd, worden je crawlerkeuzes en geconfigureerde regels gebruikt om de uiteindelijke uitvoer op te bouwen.
Dit maakt het bovendien eenvoudiger om je configuratie later aan te passen. In plaats van een bestand op de server te moeten zoeken en bewerken, kun je gewoon teruggaan naar het WordPress-beheer, de juiste instellingen wijzigen en ze opslaan.
Zoals altijd bij robots.txt raad ik aan om na wijzigingen de daadwerkelijke openbare /robots.txt-URL te controleren. Hostingconfiguraties kunnen verschillen en een bestaand fysiek robots.txt-bestand kan voorrang krijgen boven de virtuele uitvoer van WordPress.
De gratis Lite-editie is daadwerkelijk bruikbaar
Ik wil dat de Lite-edities van mijn plugins iets werkelijk nuttigs bieden in plaats van alleen als demonstratie van de Pro-versies te functioneren.
Dat geldt ook voor AEO – Robots.txt Server.
AEO – Robots.txt Server Lite is gratis en biedt al de kernfunctionaliteit die nodig is om ondersteunde AI- en LLM-crawlers vanuit WordPress te beheren.
Lite biedt onder andere:
- Een dynamische virtuele
robots.txt. - Een alfabetisch georganiseerde lijst met ondersteunde AI- en LLM-crawlers.
- Individuele keuzes voor Allow, Disallow en N/A.
- Ingebouwde basisregels.
- Ingebouwde vaste blokkeerregels.
- Ondersteuning voor Content Signal Guidelines.
- Een directe instellingenlink vanuit het WordPress Plugins-scherm.
- Resetfunctionaliteit om instellingen terug te zetten naar de standaardwaarden.
Als je belangrijkste doel dus simpelweg is om meer controle te krijgen over hoe individuele AI- en LLM-crawlers worden behandeld, kun je gratis met Lite beginnen.
Wanneer je meer controle wilt, is er Pro
Er komt ook een punt waarop het beheren van individuele crawlers slechts één onderdeel van het grotere geheel is.
Websites met complexere WordPress-installaties, mediabibliotheken, meertalige structuren of specifieke crawlervereisten kunnen behoefte hebben aan veel fijnmazigere controle over de volledige robots.txt-configuratie.
Daar komt AEO – Robots.txt Server Pro om de hoek kijken.
Pro breidt de kernfunctionaliteit voor crawlerbeheer uit met aanvullende tools om rechtstreeks vanuit WordPress een breder crawlerbeleid op te bouwen en te onderhouden.
Aangepaste Allow- en Disallow-regels
Soms zijn vooraf ingestelde crawlerkeuzes niet voldoende. Je wilt misschien specifieke paden binnen je eigen website toestaan of blokkeren.
Met Pro kun je aanvullende Allow- en Disallow-regels configureren, zodat je robots.txt beter aansluit op de daadwerkelijke structuur en vereisten van je WordPress-installatie.
Meer controle over crawlgedrag
Pro voegt daarnaast opties toe voor geavanceerder crawlerbeheer, waaronder instellingen die betrekking hebben op crawlgedrag en overwegingen rondom het crawlbudget.
Dit kan vooral nuttig zijn op grotere websites waar niet ieder technisch, administratief of dynamisch gegenereerd pad dezelfde aandacht van crawlers nodig heeft.
Content, assets en media
WordPress-websites bevatten vaak aanzienlijk meer dan alleen gewone berichten en pagina’s. Afbeeldingen, gegenereerde bestanden, PDF’s en andere assets kunnen eveneens onderdeel uitmaken van de crawlbare website.
De Pro-editie biedt aanvullende instellingen voor content- en mediapaden, waaronder opties met betrekking tot Googlebot-Image, assets en regels voor PDF-indexering.
Dit geeft beheerders meer flexibiliteit bij het bepalen van niet alleen welke crawler instructies ontvangt, maar ook op welke delen van de website die instructies betrekking hebben.
Crawl-delay en aanvullende regels
Voor situaties waarin je ze nodig hebt, biedt Pro ook functionaliteit zoals configuratie van Crawl-delay en aanvullende aangepaste regels.
Uiteraard ondersteunt niet iedere crawler noodzakelijkerwijs iedere robots-richtlijn, dus deze instellingen moeten altijd worden gebruikt met kennis van hoe de betreffende crawler ze interpreteert.
Sitemapbeheer vanuit dezelfde configuratie
Je robots.txt kan crawlers ook informatie geven over beschikbare XML-sitemaps.
AEO – Robots.txt Server Pro bevat daarom sitemapbeheerfunctionaliteit, zodat je dit niet afzonderlijk hoeft te beheren. De plugin kan werken met ondersteunde sitemapstructuren van Yoast SEO en Rank Math en kan WPML herkennen wanneer meertalige sitemapstructuren betrokken zijn. Indien nodig kunnen ook aanvullende sitemap-URL’s worden geconfigureerd.
Voor websites die al op deze WordPress-tools vertrouwen, helpt dit om de uiteindelijke crawlerconfiguratie in lijn te houden met de rest van de website.
Handig bij het beheren van meerdere WordPress-websites
Dezelfde configuratie op meerdere websites herhalen is zelden een leuke klus. Voor beheerders en ontwikkelaars die meer dan één WordPress-installatie beheren, bevat AEO – Robots.txt Server Pro daarom ook JSON-import- en exportfunctionaliteit.
Je kunt een compatibele configuratie exporteren en elders importeren in plaats van iedere keer opnieuw handmatig een uitgebreide verzameling instellingen op te bouwen.
Het is een relatief kleine functie totdat je meerdere websites moet configureren. Dan kan het behoorlijk wat repetitief werk besparen.
Lite of Pro?
Ik heb bewust geprobeerd het onderscheid eenvoudig te houden.
Begin met AEO – Robots.txt Server Lite als je vooral een eenvoudige manier wilt om individuele AI- en LLM-crawlers te beheren.
Je krijgt de belangrijkste crawlerinstellingen en een dynamisch gegenereerde virtuele robots.txt zonder dat je iets hoeft aan te schaffen.
Overweeg AEO – Robots.txt Server Pro als je robots.txt als een completer onderdeel van je crawlerbeheerstrategie wilt behandelen.
Pro wordt vooral nuttig wanneer je aangepaste regels, aanvullende crawlinstellingen, beheer van media en assets, sitemapbeheer, PDF-gerelateerde configuratie of import-/exportfunctionaliteit wilt. Je hoeft niet met Pro te beginnen alleen omdat die versie bestaat. Probeer Lite, kijk of het biedt wat je nodig hebt en stap over naar Pro wanneer de extra controle voor jouw website nuttig wordt.
Robots.txt is een instructie, geen toegangscontrolesysteem
Er is nog een belangrijk onderscheid dat het vermelden waard is wanneer we het over robots.txt hebben. Een robots-bestand communiceert instructies aan crawlers. Het is geen firewall, authenticatiemechanisme of technische toegangsbeperking.
Goed functionerende crawlers kunnen de regels die je publiceert respecteren, maar een kwaadwillende of niet-conforme bot kan ze negeren. Gevoelige informatie mag daarom nooit uitsluitend via robots.txt worden beschermd.
AEO – Robots.txt Server is bedoeld om crawlerinstructies eenvoudiger te beheren; het verandert die instructies niet in een beveiligingsgrens.
Onderdeel van een bredere aanpak voor AI-vriendelijke WordPress-content
AEO – Robots.txt Server maakt ook deel uit van een bredere collectie plugins die ik ontwikkel rondom de veranderende relatie tussen WordPress-websites en geautomatiseerde systemen.
In plaats van één enorme plugin te bouwen die alles probeert af te handelen, geef ik er de voorkeur aan duidelijk verschillende verantwoordelijkheden van elkaar te scheiden.
AEO – LLMs Server
AEO – LLMs Server richt zich op contentontdekking.
De plugin genereert dynamisch /llms.txt– en /llms-full.txt-bestanden vanuit geselecteerde WordPress-content en biedt zo machineleesbare overzichten van belangrijke openbare informatie zonder dat je deze bestanden handmatig hoeft te onderhouden.
Eenvoudig gezegd helpt AEO – LLMs Server bij het beantwoorden van de vraag: welke belangrijke content wil ik gemakkelijker vindbaar maken voor op LLM’s gerichte systemen?
AEO – Markdown Server
AEO – Markdown Server benadert het probleem vanuit een andere richting: representatie.
De plugin kan ondersteunde WordPress-content beschikbaar maken als schone, machinevriendelijke Markdown naast de normale HTML-pagina’s die voor bezoekers bedoeld zijn.
Dat betekent dat je je content gewoon op de normale manier in WordPress kunt blijven beheren, terwijl je daarnaast een alternatief formaat aanbiedt dat voor software en AI-gerichte workflows gemakkelijker te verwerken kan zijn.
En AEO – Robots.txt Server verzorgt de crawlerinstructies
AEO – Robots.txt Server vult een ander onderdeel van die puzzel in door zich te richten op crawlerinstructies.
Kort samengevat:
- AEO – LLMs Server helpt bij contentontdekking.
- AEO – Markdown Server helpt bij machinevriendelijke contentweergave.
- AEO – Robots.txt Server helpt bij crawlerinstructies en toegangsvoorkeuren.
Ze zijn aan elkaar gerelateerd, maar geen van de plugins vereist de andere. Je kunt alleen de functionaliteit gebruiken die voor jouw eigen website zinvol is.
Het hoeft niet ingewikkelder dan nodig
AI, LLM’s, crawlers, machineleesbare formaten en nieuwe webstandaarden kunnen websitebeheer veel ingewikkelder laten klinken dan het daadwerkelijk hoeft te zijn.
Mijn doel met deze plugins is eigenlijk bijna het tegenovergestelde.
Je content staat al in WordPress. Je websiteconfiguratie staat al in WordPress. Waar mogelijk zou het beheren van de manier waarop geautomatiseerde systemen met die website omgaan binnen dezelfde omgeving moeten passen, in plaats van weer een nieuwe verzameling handmatig onderhouden bestanden en losstaande tools te creëren.
AEO – Robots.txt Server past die aanpak toe op robots.txt.
Als je alleen eenvoudige controle nodig hebt over ondersteunde AI- en LLM-crawlers, begin dan met de gratis Lite-editie. Als je vereisten groeien en je veel fijnmazigere controle wilt over je volledige crawlerconfiguratie, dan is Pro daarvoor beschikbaar.
Meer informatie over AEO – Robots.txt Server vind je op https://patrickdankers.nl/plugins/aeo-rtxts/.
En er komt nog meer aan
AEO – Robots.txt Server, AEO – LLMs Server en AEO – Markdown Server zijn niet het einde van waar ik aan werk. Ik heb nog verschillende WordPress-ideeën en tools in ontwikkeling, waaronder verdere manieren om het dagelijkse WordPress-beheer en de interactie tussen websites, crawlers en opkomende AI-gerichte technologieën beter beheersbaar te maken.
Zie deze plugins dus als het begin in plaats van als de complete verzameling tools.
Er komt binnenkort nog meer aan op het gebied van plugins, laat me maar even koken 😉
