--- title: "AEO – Robots.txt Server" url: "https://patrickdankers.nl/plugins/aeo-rtxts/" description: "Geef AI, LLM en andere crawlers vanuit je WordPress een duidelijke set aan instructies met behulp van robuust en custom robots.txt." author: "Patrick" published at: "2026-08-15 11:21:26" image: "https://patrickdankers.nl/storagespace/files/aeo-rtxts-01-scaled.avif" markdown url: "https://patrickdankers.nl/plugins/aeo-rtxts.md" --- AEO - Robots.txt Server voor WordPress | Geef AI/LLMs/Crawlers eenvoudig duidelijkheid - PatrickDankers.nl ## Bepaal vanuit WordPress welke AI-, LLM- en andere crawlers toegang krijgen tot je website **AEO – Robots.txt Server** geeft je een duidelijke en praktische manier om de `robots.txt` van je WordPress-website te beheren zonder zelf een fysiek tekstbestand te hoeven maken of bewerken. Moderne websites worden niet alleen bezocht door traditionele zoekmachines. AI-assistenten, LLM-crawlers, model-training bots, retrieval-systemen, previewdiensten, SEO-tools en allerlei andere geautomatiseerde systemen kunnen je website eveneens bezoeken. Daardoor wordt het steeds lastiger om te onthouden welke crawler waarvoor wordt gebruikt en welke je wel of niet toegang wilt geven. AEO – Robots.txt Server brengt deze keuzes naar het vertrouwde WordPress-beheer. De lijst met AI- en LLM-crawlers wordt alfabetisch weergegeven en voor iedere ondersteunde crawler kun je eenvoudig kiezen uit **Allow**, **Disallow** of **N/A**. De plugin bouwt vervolgens automatisch je virtuele `/robots.txt` op. De gratis **Lite-versie** geeft je de belangrijkste basis: individuele AI- en LLM-crawlers beheren, ingebouwde basisregels toepassen en je virtuele robots.txt rechtstreeks vanuit WordPress laten genereren. Wil je verder gaan en zelf aanvullende paden toestaan of blokkeren, crawlbudget beschermen, zoek- en WordPress-systeempaden beheren, Googlebot-Image instellen, PDF-indexering regelen, Crawl-delay gebruiken, sitemaps beheren, een eigen robots.txt-header toevoegen en instellingen importeren of exporteren? Dan geeft **AEO – Robots.txt Server Pro** je de volledige controle. --- ## Inhoudsopgave - [Waarom ik AEO – Robots.txt Server heb gemaakt](#waarom-aeo-robots-txt-server) - [Wat is robots.txt en waarom is het belangrijk?](#wat-is-robots-txt) - [De belangrijkste functies](#belangrijkste-functies) - [Hoe werkt AEO – Robots.txt Server?](#hoe-werkt-aeo-robots-txt-server) - [Lite of Pro: welke versie past bij jou?](#lite-of-pro) - [Waarom kiezen voor Pro?](#waarom-pro) - [Prijs](#prijs) - [Veelgestelde vragen](#veelgestelde-vragen) - [Krijg meer controle over de crawlers die je website bezoeken](#meer-controle-over-crawlers) --- ## Waarom ik AEO – Robots.txt Server heb gemaakt Een robots.txt-bestand bestaat al lange tijd en lijkt op het eerste gezicht vrij eenvoudig. Je vermeldt een user agent, geeft aan welke paden wel of niet mogen worden bezocht en klaar. In werkelijkheid is crawlerbeheer inmiddels aanzienlijk ingewikkelder geworden. Naast bekende zoekmachinebots zijn er tegenwoordig steeds meer geautomatiseerde systemen die websites bezoeken. Sommige crawlers verzamelen informatie voor traditionele zoekresultaten, andere worden gebruikt voor AI-zoekfuncties, retrieval, previews, analyses of het trainen van modellen. Er zijn daarnaast algemene scrapers en andere bots waarvan het doel voor een gemiddelde websitebeheerder lang niet altijd duidelijk is. Je kunt al deze regels natuurlijk zelf in een fysiek `robots.txt`-bestand beheren. Dan moet je echter weten welke user agents bestaan, hoe de syntax werkt, waar het bestand staat en hoe je voorkomt dat regels elkaar onbedoeld beïnvloeden. Naarmate de lijst groter wordt, neemt ook de kans toe dat het bestand onoverzichtelijk wordt. Ik wilde daarom een WordPress-native oplossing waarmee ik deze keuzes vanuit het beheerpaneel kon maken. Geen losse bestanden aanpassen, maar een duidelijke lijst waarin ik per crawler bewust kon aangeven of ik deze wil toestaan, blokkeren of geen aanvullende regel wil geven. Daaruit is **AEO – Robots.txt Server** ontstaan. De plugin is bedoeld om robots.txt-beheer overzichtelijker te maken en tegelijkertijd voldoende ruimte te bieden voor uitgebreidere controle wanneer dat nodig is. Lite richt zich daarom op de kern: het beheren van AI- en LLM-crawlers. Pro bouwt daarop voort met functies voor websites die hun volledige robots.txt-beleid uitgebreider vanuit WordPress willen beheren. Daarbij vond ik het ook belangrijk dat de plugin met bestaande WordPress-oplossingen kan samenwerken. AEO – Robots.txt Server is daarom WPML-aware en kan in Pro onder andere sitemapinformatie van Yoast SEO, Rank Math en WPML meenemen. --- ## Wat is robots.txt en waarom is het belangrijk? `robots.txt` is een openbaar tekstbestand dat normaal gesproken beschikbaar is via: `https://jouwdomein.nl/robots.txt` In dit bestand kan een website-eigenaar instructies plaatsen voor geautomatiseerde crawlers. Een crawler identificeert zichzelf meestal met een zogenaamde **user agent**. Op basis daarvan kun je bijvoorbeeld aangeven dat een bepaalde crawler een deel van je website wel of niet mag bezoeken. Een eenvoudige regel kan er bijvoorbeeld zo uitzien: `User-agent: ExampleBot

Disallow: /private/` Hiermee wordt aan ExampleBot gevraagd om het pad `/private/` niet te crawlen. Het is belangrijk om te begrijpen dat **robots.txt een instructiemechanisme is en geen beveiligingsmechanisme**. Een crawler die zich netjes aan het Robots Exclusion Protocol houdt, kan de regels respecteren. Een kwaadwillende scraper of bot kan ervoor kiezen om ze te negeren. Daarom moet robots.txt nooit worden gebruikt om vertrouwelijke informatie te beveiligen. Content die echt privé moet blijven, moet via daadwerkelijke toegangsbeveiliging worden beschermd. Voor crawlerbeheer blijft robots.txt echter een belangrijke en breed gebruikte manier om aan te geven hoe geautomatiseerde systemen met je website zouden moeten omgaan. [![AEO - Robots.txt Server](https://patrickdankers.nl/storagespace/files/aeo-rtxts-13-803x1024.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-13.avif) ### Een virtuele robots.txt in plaats van een fysiek bestand AEO – Robots.txt Server schrijft geen fysiek `robots.txt`-bestand naar je server. In plaats daarvan sluit de plugin aan op de virtuele robots.txt-functionaliteit van WordPress. Wanneer iemand `/robots.txt` opvraagt en er geen fysiek robots.txt-bestand voorrang heeft, genereert WordPress de response dynamisch. AEO – Robots.txt Server gebruikt dat proces om de door jou gekozen regels toe te voegen en de uiteindelijke uitvoer samen te stellen. Daardoor kun je je crawlerinstellingen rechtstreeks vanuit WordPress beheren zonder via FTP, een hostingpaneel of een bestandseditor te hoeven werken. --- ## De belangrijkste functies Lite en Pro delen dezelfde kern: een overzichtelijke manier om belangrijke AI- en LLM-crawlers te beheren en daar automatisch een virtuele robots.txt van te maken. Pro gaat aanzienlijk verder en geeft je controle over aanvullende robots.txt-regels, WordPress-specifieke paden, crawlgedrag, PDF’s, sitemaps en de overdraagbaarheid van je instellingen. ### Beheer AI- en LLM-crawlers vanuit een duidelijke lijst De centrale functie van AEO – Robots.txt Server is de crawlerlijst. In plaats van dat je zelf user-agentnamen in een tekstbestand moet opzoeken en invoeren, toont de plugin ondersteunde AI-, LLM- en andere relevante crawlers in een overzichtelijke tabel. De lijst wordt alfabetisch weergegeven, zodat je veel sneller een specifieke crawler kunt terugvinden. Voor iedere crawler kun je kiezen uit drie mogelijkheden: - **Allow** – je voegt expliciet een regel toe waarmee de crawler wordt toegestaan. - **Disallow** – je voegt expliciet een blokkerende regel voor de crawler toe. - **N/A** – de plugin voegt voor die crawler geen individuele keuze toe. Deze basisfunctionaliteit is zowel in Lite als Pro beschikbaar. Je hoeft dus niet voor Pro te betalen om individuele ondersteunde AI- en LLM-crawlers te kunnen toestaan of blokkeren. [![](https://patrickdankers.nl/storagespace/files/aeo-rtxts-01-1024x657.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-01-scaled.avif) ### Pro laat je snel filteren op Allowed en Disallowed crawlers Naarmate de crawlerlijst groter wordt, kan het lastig zijn om in één oogopslag te zien welke keuzes je eerder hebt gemaakt. Pro voegt daarom een snelle statusfilter toe. Daarmee kun je de tabel filteren op bijvoorbeeld alleen **Allowed** of alleen **Disallowed** crawlers. Dat klinkt als een kleine functie, maar wordt vooral waardevol wanneer je tientallen crawlerkeuzes beheert. Je hoeft dan niet iedere rij afzonderlijk te controleren om te zien welke bots je expliciet hebt toegestaan of geblokkeerd. ### Ingebouwde basisregels voor altijd toegestane en altijd geblokkeerde crawlers AEO – Robots.txt Server bevat naast je handmatige crawlerkeuzes ook ingebouwde baseline-regels. Daarmee kunnen bepaalde bekende crawlers automatisch in een **Always Allowed**– of vaste blokkeringsgroep worden verwerkt. Deze basisregels worden onderdeel van de gegenereerde robots.txt zonder dat je ze iedere keer zelf hoeft samen te stellen. Het doel hiervan is om een bruikbare basis te bieden waarop jouw eigen specifieke keuzes worden toegepast. [![AEO - Robots.txt Server](https://patrickdankers.nl/storagespace/files/aeo-rtxts-02-1024x355.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-02-scaled.avif) [![AEO - Robots.txt Server](https://patrickdankers.nl/storagespace/files/aeo-rtxts-03-1024x227.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-03-scaled.avif) [![AEO - Robots.txt Server](https://patrickdankers.nl/storagespace/files/aeo-rtxts-04-1024x489.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-04-scaled.avif) ### Content Signal-richtlijnen worden opgenomen in de gegenereerde robots.txt De plugin voegt ook een sectie met **Content Signal Guidelines** toe aan de gegenereerde robots.txt. Deze tekst beschrijft signalen rond verschillende mogelijke vormen van contentgebruik, waaronder traditionele zoekindexering, gebruik van content als input voor AI-systemen en het trainen of fine-tunen van AI-modellen. Deze informatie wordt als commentaar in robots.txt weergegeven en vormt aanvullende context rond de wijze waarop de website-eigenaar over verschillende vormen van geautomatiseerd contentgebruik denkt. Net als gewone robots.txt-regels is dit geen technisch beveiligingsmechanisme dat een onwillige partij kan dwingen. Het is een openbaar signaal en moet als zodanig worden gezien. ### Pro laat je eigen Allow- en Disallow-regels toevoegen De ingebouwde crawlerlijst is handig voor bekende user agents, maar soms wil je aanvullende regels maken die niet aan één specifieke AI-crawler zijn gekoppeld. Pro bevat daarom velden voor **Custom Allow** en **Custom Disallow**. Je kunt één pad per regel invoeren en daarbij ook wildcards gebruiken. Zo kun je bijvoorbeeld zelf aangeven dat een bepaald gedeelte van de website niet gecrawld moet worden of dat een specifiek pad juist beschikbaar moet blijven. Voorbeelden kunnen zijn: `/private/` of: `*/thank-you/*` Hiermee krijg je veel meer vrijheid om de gegenereerde robots.txt aan te laten sluiten op de daadwerkelijke structuur van jouw website. [![](https://patrickdankers.nl/storagespace/files/aeo-rtxts-05-1024x291.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-05-scaled.avif) ### Pro bevat aanvullende regels om crawlbudget te beschermen Crawlers kunnen op WordPress-websites allerlei URL’s tegenkomen die weinig toegevoegde waarde hebben om steeds opnieuw te bezoeken. Pro bevat daarom aanvullende opties die gericht zijn op het beperken van onnodig crawlwerk. De beschikbare instellingen omvatten onder andere regels voor dubbele WordPress-URL’s en andere WordPress-specifieke paden. Voor een niet-technische websitebeheerder is het belangrijkste voordeel dat je dergelijke veelvoorkomende WordPress-regels kunt beheren zonder zelf alle benodigde robots.txt-syntax te hoeven kennen. ### Pro kan de WordPress REST API en XML-RPC-paden blokkeren voor crawlers WordPress beschikt over technische endpoints zoals de REST API en XML-RPC. Deze zijn bedoeld voor softwarematige communicatie met WordPress en kunnen voor bepaalde integraties belangrijk zijn. Voor normale webcrawlers zijn deze paden echter niet altijd interessant. Pro bevat daarom een instelling waarmee je crawlers via robots.txt kunt vragen de WordPress REST API- en XML-RPC-endpoints niet te crawlen. Dit schakelt de REST API of XML-RPC zelf niet uit. De plugin geeft via robots.txt alleen een crawlerinstructie voor deze paden. [![](https://patrickdankers.nl/storagespace/files/aeo-rtxts-06-1024x305.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-06-scaled.avif) ### Pro kan interne zoekresultaten uit crawlerverkeer houden WordPress kan zoekresultaatpagina’s genereren, bijvoorbeeld via URL’s met `?s=zoekterm`. Sommige websites gebruiken daarnaast een apart pad zoals `/search/`. Deze pagina’s kunnen grote aantallen variaties opleveren die niet altijd nuttig zijn om te laten crawlen. Pro bevat daarom een instelling voor het blokkeren van WordPress-zoek-URL’s en laat je daarnaast het gebruikte zoekpad aanpassen. Dit kan helpen om crawleractiviteit meer te richten op de inhoud die je daadwerkelijk belangrijk vindt. ### Pro geeft controle over je asset- en uploadpaden Afbeeldingen, stylesheets en andere bestanden bevinden zich vaak in specifieke WordPress-mappen. Pro bevat instellingen waarmee je een assetpad kunt opgeven en ervoor kunt zorgen dat dit pad via de relevante regels toegankelijk blijft. Het standaardpad is gebaseerd op de normale WordPress-uploadlocatie, maar kan worden aangepast wanneer jouw website een andere structuur gebruikt. Dit is vooral nuttig wanneer je daarnaast strengere Disallow-regels gebruikt en wilt voorkomen dat noodzakelijke openbare bestanden daardoor onbedoeld worden geraakt. [![](https://patrickdankers.nl/storagespace/files/aeo-rtxts-07-1024x128.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-07-scaled.avif) ### Pro geeft afzonderlijke controle over Googlebot-Image Google gebruikt een specifieke crawler voor afbeeldingen: **Googlebot-Image**. Pro kan een afzonderlijk `User-agent: Googlebot-Image`-blok genereren en je laten bepalen welk pad deze crawler mag bezoeken. Zo kun je bijvoorbeeld expliciet je openbare uploadmap beschikbaar houden voor de afbeeldingscrawler, ook wanneer je andere delen van de website restrictiever behandelt. ### Pro laat je een eigen robots.txt-header toevoegen Robots.txt kan naast technische regels ook commentaarregels bevatten. Deze worden niet als Allow- of Disallow-instructies behandeld, maar kunnen wel aanvullende informatie geven aan iemand die het bestand bekijkt. Pro bevat daarom een configureerbare **Header** die bovenaan robots.txt kan worden geplaatst. Je kunt hier bijvoorbeeld een contactadres, beleidsinformatie of een URL naar een uitgebreider crawlerbeleid opnemen. Zo kun je naast de technische crawlerregels ook meer context aanbieden over hoe je website met geautomatiseerde toegang omgaat. [![](https://patrickdankers.nl/storagespace/files/aeo-rtxts-08-1024x153.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-08-scaled.avif) ### Pro ondersteunt de Crawl-delay directive Sommige crawlers ondersteunen de `Crawl-delay`-directive. Daarmee kun je aangeven hoeveel tijd een crawler tussen verzoeken zou moeten laten. Pro laat je deze directive inschakelen en het aantal seconden zelf instellen. Het is belangrijk om te weten dat niet iedere crawler Crawl-delay ondersteunt. De plugin vermeldt bijvoorbeeld dat Bingbot, AhrefsBot en een aantal andere crawlers ermee kunnen werken, terwijl Googlebot deze directive negeert. Deze functie is daarom geen universele snelheidsbegrenzer, maar kan nuttig zijn voor crawlers die de directive daadwerkelijk respecteren. [![](https://patrickdankers.nl/storagespace/files/aeo-rtxts-09-1024x141.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-09-scaled.avif) ### Pro kan crawlers vragen PDF-bestanden niet te indexeren WordPress-websites bevatten regelmatig PDF-documenten. Soms wil je dat deze rechtstreeks vindbaar zijn, maar in andere gevallen kan een PDF dezelfde informatie bevatten als een gewone webpagina of informatie bevatten die je niet via zoekresultaten wilt laten verschijnen. Pro bevat daarom een instelling voor **PDF Indexing**. Wanneer je deze inschakelt, voegt de plugin regels toe waarmee zoekmachines worden gevraagd PDF-bestanden niet te indexeren. Ook hier geldt dat robots.txt geen toegangsbeveiliging is. Een PDF die openbaar bereikbaar is, blijft technisch openbaar bereikbaar. Gebruik echte toegangsbeveiliging wanneer een document vertrouwelijk is. [![](https://patrickdankers.nl/storagespace/files/aeo-rtxts-10-1024x106.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-10-scaled.avif) ### Pro beheert sitemaps vanuit dezelfde instellingen Een sitemap helpt zoekmachines en andere geschikte crawlers om belangrijke URL’s van je website te ontdekken. Pro kan automatisch rekening houden met sitemapindexes van ondersteunde WordPress-oplossingen zoals **Yoast SEO** en **Rank Math**. Gebruik je WPML, dan kan de plugin bovendien taalgerelateerde sitemapindexes detecteren en toevoegen. Daarnaast kun je zelf aanvullende sitemapregels invoeren. Deze worden na de automatisch gevonden sitemapinformatie aan robots.txt toegevoegd. Hierdoor kun je zowel crawlerregels als belangrijke sitemapverwijzingen vanuit dezelfde WordPress-instellingen beheren. ### Pro ondersteunt WPML-aware sitemapverwerking Meertalige websites kunnen een complexere sitemapstructuur hebben dan websites in één taal. Wanneer WPML wordt gedetecteerd, kan Pro rekening houden met actieve taalstructuren en taalgerelateerde `sitemap_index.xml`-bestanden automatisch toevoegen. Dit voorkomt dat je dergelijke sitemapregels voor iedere taal volledig handmatig hoeft bij te houden. [![](https://patrickdankers.nl/storagespace/files/aeo-rtxts-11-1024x207.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-11-scaled.avif) ### Pro laat je instellingen exporteren en importeren als JSON Wanneer je veel crawlerregels hebt ingesteld, wil je die configuratie mogelijk bewaren of op een andere installatie opnieuw gebruiken. Pro bevat daarom **Import / Export**. Je kunt je instellingen downloaden als een JSON-export en later een compatibele JSON-back-up weer importeren. Dat is bijvoorbeeld handig als back-up voordat je grote wijzigingen aanbrengt of wanneer je meerdere websites met vergelijkbare crawlerregels beheert. [![](https://patrickdankers.nl/storagespace/files/aeo-rtxts-12-1024x83.avif)](https://patrickdankers.nl/storagespace/files/aeo-rtxts-12-scaled.avif) ### Een duidelijk gemarkeerde Danger Zone voor het resetten van instellingen Zowel Lite als Pro bevat een duidelijk onderscheiden **Danger Zone**. Hier kun je de opgeslagen plugininstellingen terugzetten naar de standaardwaarden. Omdat dit bestaande keuzes vervangt, waarschuwt de plugin nadrukkelijk dat deze actie niet vanuit WordPress ongedaan kan worden gemaakt. Pro-gebruikers kunnen eerst een JSON-export maken als back-up. Door deze functie bewust visueel te scheiden van normale instellingen wordt de kans kleiner dat een reset per ongeluk wordt uitgevoerd. ### Pro-functies zijn zichtbaar in Lite zonder dat ze per ongeluk kunnen worden gebruikt Lite verbergt niet simpelweg alles wat in Pro beschikbaar is. De Pro-secties worden als vergrendelde en uitgeschakelde instellingen weergegeven. Hierdoor kun je vanuit Lite zien welke extra mogelijkheden Pro biedt zonder dat een Pro-instelling per ongeluk kan worden geactiveerd. Dit maakt het verschil tussen beide versies transparanter en laat je beter bepalen of een upgrade voor jouw website daadwerkelijk nuttig is. --- ## Hoe werkt AEO – Robots.txt Server? Je hoeft zelf geen robots.txt-code te schrijven om de basis van de plugin te gebruiken. De instellingen worden vanuit WordPress beheerd en de plugin zet je keuzes om naar de daadwerkelijke robots.txt-uitvoer. 1. **Installeer de plugin.** Ga naar *Plugins > Nieuwe plugin toevoegen > Plugin uploaden*, upload de Lite- of Pro-ZIP en activeer de plugin. 2. **Open de instellingen.** Ga naar *Instellingen > AEO – Robots.txt Server*. Je kunt ook de directe **Settings**-link op het WordPress Plugins-scherm gebruiken. 3. **Bekijk de AI- en LLM-crawlerlijst.** De ondersteunde crawlers worden alfabetisch weergegeven zodat je ze eenvoudig kunt terugvinden. 4. **Kies per crawler wat je wilt doen.** Selecteer Allow, Disallow of N/A. 5. **Configureer in Pro eventueel aanvullende regels.** Voeg eigen Allow- of Disallow-paden toe en bepaal welke aanvullende crawl-budgetregels je wilt gebruiken. 6. **Configureer in Pro eventueel content- en mediapaden.** Stel bijvoorbeeld je assetpad en het pad voor Googlebot-Image in. 7. **Voeg in Pro eventueel een eigen header toe.** Hiermee kun je bovenaan robots.txt aanvullende contact- of beleidsinformatie plaatsen. 8. **Stel in Pro eventueel Crawl-delay en PDF-indexering in.** Gebruik deze opties alleen wanneer ze passen bij de manier waarop jouw website moet worden gecrawld. 9. **Controleer in Pro je sitemaps.** De plugin kan ondersteunde sitemaps automatisch detecteren en je kunt aanvullende sitemap-URL’s toevoegen. 10. **Sla de instellingen op.** De plugin gebruikt je keuzes om de virtuele robots.txt dynamisch samen te stellen. 11. **Controleer het resultaat.** Open `https://jouwdomein.nl/robots.txt` om te bekijken welke regels daadwerkelijk worden aangeboden. Wanneer `/robots.txt` wordt opgevraagd, laat WordPress zijn virtuele robots.txt genereren. AEO – Robots.txt Server haakt op dat proces in, leest je opgeslagen instellingen en stelt de definitieve regels samen. Wanneer je WordPress-installatie als niet-openbaar is ingesteld, kan WordPress crawlers volledig blokkeren. Voor een openbare website bouwt de plugin de verschillende secties op uit de beschikbare basisregels, jouw individuele crawlerkeuzes en – in Pro – de geavanceerde instellingen die je hebt geactiveerd. Je hoeft daarna geen fysiek bestand opnieuw te uploaden wanneer je een keuze verandert. Pas de instelling in WordPress aan, sla deze op en de volgende gegenereerde robots.txt gebruikt de nieuwe configuratie. ### Een eenvoudig praktijkvoorbeeld Stel dat je een specifieke AI-crawler niet wilt laten crawlen. In plaats van zelf de exacte robots.txt-syntax te schrijven, zoek je de crawler in de alfabetische lijst en kies je **Disallow**. Wil je later die crawler juist toestaan, dan verander je de keuze naar **Allow**. Gebruik je Pro en wil je daarnaast bijvoorbeeld interne zoekresultaten niet laten crawlen, dan kun je de daarvoor bedoelde aanvullende regel inschakelen. Wil je vervolgens een eigen sitemap toevoegen, dan kun je die URL in hetzelfde instellingenpaneel invoeren. De plugin combineert deze keuzes vervolgens in de robots.txt die WordPress aan crawlers aanbiedt. --- ## Lite of Pro: welke versie past bij jou? **AEO – Robots.txt Server Lite** is bewust bruikbaar als gratis versie. De belangrijkste functie – het beheren van individuele AI- en LLM-crawlers – blijft beschikbaar. Je kunt dus daadwerkelijk crawlerkeuzes maken zonder eerst Pro te hoeven aanschaffen. **AEO – Robots.txt Server Pro** is bedoeld voor website-eigenaren die niet alleen afzonderlijke bots willen beheren, maar hun bredere crawlerbeleid vanuit WordPress willen configureren. FunctieLiteProDynamische virtuele `robots.txt`JaJaGeen fysiek robots.txt-bestand schrijvenJaJaAlfabetisch gesorteerde AI- en LLM-crawlerlijstJaJaPer crawler kiezen tussen Allow, Disallow en N/AJaJaIngebouwde Always Allowed-basisregelsJaJaIngebouwde vaste blokkeringsregelsJaJaContent Signal Guidelines in robots.txtJaJaDirecte Settings-link op het Plugins-schermJaJaDuidelijk gemarkeerde Danger ZoneJaJaInstellingen terugzetten naar standaardwaardenJaJaFilter crawlerlijst op Allowed of DisallowedNeeJaEigen Custom Allow-regelsNeeJaEigen Custom Disallow-regelsNeeJaWildcards in aangepaste regelsNeeJaAanvullende crawl-budgetregelsNeeJaRegels voor WordPress REST API en XML-RPCNeeJaRegels voor interne WordPress-zoekresultatenNeeJaAanpasbaar zoekpadNeeJaAsset-/uploadpad beherenNeeJaGooglebot-Image apart beherenNeeJaPad voor Googlebot-Image instellenNeeJaEigen robots.txt-headerNeeJaCrawl-delay inschakelenNeeJaCrawl-delay in seconden instellenNeeJaPDF-indexering via robots.txt blokkerenNeeJaSitemapbeheerNeeJaOndersteunde Yoast SEO-sitemap automatisch detecterenNeeJaOndersteunde Rank Math-sitemap automatisch detecterenNeeJaWPML-aware sitemapverwerkingNeeJaEigen sitemap-URL’s toevoegenNeeJaInstellingen exporteren naar JSONNeeJaInstellingen importeren uit JSONNeeJaPro-functies zichtbaar als vergrendelde previewJaNiet van toepassingAutomatische Lite/Pro-conflictafhandelingJaJaPro heeft Lite niet nodigNiet van toepassingJaStandalone uninstall-afhandelingJaJa--- ## Waarom kiezen voor Pro? Lite geeft je precies wat je nodig hebt om de belangrijkste AI- en LLM-crawlerkeuzes vanuit WordPress te beheren. Je kunt per ondersteunde crawler bepalen of je deze wilt toestaan, blokkeren of ongemoeid wilt laten en de plugin verwerkt die keuzes automatisch in je virtuele robots.txt. **Pro verandert AEO – Robots.txt Server echter van een crawlerkeuzelijst in een veel uitgebreider beheersysteem voor je robots.txt.** Het verschil wordt vooral duidelijk wanneer je website groeit. Je wilt dan misschien niet alleen bepalen welke AI-crawler binnenkomt, maar ook voorkomen dat bots tijd besteden aan interne zoekresultaten, technische WordPress-endpoints en andere URL’s die voor jouw crawlerbeleid weinig waarde hebben. Met Pro kun je zulke aanvullende regels vanuit dezelfde interface beheren. Je kunt bovendien eigen Allow- en Disallow-paden toevoegen. Daardoor ben je niet beperkt tot de ingebouwde keuzes, maar kun je de robots.txt veel beter laten aansluiten op je eigen website. De extra controle over Googlebot-Image, crawl delay, PDF-indexering en assets maakt Pro interessanter voor websites met veel media of een complexere technische structuur. Daar komt sitemapbeheer bij. Ondersteunde Yoast SEO- en Rank Math-sitemaps kunnen worden meegenomen, WPML kan voor meertalige sitemapstructuren worden herkend en je kunt zelf aanvullende sitemaps toevoegen. Voor beheerders die meerdere websites onderhouden is JSON Import / Export eveneens een belangrijk voordeel. In plaats van een uitgebreide configuratie volledig opnieuw te maken, kun je instellingen bewaren en een compatibele export opnieuw importeren. **Lite is ideaal wanneer je vooral controle wilt over individuele AI- en LLM-crawlers. Pro is de beste keuze wanneer je robots.txt als een volledig onderdeel van je crawlerbeleid wilt beheren.** --- ## Prijs ### AEO – Robots.txt Server Lite **Gratis voor iedereen.** AEO – Robots.txt Server Lite wordt gratis beschikbaar gesteld en bevat de kernfunctionaliteit van de plugin. Je krijgt een dynamische virtuele robots.txt, een alfabetisch gesorteerde lijst met ondersteunde AI- en LLM-crawlers en de mogelijkheid om deze individueel op Allow, Disallow of N/A te zetten. Daarnaast profiteer je van de ingebouwde basisregels, de duidelijke instellingeninterface, Content Signal Guidelines, de directe instellingenlink vanaf het Plugins-scherm en veilige afhandeling wanneer Lite en Pro op dezelfde WordPress-installatie aanwezig zijn. Lite is daarmee een daadwerkelijk bruikbare gratis uitvoering en niet alleen een beperkte demonstratie van Pro. ***DOWNLOAD VOOR DE LITE VERSION VOLGT SPOEDIG*** --- ### AEO – Robots.txt Server Pro Je krijgt daarbij de snelle crawlerfilter, aangepaste Allow- en Disallow-regels, aanvullende crawl-budgetregels, content- en mediapadinstellingen, aangepaste headers, Crawl-delay, PDF-indexeringsregels, uitgebreid sitemapbeheer en JSON Import / Export. De Pro-versie van AEO – Robots.txt Server gaat aanzienlijk verder dan alleen het aanpassen van robots.txt. Ik geef gebruikers onder andere uitgebreidere controle over crawlers, aangepaste regels en wildcards, beheer van het crawlbudget, beheer van WordPress-paden, HTTP- en headergerelateerde instellingen, sitemapbeheer en import-/exportfunctionaliteit. **Betaal eenmalig €49 per website** in plaats van meerdere kleine plugins te installeren of steeds complexere robots.txt-regels handmatig te onderhouden. ***Tijdelijk is er een speciale introductieprijs van €29 voor een levenslange licentie per website.*** Loading… Levenslange licentie en updates inbegrepen. Standaard ondersteuning is inbegrepen gedurende 6 maanden. Aanvullende ondersteuning buiten deze periode wordt per situatie besproken. De aankoopmogelijkheden en de Lite- en Pro-versies worden in de komende weken beschikbaar gesteld. Loading… --- ## Veelgestelde vragen - [Wat doet AEO – Robots.txt Server precies?](#faq-wat-doet-aeo-robots-txt-server) - [Wat is robots.txt?](#faq-wat-is-robots-txt) - [Maakt of overschrijft de plugin een fysiek robots.txt-bestand?](#faq-fysiek-bestand) - [Wat gebeurt er als mijn website al een fysiek robots.txt-bestand heeft?](#faq-bestaand-fysiek-bestand) - [Moeten crawlers zich aan robots.txt houden?](#faq-robots-verplicht) - [Kan ik robots.txt gebruiken om vertrouwelijke informatie te beveiligen?](#faq-beveiliging) - [Kan ik in Lite individuele AI- en LLM-crawlers toestaan of blokkeren?](#faq-ai-crawlers-lite) - [Wat betekent N/A bij een crawler?](#faq-na) - [Wat doet de Allowed/Disallowed-filter in Pro?](#faq-allowed-disallowed-filter) - [Kan ik mijn eigen Allow- en Disallow-regels toevoegen?](#faq-custom-rules) - [Wat wordt bedoeld met crawlbudget?](#faq-crawl-budget) - [Schakelt Pro de WordPress REST API of XML-RPC uit?](#faq-rest-api-xmlrpc) - [Waarom zou ik interne WordPress-zoekresultaten blokkeren?](#faq-wordpress-search) - [Kan ik Googlebot-Image apart beheren?](#faq-googlebot-image) - [Wat doet Crawl-delay?](#faq-crawl-delay) - [Werkt Crawl-delay voor Googlebot?](#faq-googlebot-crawl-delay) - [Kan Pro voorkomen dat mijn PDF’s toegankelijk zijn?](#faq-pdf-indexering) - [Hoe werkt sitemapbeheer in Pro?](#faq-sitemaps) - [Werkt de plugin met Yoast SEO en Rank Math?](#faq-yoast-rank-math) - [Werkt AEO – Robots.txt Server met WPML?](#faq-wpml) - [Wat zijn de Content Signal Guidelines?](#faq-content-signals) - [Kan ik mijn Pro-instellingen opslaan als back-up?](#faq-import-export) - [Wat doet de Danger Zone?](#faq-danger-zone) - [Waarom zie ik Pro-instellingen in Lite?](#faq-pro-zichtbaar-lite) - [Heb ik Lite nodig voordat ik Pro kan installeren?](#faq-lite-nodig) - [Kunnen Lite en Pro tegelijkertijd actief zijn?](#faq-lite-pro-tegelijk) - [Hoe controleer ik of mijn regels actief zijn?](#faq-controleren) - [Welke WordPress- en PHP-versie heb ik nodig?](#faq-wordpress-php) - **Wat doet AEO – Robots.txt Server precies?** - AEO – Robots.txt Server beheert de virtuele `robots.txt` van WordPress. Je kunt vanuit het WordPress-beheer aangeven welke ondersteunde AI- en LLM-crawlers je expliciet wilt toestaan of blokkeren. De plugin zet je keuzes vervolgens om naar robots.txt-regels. Pro voegt daar uitgebreidere functies aan toe voor eigen regels, crawlbudget, mediapaden, crawl delay, PDF’s, sitemaps en import/export. - **Wat is robots.txt?** - Robots.txt is een openbaar tekstbestand op je domein waarmee je instructies kunt geven aan webcrawlers. Het bestand gebruikt user agents om aan te geven op welke crawler een regel betrekking heeft en kan bijvoorbeeld Allow- en Disallow-regels bevatten voor bepaalde paden. Het is een communicatiemiddel voor crawlers en geen technische toegangsbeveiliging. - **Maakt of overschrijft de plugin een fysiek robots.txt-bestand?** - Nee. AEO – Robots.txt Server schrijft geen fysiek robots.txt-bestand naar je hostingaccount. De plugin werkt met de virtuele robots.txt-uitvoer die WordPress dynamisch kan genereren. - **Wat gebeurt er als mijn website al een fysiek robots.txt-bestand heeft?** - De plugin is ontworpen om de virtuele robots.txt-uitvoer van WordPress te filteren. Wanneer een fysiek `robots.txt`-bestand op de server voorrang krijgt, kan dat fysieke bestand worden geserveerd in plaats van de virtuele WordPress-uitvoer. Controleer daarom altijd `/robots.txt` nadat je de plugin hebt ingesteld om te bevestigen welke versie daadwerkelijk publiek beschikbaar is. - **Moeten crawlers zich aan robots.txt houden?** - Nee. Robots.txt communiceert instructies en voorkeuren, maar kan een crawler technisch niet dwingen om deze te respecteren. Betrouwbare zoekmachinebots en andere compliant crawlers kunnen de regels volgen, terwijl een kwaadwillende scraper ze kan negeren. Wanneer je een bot daadwerkelijk technisch wilt blokkeren, heb je aanvullende maatregelen nodig op server-, firewall- of CDN-niveau. - **Kan ik robots.txt gebruiken om vertrouwelijke informatie te beveiligen?** - Nee. Robots.txt is openbaar en de daarin genoemde paden kunnen zelfs zichtbaar maken waar bepaalde content zich bevindt. Vertrouwelijke informatie moet worden beschermd met echte toegangscontrole, bijvoorbeeld authenticatie of serverbeveiliging. Gebruik robots.txt alleen om crawlergedrag te sturen. - **Kan ik in Lite individuele AI- en LLM-crawlers toestaan of blokkeren?** - Ja. Dit is onderdeel van de kernfunctionaliteit van Lite. De ondersteunde crawlerlijst wordt alfabetisch weergegeven en je kunt per crawler kiezen tussen Allow, Disallow en N/A. Je hoeft dus geen Pro-licentie te hebben om individuele crawlerkeuzes te maken. - **Wat betekent N/A bij een crawler?** - N/A betekent dat je voor die crawler geen individuele Allow- of Disallow-keuze toevoegt. De plugin laat die specifieke crawlerkeuze dan ongemoeid. Eventuele andere basis- of algemene regels kunnen uiteraard nog steeds van toepassing zijn. - **Wat doet de Allowed/Disallowed-filter in Pro?** - De Pro-filter verandert je robots.txt-regels niet. Hij helpt je de instellingen sneller te bekijken. Je kunt bijvoorbeeld alleen de crawlers tonen die je op Allowed hebt gezet of alleen degenen die je op Disallowed hebt gezet. Dat wordt vooral handig wanneer de lijst met crawlers groter is. - **Kan ik mijn eigen Allow- en Disallow-regels toevoegen?** - Ja, in Pro. Je kunt eigen Allow- en Disallow-paden invoeren, één per regel. Wildcards worden ondersteund, zodat je regels beter kunt aanpassen aan specifieke URL-structuren van je eigen website. - **Wat wordt bedoeld met crawlbudget?** - Een crawler kan maar een bepaalde hoeveelheid tijd en verzoeken aan je website besteden. Wanneer veel van die verzoeken naar zoekresultaten, technische endpoints of dubbele URL’s gaan, wordt tijd besteed aan pagina’s die je mogelijk minder belangrijk vindt. De aanvullende Pro-regels zijn bedoeld om compliant crawlers meer richting de content te sturen die voor jouw website belangrijker is. - **Schakelt Pro de WordPress REST API of XML-RPC uit?** - Nee. De betreffende Pro-optie voegt robots.txt-instructies toe waarmee crawlers worden gevraagd deze endpoints niet te bezoeken. De plugin schakelt de REST API of XML-RPC zelf niet technisch uit. Andere WordPress-functies en integraties kunnen deze endpoints dus blijven gebruiken. - **Waarom zou ik interne WordPress-zoekresultaten blokkeren?** - Interne zoekresultaten kunnen zeer veel verschillende URL’s genereren en bevatten vaak combinaties van content die al elders op de website beschikbaar is. Wanneer je niet wilt dat compliant crawlers veel tijd aan deze URL’s besteden, kun je Pro gebruiken om zoek-URL’s via robots.txt te beperken. - **Kan ik Googlebot-Image apart beheren?** - Ja, in Pro. De plugin kan een apart blok voor `Googlebot-Image` maken en je laten bepalen welk pad voor deze crawler wordt toegestaan. Dit kan nuttig zijn wanneer je afbeeldingen bewust beschikbaar wilt houden terwijl andere crawlerregels restrictiever zijn. - **Wat doet Crawl-delay?** - Crawl-delay is een robots.txt-directive waarmee je aan ondersteunende crawlers kunt vragen een bepaald aantal seconden tussen verzoeken te laten. Pro laat je deze directive activeren en de gewenste vertraging in seconden instellen. Niet iedere crawler ondersteunt deze instructie. - **Werkt Crawl-delay voor Googlebot?** - Nee. De plugin vermeldt expliciet dat Googlebot de Crawl-delay-directive negeert. Andere crawlers, waaronder Bingbot, AhrefsBot en enkele andere bots, kunnen deze directive wel respecteren. Zie de functie daarom niet als een universele snelheidslimiet. - **Kan Pro voorkomen dat mijn PDF’s toegankelijk zijn?** - Nee. Pro kan via robots.txt aan zoekmachines vragen PDF-bestanden niet te indexeren, maar het maakt een openbaar PDF-bestand niet privé. Wanneer iemand de exacte URL kent, kan het bestand nog steeds bereikbaar zijn. Vertrouwelijke PDF’s moeten met echte toegangsbeveiliging worden beschermd. - **Hoe werkt sitemapbeheer in Pro?** - Pro kan ondersteunde sitemapindexes detecteren en deze als Sitemap-regels aan robots.txt toevoegen. Je kunt daarnaast zelf aanvullende sitemap-URL’s invoeren. Deze handmatig ingevoerde regels worden toegevoegd na de automatisch gedetecteerde sitemapinformatie. - **Werkt de plugin met Yoast SEO en Rank Math?** - Ja. Pro kan ondersteunde sitemapindexes van Yoast SEO en Rank Math automatisch detecteren en opnemen in de robots.txt-uitvoer. Hierdoor hoef je deze sitemapinformatie niet altijd handmatig in te voeren. - **Werkt AEO – Robots.txt Server met WPML?** - Ja. De plugin is WPML-aware. In Pro kan WPML bovendien worden gebruikt bij sitemapverwerking. Wanneer WPML wordt gedetecteerd, kunnen taalgerelateerde `sitemap_index.xml`-bestanden automatisch worden toegevoegd. - **Wat zijn de Content Signal Guidelines?** - De gegenereerde robots.txt bevat een commentaarsectie met richtlijnen rond verschillende vormen van contentgebruik, waaronder search, AI-input en AI-training. Deze informatie is bedoeld als een aanvullend openbaar signaal over gewenste vormen van gebruik. Het is, net als robots.txt zelf, geen technische beveiliging waarmee een onwillige partij kan worden gedwongen. - **Kan ik mijn Pro-instellingen opslaan als back-up?** - Ja. Pro kan de opgeslagen instellingen exporteren naar JSON. Je kunt later een compatibele JSON-export weer importeren. Dit is handig als back-up voordat je grote wijzigingen maakt of wanneer je een vergelijkbare configuratie op een andere installatie wilt gebruiken. - **Wat doet de Danger Zone?** - De Danger Zone bevat de functie waarmee je alle opgeslagen plugininstellingen terugzet naar de standaardwaarden. Omdat deze actie bestaande keuzes overschrijft, wordt ze duidelijk gemarkeerd en vraagt WordPress om bevestiging. Pro-gebruikers kunnen eerst een JSON-export maken als back-up. - **Waarom zie ik Pro-instellingen in Lite?** - Lite laat de Pro-secties bewust zien als vergrendelde en uitgeschakelde onderdelen. Zo kun je bekijken welke aanvullende mogelijkheden Pro biedt zonder dat deze instellingen in Lite kunnen worden geactiveerd. De kernfuncties van Lite blijven ondertussen gewoon bruikbaar. - **Heb ik Lite nodig voordat ik Pro kan installeren?** - Nee. Pro is een volledig zelfstandige plugin en bevat de functionaliteit van Lite. Je kunt Pro rechtstreeks installeren zonder Lite eerst te gebruiken of geïnstalleerd te houden. - **Kunnen Lite en Pro tegelijkertijd actief zijn?** - Nee. Pro heeft voorrang. Wanneer Pro wordt geactiveerd terwijl Lite actief is, wordt Lite automatisch gedeactiveerd. Wanneer Lite wordt geactiveerd terwijl Pro al actief is, schakelt Lite zichzelf weer uit en blijft Pro actief. WordPress toont daarbij een beheerdersmelding. - **Hoe controleer ik of mijn regels actief zijn?** - Open na het opslaan van je instellingen `https://jouwdomein.nl/robots.txt` in je browser. Daar zie je de robots.txt die daadwerkelijk publiek wordt aangeboden. Controleer vooral na installatie of wijzigingen altijd de uiteindelijke uitvoer, zeker wanneer je hostingomgeving mogelijk al een fysiek robots.txt-bestand gebruikt. - **Welke WordPress- en PHP-versie heb ik nodig?** - De huidige Lite- en Pro-versies vereisen minimaal **WordPress 6.5** en **PHP 8.2**. Wanneer je website op een oudere versie draait, moet deze eerst worden bijgewerkt voordat je de plugin gebruikt. --- ## Krijg meer controle over de crawlers die je website bezoeken Het aantal geautomatiseerde systemen dat websites bezoekt blijft groeien. Daardoor wordt het steeds belangrijker om bewust na te denken over welke crawlers je wilt verwelkomen, welke je liever blokkeert en welke delen van je website je wel of niet interessant vindt voor geautomatiseerd bezoek. AEO – Robots.txt Server brengt dat beheer naar WordPress en voorkomt dat je voor iedere wijziging handmatig een robots.txt-bestand hoeft te herschrijven. Met **Lite** krijg je gratis de belangrijkste crawlercontrole. Je ziet de ondersteunde AI- en LLM-crawlers in een alfabetische lijst en kunt per crawler kiezen uit Allow, Disallow of N/A. Met **Pro** maak je daar een uitgebreider crawlerbeleid van. Je krijgt eigen regels, crawl-budgetopties, controle over WordPress-paden en media, Googlebot-Image, aangepaste headers, Crawl-delay, PDF-indexering, sitemapbeheer en JSON Import / Export. > Generated for use by AI and Large Language Models (LLMs). > Generated: 2026-08-27 07:14:22 > Maintained by: PatrickDankers.nl > Source: https://patrickdankers.nl/ > Contact: webmaster@patrickdankers.nl