Een AI-agent die voor je winkelt of boekt, loopt steeds vaker tegen een dichte deur aan. In de robots.txt-bestanden die wij op 30 oktober 2026 ophaalden, weert Amazon agenten van OpenAI, Anthropic en Perplexity expliciet, en laat Yelp ze alleen toe op zijn artikelpagina’s; tegen TechCrunch zei Yelp dat het verder alleen agenten toelaat die betalen voor zijn datalicentie. Delta zet ze in datzelfde bestand juist welkom, maar laat volgens The Verge toch geen boekingen door agenten toe: wat een site in robots.txt zet, zegt dus weinig over wat je agent er werkelijk mag.
Aanleiding
Anthropic bracht deze maand Claude Duet uit, een agent die zelfstandig in je browser werkt, ook als je de app hebt gesloten (lees ons stuk over Claude Duet). Op de veiligheidspagina schrijft Anthropic dat het vóór de lancering contact zocht met ‘several large websites’ en ze de keuze gaf Duet te weren. Volgens Anthropic deden ‘some’ dat ook. Welke sites dat zijn, noemt Anthropic op die pagina niet.
The Verge beschreef op 17 en 22 oktober hoe winkels, banken en reissites reageren op agenten als Duet, ChatGPT en Muse van Meta. Wij legden die artikelen naast de robots.txt-bestanden van dezelfde sites.
Wat robots.txt is, en wat niet
Robots.txt is een tekstbestand in de hoofdmap van een website. Daarin staat per bot, herkenbaar aan de naam die hij meestuurt (de user-agent), welke delen van de site hij mag bezoeken. Het is een verzoek, geen slot: een bot die zich er niet aan houdt, kan de pagina’s technisch gewoon openen. Afdwingen gebeurt elders, met botdetectie, inlogcontroles en gebruiksvoorwaarden.
AI-bedrijven gebruiken meerdere namen. OpenAI heeft GPTBot (verzamelen van trainingsdata), OAI-SearchBot (zoeken) en ChatGPT-User (als een gebruiker ChatGPT iets laat opzoeken). Anthropic heeft vergelijkbare namen: ClaudeBot, Claude-SearchBot en Claude-User. Die laatste soort, die namens een gebruiker op pad gaat, is wat je onder een agent verstaat.
Claude Duet stuurt volgens Anthropic een eigen User-Agent mee en Anthropic publiceert de IP-adressen waarvandaan Duet browst, ‘so sites can recognize it and decide how to treat it’. Welke naam dat is, staat niet op de pagina. In geen van de bestanden die wij ophaalden, wordt Duet bij naam genoemd.
Wat de robots.txt-bestanden zeggen
| Site | AI-agenten in robots.txt | Wat er verder speelt (volgens The Verge, tenzij anders vermeld) |
|---|---|---|
| Amazon | ChatGPT-User, OAI-SearchBot, Claude-User, Perplexity-User, GPTBot, ClaudeBot en tientallen andere: Disallow / | Rechtszaak tegen Perplexity; vroeg Meta de winkel van Amazon uit Muse te halen |
| Yelp | ChatGPT-User, Claude-User en Perplexity-User alleen toegestaan op /article; GPTBot, ClaudeBot en Google-Extended: Disallow / | Laat alleen agenten toe die betalen voor zijn datalicentie (via TechCrunch) |
| Delta | ‘LLM / AI Crawlers – Explicitly Permitted’: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Google-Extended en andere: Allow / | Voorkomt toch boekingen door agenten |
| Chase | geen regels voor AI-bots, alleen algemene regels | Blokkeert agenten in klantaccounts |
| Charles Schwab | geen regels voor AI-bots | Blokkeert agenten in klantaccounts |
| Target | geen regels voor AI-bots | Werkt samen met OpenAI, Google en Microsoft |
| The RealReal | geen regels voor AI-bots; voor alle bots onder meer /cart, /checkouts en /login verboden | Paste botbeveiliging aan tegen Muse nadat The Verge er artikelen mee in de winkelwagen vasthield; agenten blijven welkom |
Peildatum robots.txt: 30 oktober 2026. Kopieën bewaard bij de redactie. De robots.txt van Yelp gaf bij opvragen met curl een foutmelding (HTTP 403) en is via een andere ophaaldienst gelezen.
Yelp zet bovenaan zijn robots.txt een kop ‘AI / LLM Crawlers and Agents’ met de zin dat geautomatiseerde toegang verboden is ‘except as expressly permitted by Yelp’. Dat sluit aan bij wat Yelp tegen TechCrunch zei: agenten zijn alleen welkom als ze betalen voor toegang via het licentieprogramma van Yelp.
De echte drempels zitten achter de voordeur
Bij Delta, Chase en Schwab gebeurt het weren niet in robots.txt. The Verge meldt dat Delta agenten niet laat boeken en dat Chase en Schwab ze buiten klantaccounts houden. JPMorgan-topman Jamie Dimon noemde agenten in de bank volgens The Verge ’too risky’. Anthropic sluit bankzaken voor Duet overigens zelf al uit: geld overmaken tussen rekeningen en effecten handelen kan niet, ook niet met je toestemming.
Bij The RealReal, een webwinkel voor tweedehands luxe, houdt een artikel in je winkelwagen twintig minuten voor jou vast. Een verslaggever van The Verge liet Muse de tien nieuwste artikelen van een merk in haar winkelwagen zetten, en ze een dag lang opnieuw toevoegen zodra die twintig minuten voorbij waren. Kopen wilde ze niets. Toen The Verge daarover schreef, paste The RealReal zijn botbeveiliging aan tegen dat gedrag van Muse. Agenten blijven welkom, aldus CTO Luke Friang: ze mogen ‘browse, log in and interact with our marketplace’. Ook Shop, de betaalapp van Shopify, verbiedt in zijn regels voor agenten expliciet het omzeilen van ‘rate limits or Cloudflare bot protection’.
Amazon gaat het verst. Het bedrijf procedeert tegen Perplexity over diens winkelagent; het Amerikaanse hof van beroep (Ninth Circuit) vernietigde op 4 augustus een voorlopige maatregel tegen Perplexity, en op 21 september diende Amazon bij de rechtbank in San Francisco een aangepaste klacht in. Amazon vroeg Meta ook om de winkel van Amazon uit Muse te halen. Woordvoerder Maxine Tagay bevestigde dat tegen The Verge en schreef dat apps die namens klanten aankopen doen ‘should operate openly and respect service provider decisions about whether or not to participate’.
Wie de deur openzet
Tegenover Amazon staat Shopify. Volgens de Nederlandse helppagina staan ‘agentic storefronts’ standaard aan voor winkels die daarvoor in aanmerking komen. Producten verschijnen dan in ChatGPT, Google AI Mode en Gemini, Microsoft Copilot en Muse van Meta. Bij ChatGPT reken je af in een browser binnen de app; bij de andere kanalen kan de winkel direct afrekenen in het kanaal aanzetten. Bestellingen via een persoonlijke agent komen in het beheer van de winkel binnen met de naam van de agent erbij. Wil je als winkelier niet meedoen, dan zet je de kanalen uit onder Verkoopkanalen > Agentic.
Shop laat je volgens de eigen helppagina met Shop Pay betalen in Muse, Claude Duet en Instinct. Instinct is een persoonlijke assistent die je volgens de maker per sms of telefoontje opdrachten geeft, en die zelf een telefoon en computer bedient zoals jij dat doet. In Duet en Instinct kan dat ook bij winkels die niet op Shopify draaien: je krijgt dan een eenmalige betaalcode, zodat je echte kaartgegevens niet bij de agent of de winkel komen.
Meta, dat met Muse zelf een agent aanbiedt, reageerde op 6 oktober in een eigen blogpost op sites die Muse weren: ‘Turning away a personal agent means turning away the customer behind it.’ Meta schrijft dat het liever met bedrijven aan hun bezwaren werkt, In dezelfde post presenteert Meta het Personal Agent Protocol, een open standaard waaraan het met Sierra en onder meer Shopify, Stripe en Walmart werkt en die moet vastleggen hoe persoonlijke agenten met bedrijven omgaan.
De tegenargumenten
Sites hebben redenen om voorzichtig te zijn. Een agent kan een fout maken met andermans geld, en Shop waarschuwt dat agenten verkeerde prijzen, verzendkosten of retourregels kunnen tonen. Wie een aankoop goedkeurt via een agent, draagt volgens Shop zelf de verantwoordelijkheid, en een terugboeking kan dan mislukken. Voor een bank of luchtvaartmaatschappij is dat een risico op klachten en fraude.
Ook het verdienmodel speelt mee. Yelp leeft van advertenties en van bezoekers op zijn eigen site. Een agent die alleen de informatie ophaalt, levert geen advertentie-inkomsten op. Een licentie vragen is dan logisch, al is het voor jou als gebruiker vooral een dichte deur.
En aan de kant van de agenten: robots.txt is vrijwillig. Dat Anthropic sites vooraf de keuze gaf en een herkenbare user-agent gebruikt, is een keuze van Anthropic, geen regel. Hoe andere agenten omgaan met een Disallow, kunnen wij van buitenaf niet vaststellen.
Wat je ermee doet
- Gebruik je een agent om te winkelen of te boeken, ga er dan van uit dat Amazon, banken en luchtvaartmaatschappijen niet werken. Doe die stappen zelf.
- Wil je weten hoe een site over AI-bots denkt, typ dan /robots.txt achter het domein. Zoek naar ChatGPT-User, Claude-User of Perplexity-User. Staat er niets, dan zegt dat nog niets over de praktijk.
- Laat je een agent zelf betalen, stel dan een budget in en kijk de retourregels van de winkel na. Een goedgekeurde aankoop is lastig terug te draaien.
- Heb je een Shopify-winkel, kijk dan in je beheer onder Agentic welke AI-kanalen aanstaan. Dat staat standaard aan.
Waarom dit ertoe doet
Agenten als Duet worden pas nuttig als ze de sites kunnen gebruiken waar jij dingen regelt. Op dit moment bepaalt elke site dat zelf, en vaak niet zichtbaar. Daardoor kan dezelfde opdracht bij de ene winkel lukken en bij de andere stilletjes mislukken. Bij Nederlandse sites zie je in robots.txt nog weinig: de bestanden van bol en Albert Heijn noemen op 30 oktober geen enkele AI-bot bij naam. Wat die winkels achter de voordeur doen, hebben we niet onderzocht.
Bronnen
- robots.txt van amazon.com, delta.com, chase.com, schwab.com, target.com, therealreal.com, yelp.com, bol.com en ah.nl, opgehaald door digitalartdesign.nl op 30 oktober 2026.
https://www.yelp.com/robots.txt - Claude Duet Safety, Privacy, and Security, Anthropic, geraadpleegd 30 oktober 2026.
https://claude.com/resources/articles/claude-duet-safety-privacy-and-security - Shopify agentic storefronts, Shopify-helpcentrum, geraadpleegd 30 oktober 2026.
https://help.shopify.com/nl/manual/online-sales-channels/agentic-storefronts - Using Shop with AI agents and agentic platforms, Shop Help Center, geraadpleegd 30 oktober 2026.
https://help.shop.app/en/shop/shopping/personal-agents - A New Way for Businesses and Personal Agents to Work Together, Meta for Business, 6 oktober 2026.
https://www.facebook.com/business/news/a-new-way-for-businesses-and-personal-agents-to-work-together/ - Instinct (homepage), Instinct, geraadpleegd 30 oktober 2026.
https://www.instinct.com - Websites are closing their doors to AI agents, Emma Roth, The Verge, 17 oktober 2026.
https://www.theverge.com/ai-artificial-intelligence/1013195/ai-agents-blocked-web - AI agents are ready to shop. Some retailers are wary, Mia Sato, The Verge, 22 oktober 2026.
https://www.theverge.com/report/1015811/ai-shopping-agents-blocked-amazon-the-realreal-target-meta-muse - The next hurdle for AI agents: getting websites to let them in, Sarah Perez, TechCrunch, 6 oktober 2026.
https://techcrunch.com/2026/10/06/the-next-hurdle-for-ai-agents-getting-websites-to-let-them-in/ - Amazon.com Services, LLC v. Perplexity AI, Inc., No. 26-1444 (uitspraak), U.S. Court of Appeals for the Ninth Circuit, 4 augustus 2026.
https://cdn.ca9.uscourts.gov/datastore/opinions/2026/08/04/26-1444.pdf - First Amended Complaint, Amazon.com Services LLC v. Perplexity AI, Inc., zaak 3:25-cv-09514-MMC, U.S. District Court for the Northern District of California, 21 september 2026.
https://storage.courtlistener.com/recap/gov.uscourts.cand.459191/gov.uscourts.cand.459191.122.0.pdf