El que llegeix un bot quan entra a la teva web
ChatGPT, Claude o Perplexity no miren la teva web com una persona: demanen fitxers concrets i en llegeixen la resposta. Escriu el domini i farem les mateixes peticions que ells.
Les peticions que farem
GEThttps://exemple.cat/
la portada, tal com arriba
GEThttps://exemple.cat/
Accept: text/markdown
la portada, demanada en Markdown
GEThttps://exemple.cat/robots.txt
les normes per als robots
GEThttps://exemple.cat/sitemap.xml
el mapa de pàgines
GEThttps://exemple.cat/.well-known/api-catalog
Accept: application/linkset+json, application/json
el catàleg d'API
GEThttps://exemple.cat/.well-known/mcp/server-card.json
Si no hi és: /.well-known/mcp/server-cards.json · /.well-known/mcp.json
la fitxa del servidor MCP
GEThttps://exemple.cat/.well-known/agent-skills/index.json
Si no hi és: /.well-known/skills/index.json
l'índex d'habilitats per a agents
GEThttps://exemple.cat/.well-known/openid-configuration
Si no hi és: /.well-known/oauth-authorization-server
com s'hi identifica un agent
8 peticions de lectura a adreces públiques, i fins a 4 alternatives si alguna no hi és. No toquem res.
Prefereixes preguntar directament? Parla amb nosaltres per WhatsApp
Què mira, en quatre parts
Cada petició respon una pregunta senzilla. Per entendre el resultat no cal saber programar; per arreglar-lo, de vegades sí.
- Descobribilitat
- Un bot pot trobar totes les pàgines i saber per on començar?
- GET /GET /sitemap.xml
- Contingut
- Si un agent demana el text net, en Markdown, el rep o ha de desxifrar l'HTML?
- GET /Accept: text/markdown
- Control d'accés
- Has dit als bots d'IA què poden llegir i per a què poden fer servir el que llegeixen?
- GET /robots.txt
- API, MCP i habilitats
- Un agent pot fer coses a la teva web (consultar, reservar) i no només llegir-la? Només cal si ofereixes aquests serveis.
- GET /.well-known/api-catalogAccept: application/linkset+json, application/jsonGET /.well-known/mcp/server-card.jsonGET /.well-known/agent-skills/index.jsonGET /.well-known/openid-configuration
Per què li hauria d'importar a una pime
La gent pregunta abans de buscar
Cada cop més clients pregunten a ChatGPT, Claude o Perplexity quina empresa els convé. Aquests assistents llegeixen webs per respondre, i el que no poden llegir bé no ho poden citar.
Els estàndards són recents
Sis de les deu comprovacions miren estàndards que han aparegut des de 2023, i alguns encara són esborranys. Saber on ets ara evita sorpreses quan s'assentin.
Sovint és poca feina
Moltes millores són un fitxer de text o unes línies al robots.txt. Les més avançades (MCP, OAuth) només tenen sentit si la web ofereix serveis a agents.
Basat en estàndards públics: robots.txt (RFC 9309), sitemaps.org, Web Linking (RFC 8288), Content Signals (esborrany IETF), API Catalog (RFC 9727), MCP, Agent Skills i OAuth/OIDC. Inspirat per isitagentready.com.