Identité du crawler

SergeBot

SergeBot est le crawler qui alimente le scanner de trouvabilité produit de Serge. Il vérifie si les utilisateurs derrière les agents IA peuvent trouver des produits sur votre domaine en inspectant les métadonnées lisibles par machine et la structure du site. Chaque requête s'identifie dans la chaîne User-Agent. Chaque requête correspond à une action réelle.

Chaîne User-Agent

Chaque requête de SergeBot s'identifie avec ce User-Agent exact :

SergeBot/1.0 (+https://serge.ai/bot; product-findability-scanner)

Ce que fait SergeBot

SergeBot ne s'exécute que quand un utilisateur lance un scan. Ce n'est pas un crawler autonome et il ne parcourt pas votre site. Chaque scan effectue un petit ensemble fixe de requêtes vers des chemins bien connus :

Ressource	Objet
`/llms.txt`	Description produit pour LLM
`/llms-full.txt`	Documentation LLM étendue
`/openapi.json`	Spécification OpenAPI
`/.well-known/agent.json`	Carte d'agent A2A
`/.well-known/agents.json`	Carte de répertoire d'agents
`/robots.txt`	Permissions de crawler
`/sitemap.xml`	Structure du site
`/`	Page d'accueil (données structurées, JSON-LD)
`/docs, /api, /developers`	Détection du hub développeur
`/pricing`	Détection de la page de tarifs

SergeBot interroge également des registres externes (MCP Registry, PulseMCP, npm) pour la présence de SDK et de serveurs MCP. Ces requêtes ne touchent pas votre infrastructure.

Ce que SergeBot ne fait pas

Scraper, indexer ou stocker le contenu de votre page

Suivre des liens ou crawler au-delà de l'ensemble fixe de ressources

Entraîner des modèles IA sur votre contenu

Accéder aux pages authentifiées ou privées

Contourner les CAPTCHAs ou les défis de protection bot

Usurper son identité ou faire tourner les chaînes User-Agent

Limites de débit

Limite	Valeur
Max requêtes par domaine par scan	`~20`
Max requêtes simultanées par domaine	`6`
Timeout par requête	`8 seconds`
Durée du scan	`< 30 seconds`

SergeBot respecte les directives robots.txt et les valeurs Crawl-delay.

Contrôler l'accès

Autoriser SergeBot

User-agent: SergeBot
Allow: /

Bloquer SergeBot

User-agent: SergeBot
Disallow: /

Si votre site bloque SergeBot, les résultats de scan afficheront les vérifications comme non concluantes plutôt qu'échouées. Bloquer le scanner signifie aussi que les agents IA empruntant les mêmes chemins rencontreront probablement les mêmes restrictions.

Traitement des données

StockéScores de scan, résultats des vérifications (pass/fail/warn) et suggestions de correction

Non stockéContenu brut de la page, source HTML ou toute donnée au-delà de ce dont les vérifications ont besoin

ConservationLes résultats de scan sont conservés pour les calculs de benchmark. Aucune PII n'est collectée depuis les domaines scannés.

Contact

Questions sur SergeBot, faux positifs ou problèmes d'accès :

E-mailbot@serge.ai

Docsserge.ai/docs