Aller au contenu
Identité du crawler

SergeBot

SergeBot est le robot utilisé par les outils d’inspection de sites de Serge. Cette page décrit ce service technique, son user-agent et les moyens de bloquer son accès. L’inspection est distincte de la préparation de campagnes ChatGPT et ne garantit pas l’éligibilité ni la diffusion des annonces.

Chaîne User-Agent

Chaque requête de SergeBot s'identifie avec ce User-Agent exact :

SergeBot/1.0 (+https://www.serge.ai/bot; product-findability-scanner)

Ce que fait SergeBot

SergeBot ne s'exécute que quand un utilisateur lance un scan. Ce n'est pas un crawler autonome et il ne parcourt pas votre site. Chaque scan effectue un petit ensemble fixe de requêtes vers des chemins bien connus :

RessourceObjet
/llms.txtDescription produit pour LLM
/llms-full.txtDocumentation LLM étendue
/openapi.jsonSpécification OpenAPI
/.well-known/agent.jsonCarte d'agent A2A
/.well-known/agents.jsonCarte de répertoire d'agents
/robots.txtPermissions de crawler
/sitemap.xmlStructure du site
/Page d'accueil (données structurées, JSON-LD)
/docs, /api, /developersDétection du hub développeur
/pricingDétection de la page de tarifs

SergeBot interroge également des registres externes (MCP Registry, PulseMCP, npm) pour la présence de SDK et de serveurs MCP. Ces requêtes ne touchent pas votre infrastructure.

Ce que SergeBot ne fait pas

×
Scraper, indexer ou stocker le contenu de votre page
×
Suivre des liens ou crawler au-delà de l'ensemble fixe de ressources
×
Entraîner des modèles IA sur votre contenu
×
Accéder aux pages authentifiées ou privées
×
Contourner les CAPTCHAs ou les défis de protection bot
×
Usurper son identité ou faire tourner les chaînes User-Agent

Limites de débit

LimiteValeur
Max requêtes par domaine par scan~20
Max requêtes simultanées par domaine6
Timeout par requête8 seconds
Durée du scan< 30 seconds

SergeBot respecte les directives robots.txt et les valeurs Crawl-delay.

Contrôler l'accès

Autoriser SergeBot
User-agent: SergeBot
Allow: /
Bloquer SergeBot
User-agent: SergeBot
Disallow: /

Bloquer SergeBot peut rendre ses vérifications non concluantes. Les autres robots ont leurs propres identités et règles ; ce réglage ne détermine pas la validation du compte OpenAI ni la diffusion des annonces.

Traitement des données

StockéScores de scan, résultats des vérifications (pass/fail/warn) et suggestions de correction
Non stockéContenu brut de la page, source HTML ou toute donnée au-delà de ce dont les vérifications ont besoin
ConservationLes résultats de scan sont conservés pour les calculs de benchmark. Aucune PII n'est collectée depuis les domaines scannés.

Contact

Questions sur SergeBot, faux positifs ou problèmes d'accès :

E-mailbot@serge.ai
Docsserge.ai/docs