SergeBot
SergeBot ist der Crawler der Website-Prüfwerkzeuge von Serge. Diese Seite beschreibt den technischen Dienst, seinen User-Agent und die Möglichkeiten, den Zugriff zu sperren. Die Website-Prüfung ist von der Vorbereitung von ChatGPT-Kampagnen getrennt und garantiert weder Werbezulassung noch Auslieferung.
User-Agent-String
Jede Anfrage von SergeBot identifiziert sich mit genau diesem User-Agent:
SergeBot/1.0 (+https://www.serge.ai/bot; product-findability-scanner)Was SergeBot tut
SergeBot läuft nur, wenn ein Nutzer einen Scan auslöst. Er ist kein autonomer Crawler und durchsucht Ihre Site nicht. Jeder Scan stellt eine kleine, feste Menge an Anfragen an bekannte Pfade:
| Ressource | Zweck |
|---|---|
/llms.txt | LLM-Produktbeschreibung |
/llms-full.txt | Erweiterte LLM-Dokumentation |
/openapi.json | OpenAPI-Spezifikation |
/.well-known/agent.json | A2A-Agent-Karte |
/.well-known/agents.json | Agent-Verzeichnis-Karte |
/robots.txt | Crawler-Berechtigungen |
/sitemap.xml | Site-Struktur |
/ | Startseite (strukturierte Daten, JSON-LD) |
/docs, /api, /developers | Entwicklerhub-Erkennung |
/pricing | Preisseite-Erkennung |
SergeBot fragt auch externe Verzeichnisse ab (MCP Registry, PulseMCP, npm) auf SDK- und MCP-Server-Präsenz. Diese Anfragen berühren Ihre Infrastruktur nicht.
Was SergeBot nicht tut
Rate-Limits
| Limit | Wert |
|---|---|
| Max. Anfragen pro Domain pro Scan | ~20 |
| Max. parallele Anfragen pro Domain | 6 |
| Timeout pro Anfrage | 8 seconds |
| Scan-Dauer | < 30 seconds |
SergeBot respektiert robots.txt-Direktiven und Crawl-delay-Werte.
Zugriff steuern
User-agent: SergeBot
Allow: /User-agent: SergeBot
Disallow: /Das Sperren von SergeBot kann seine Prüfungen ergebnislos machen. Andere Crawler haben eigene Identitäten und Regeln; diese Einstellung bestimmt weder die Freigabe des OpenAI-Kontos noch die Anzeigenauslieferung.
Datenverarbeitung
Kontakt
Fragen zu SergeBot, False Positives oder Zugriffsproblemen: