CarexplorerBot
CarexplorerBot est le robot de recherche de CARexplorer, un assistant de recherche de voitures d'occasion par intelligence artificielle. Il s'identifie avec l'agent :
CarexplorerBot/1.0 (+https://carexplorer.io/robot)
Ce qu'il fait
- Il ne travaille qu'à la demande d'un utilisateur qui décrit la voiture qu'il cherche : pas d'exploration ni de collecte en masse.
- Pour chaque recherche, il lit une seule page de résultats publique par plateforme, et au plus la page de 3 annonces pour vérifier un critère demandé (couleur, équipement…).
- Il respecte le robots.txt de chaque site, vérifié avant chaque lecture : une page interdite n'est pas lue.
- Il ne contourne aucune protection : pas de proxy, pas de rotation d'adresses, pas de résolution de captcha.
- Il n'enregistre pas les annonces et ne les republie pas : l'utilisateur voit un résumé (prix, année, kilométrage…) et un lien direct vers l'annonce d'origine, qui reçoit donc la visite.
Bloquer CarexplorerBot
Ajoutez ces lignes au fichier robots.txt de votre site ; elles sont prises en compte sous 24 heures :
User-agent: CarexplorerBot Disallow: /