FlexySearch (Beta)
Politique de Crawl (Beta)
Qu'est-ce que le crawl ?
Le crawl est le processus par lequel Flexy Search explore automatiquement le web pour découvrir, analyser et indexer des pages.
Notre crawler est conçu pour respecter les standards du web et suivre les directives des sites visités.
Respect des standards
robots.txt
Nous respectons scrupuleusement ce fichier. Les pages interdites ne sont jamais crawlé.
Meta tags
Les balises noindex et nofollow sont appliquées. Les pages avec noindex ne sont pas indexées.
Rate limiting
Pour ne pas surcharger les serveurs, notre crawler applique un délai respectueux entre les requêtes vers un même domaine.
User-Agent clair
FlexyCrawler/1.0 identifie nos requêtes, permettant aux webmasters de suivre facilement l'activité du crawler.
Critères d'indexation
Toutes les pages explorées ne sont pas automatiquement indexées. Nous sélectionnons uniquement les contenus pertinents selon plusieurs critères :
- Contenu de qualité : texte significatif et structuré
- Région : priorité aux contenus européens, tout en acceptant des contenus internationaux de qualité
- Langue : détection automatique
- Statut HTTP : seules les pages accessibles (HTTP 200) sont indexées
- Structure HTML : titres, paragraphes et balises sémantiques sont pris en compte
Contenu exclu
Certaines pages ne sont jamais indexées :
- Pages dupliquées ou vides
- Pages bloquées par robots.txt ou meta noindex
- Fichiers binaires (images, PDF, etc.), seuls leurs métadonnées sont analysées
Vie privée et RGPD
Nous respectons la vie privée des utilisateurs et des sites visités :
- Seul le contenu public est collecté
- Aucune donnée personnelle n'est stockée sans consentement
- Conformité RGPD pour les contenus européens
- Possibilité de demander la désindexation d'une page ou d'un site
Contact et désindexation
Pour retirer un contenu de notre index, vous pouvez :
- Ajouter une directive
noindexdans les meta tags - Bloquer notre crawler via
robots.txt - Nous contacter directement via flexcb.fr
Toutes les demandes sont traitées dans les meilleurs délais.
Fréquence de crawl
La fréquence dépend du type de site :
- Nouveaux sites : crawlé à la découverte
- Sites populaires : toutes les semaines
- Sites peu actifs : mensuellement
- Pages d'accueil : priorité élevée, crawl plus fréquent