User-agent: *
Disallow: /.gabriel/
Disallow: /.DMZ/
Disallow: /forum/

#le fonction User-agent: *   permet d'autoriser tout les moteur de recherche d'aspirer le site
#si la fonction user-agent: a le mot fast a la place de * cela permet uniquement au moteur
#de recherche lycos d'indexer les pages du site
#le mot Disallow fait exclure les dossiers qui y sont donnée 
#indiquant que le robot n'est pas autoriser a les aspirer
#cela est également valable si on n'empéche un dossier nommé /bidule/ et
#bien si une page s'appelle www.wazaa.net/bidule.html elle ne sera pas indexer
#dans l'exemple de code au dessu il autorise tout les moteur a pomper le site
#il n'autorise pas les moteur de recherche a indexer le répertoire privee
#il ne doit y avoir aucune ligne vierge dans le document
#le document robot doit absolument etre ecrit en minuscule de la facon suivante: robots.txt