Pourquoi cafzone.net na pas de robots.txt ??? C est parce que c est W3c ? nan je deconne …
Nan mais vraiment Glop tu peux me dire pourquoi … Parce que bon mon robots a moi Et bé il se fait chier a ce prendre des access denied parce qu’ il va a des endroits qui peut alors bon si qq un peut m expliquer pourquoi y en a pas …
Koubiak enters in the Matrix
Ehhhh c’est quoi ça des robots.txt ?!?!?
[quote]Ehhhh c’est quoi ça des robots.txt ?!?!?[/quote]Un fichier à placer sur le serveur FTP dans un ou plusieurs dossiers et qui donne certaines indications à suivre pour les “robots”.
Exemple: si tu ne veux pas que les moteurs de recherche parcourent l’intégralité de ton site, sans pour autant condamner des dossiers via des protections par mot de passe.
(photos ou coordonnées persos par exemple)
Tout expliqué là:
http://www.robotstxt.org/wc/exclusion.html#robots.txt
Edit: et tout simplement: l’ensemble du site http://www.robotstxt.org/
[darah: de peu ]
Ce message a été édité par koba le 15/05/2003
Sauf erreur, c’est ce qui indique aux agents automatisés (type crawler de moteur de recherche) ce qu’ils doivent et ne doivent pas indexer…
EDIT : koba , trop rapide…
Ce message a été édité par darah le 15/05/2003
Y en avait pas parceque il peut tout indexer si ca lui chante le crawler. De toute facon les pages qui sont pas “a indexer” sont protegees par mot de passe, donc il se demerde le truc. Bon j’en ai mis un pour vous faire plaisir fait en 3 secondes a partir d’un dir /b…
merci !!! Parce que bon c est domage c est tout
Comme tout les code que tu ponds et bé ton robots il est mortel sniff j ai une larme a l oeil mon morteur de recherche est bientot pres
Koubiak