Αρχείο που χρησιμοποιείται για να κατευθύνει ή να λέει στο web bots ποιες σελίδες και καταλόγους να ευρετηριάζουν ή όχι. Αυτό το αρχείο πρέπει να τοποθετηθεί στον ριζικό κατάλογο του διακομιστή που φιλοξενεί τις σελίδες σας. Το αρχείο θα πρέπει να ονομάζεται robots.txt και θα πρέπει να έχει δικαιώματα ανάγνωσης. Παρακάτω είναι ένα παράδειγμα ενός αρχείου robots.txt.

 # αρχείο robots.txt για //www.computerhope.comUser-agent: * Disallow: / directory1 / 
Disallow: / directory2 /

Στο παραπάνω παράδειγμα robots.txt, η πρώτη γραμμή είναι μια μη εκτελέσιμη δήλωση που περιγράφει το αρχείο. Στη συνέχεια, η γραμμή User-agent αναφέρει τι ρομπότ ή ρομπότ θα πρέπει να ακολουθήσει αυτή την ενότητα του αρχείου. Στο παραπάνω παράδειγμα, το * αντιπροσωπεύει όλα τα bots. Τέλος, οι επόμενες δύο γραμμές είναι οι δύο κατάλογοι που θέλετε τα bots να μην ευρετηριαστούν.

Αν θέλετε να επιτρέψετε σε ένα bot να ερωτήσει όλες τις διευθύνσεις URL στον ιστότοπό σας, πληκτρολογήστε το όνομα του bot που ακολουθείται από την απαγόρευση: με μια κενή τιμή, όπως φαίνεται στο παρακάτω παράδειγμα.

 Χρήστης-πράκτορας: Somebot *
Απαγορεύω: 

Όροι Διαδικτύου, Ετικέτες Meta, Ρομπότ, Όροι SEO, Χάρτης ιστοτόπου, Όροι σχεδιασμού ιστοσελίδων