NEXTNET - Δωρεάν Διαδικτυακές Υπηρεσίες

Η σημασία του αρχείου robots.txt και πως να το φτιάξεις

Χρήσιμες και δωρεάν πληροφορίες για αρχείο robots.txt 😁 και τρόποι δημιουργίας του για το site σου. 

"Κατέβασε" εντελώς δωρεάν 3 ηλεκτρονικά βιβλία (PDF ebooks)!

1. Δωρεάν στρατηγική κέρδους

2. Οδηγός για νέες ιστοσελίδες

3. Βγάλε λεφτά με το bitcoin

Απλά βάλε το email σου στη παρακάτω φόρμα και θα λάβεις άμεσα τα 3 ebooks!

Email:



Συμφωνώ με τους όρους χρήσης και την πολιτική απορρήτου.

Μισώ το SPAM! Η διεύθυνση email σου είναι ασφαλής και δεν θα γνωστοποιηθεί ποτέ σε τρίτους! Αν ενδιαφέρεσαι, Μάθε περισσότερα για τα 3 ebooks...

Στο άρθρο για τα πλεονεκτήματα του αρχείου sitemap.xml είδαμε ότι ένας χάρτης ιστοσελίδας (sitemap) είναι σημαντικός γιατί αποτελεί μια μορφή επικοινωνίας με τις μηχανές αναζήτησης που τις βοηθάει να μάθουν τη δομή του site σου και ποιές σελίδες να ευρετηριάσουν και να εμφανίζουν στα αποτελέσματα αναζήτησης (SERPs - Search Engine Results Pages). Στο παρόν άρθρο θα μιλήσω για το αρχείο robots.txt, ποιά η σημασία του και πως να το φτιάξεις.

Οι μηχανές αναζήτησης όπως το Google χρησιμοποιούν αυτοματοποιημένα προγράμματα (robots, crawlers, spiders) για να επισκεφθούν μια ιστοσελίδα, να μάθουν τα περιεχόμενα της και να την ευρετηριάσουν δηλαδή να την εντάξουν στα αποτελέσματα αναζήτησης τους που παρουσιάζονται στους χρήστες όταν αυτοί κάνουν αναζητήσεις. Τα spiders αναζητούν την ύπαρξη του αρχείου robots.txt για να ξέρουν ποιά περιεχόμενα ενός site να "σκανάρουν" και ποιά όχι.

Για παράδειγμα αν ορίσεις στο robots.txt ότι μια σελίδα στο site σου δεν θέλεις να "σκαναριστεί" από τα spiders τότε αυτή η σελίδα δεν θα ενταχθεί στα αποτελέσματα αναζήτησης των search engines και οι χρήστες δεν θα μπορούν να τη βρούν. Το να μην επιτρέπεις στις μηχανές αναζήτησης να έχουν πρόσβαση σε τμήματα/σελίδες του site σου είναι σημαντικό τόσο από πλευράς SEO (Search Engine Optimization) όσο και για λόγους ιδιωτικότητας (δες και αυτό το άρθρο με τις καλύτερες πρακτικές SEO για ένα site).

Το robots.txt είναι ένα αρχείο κειμένου (.txt) που μπορείς να φτιάξεις με διάφορους τρόπους και βέβαια με το Σημειωματάριο (Notepad) των Windows. Ας δούμε ένα παράδειγμα κώδικα που μπορεί να περιλαμβάνεται σε ένα αρχείο robots.txt:

User-agent: *
Disallow: /thank-you.html

Ο παραπάνω κώδικας αποτρέπει τα spiders όλων των μηχανών αναζήτησης από το να έχουν πρόσβαση στην σελίδα thank-you.html

Η εντολή (command) User-agent:* με την χρήση του αστερίσκου (*) μας λέει ότι η πρόσβαση απαγορεύεται σε όλα τα spiders. Μπορούσε να έχει την εξής μορφή:

User-agent: Googlebot

Με την παραπάνω εντολή απαγορεύεται η πρόσβαση μόνο στο Google ενώ τα robots των υπόλοιπων μηχανών αναζήτησης θα μπορούν να έχουν πρόσβαση.

Το αρχείο robots.txt πρέπει αφού δημιουργηθεί να "ανέβει" στον κύριο φάκελο στον server σου π.χ.:

http://mydomain.gr/robots.txt

Γιατί να απαγορεύσεις την πρόσβαση σε σελίδες ή τμήματα του site σου;

Υπάρχουν μερικοί βασικοί λόγοι για να αποτρέψεις τα spiders των μηχανών αναζήτησης από το να έχουν πρόσβαση σε κάποιες σελίδες ή τμήματα του site σου. Για παράδειγμα αν έχεις δυο ίδιες σελίδες δηλαδή με το ίδιο πάνω-κάτω περιεχόμενο τότε καλό είναι να διακόψεις την πρόσβαση σε μια από τις δυο σελίδες για λόγους SEO. Στις μηχανές αναζήτησης δεν αρέσει να βλέπουν το ίδιο περιεχόμενο σε δυο διαφορετικές σελίδες σε ένα site (duplicate content).

Ένας άλλος λόγος είναι αν έχεις μια σελίδα στο site σου στην οποία θέλεις οι χρήστες να έχουν πρόσβαση μόνο αφού εκτελέσουν κάποια ενέργεια (π.χ. αφού εισάγουν το email τους σε κάποια φόρμα). Για παράδειγμα αν παρέχεις ένα δωρεάν ebook με αντάλλαγμα τη διεύθυνση email των χρηστών τότε δεν θέλεις η σελίδα που παρέχει πρόσβαση στο ebook να ευρετηριαστεί και να είναι διαθέσιμη σε όλους τους χρήστες παρά μόνο σε όσους δίνουν το email τους (δες και αυτό το άρθρο για το πως να γράψεις ένα ebook για να το δώσεις δωρεάν στους χρήστες του site σου).

Ένας τρίτος λόγος για να απαγορεύσεις τη πρόσβαση μέσω του robots.txt είναι όταν θέλεις να προστατεύσεις κάποια τμήματα του site σου π.χ. τον φάκελλο cgi-bin ή τον φάκελλο με τις εικόνες του site σου. Για παράδειγμα μπορεί να θέλεις να αποτρέψεις τις μηχανές αναζήτησης όπως το Google από το να ευρετηριάσουν τις εικόνες σου ώστε να μην μπορούν να τις χρησιμοποιούν τρίτοι ξοδεύοντας το bandwidth σου.

Δημιουργία του αρχείου robots.txt

Μπορείς να δημιουργήσεις το αρχείο πρόσβασης για τα spiders μέσα από το Google Search Console (πρώην Google webmaster tools). Επίσης υπάρχουν πολλά δωρεάν εργαλεία στο internet για αυτόν ακριβώς το σκοπό. Απλά κάνε μια αναζήτηση για "robots.txt creator" ή "robots.txt generator" ή κάτι αντίστοιχο. Τέλος μπορείς να γράψεις το αρχείο στο Σημειωματάριο (Notepad) των Windows...:

Sitemap: http://www.mydomain.gr/sitemap.xml
User-agent:*
Disallow:/images/
Disallow:/books/free-ebook/
Disallow:/thank-you.html
Παράδειγμα αρχείου robots.txt στο Σημειωματάριο (Notepad)

Αυτό ήταν!

Μπορείς να ορίσεις και άλλες εντολές στο αρχείο αλλά για αρχή ας το κρατήσουμε στην πιο απλοϊκή του μορφή...

Είναι σημαντικό να χρησιμοποιείς το αρχείο robots.txt αν θέλεις να περιορίσεις την πρόσβαση σε συγκεκριμένα τμήματα ή σελίδες του site σου. Η δημιουργία του είναι απλή και εξασφαλίζει προστασία ευαίσθητων περιοχών και καλύτερα SEO αποτελέσματα (δες και αυτό το άρθρο για τις καλύτερες πρακτικές SEO για το site σου). Μαζί με το robots.txt προτείνεται να χρησιμοποιείς και έναν χάρτη ιστοσελίδας (sitemap). Διάβασε και αυτό το άρθρο για τα πλεονεκτήματα του αρχείου sitemap.xml και πως να το φτιάξεις.

Αν χρειάζεσαι συμβουλές πάνω σε θέματα διαδικτύου ή κάποιον ειδικό να συζητήσεις για την προώθηση του ιστότοπου σου τότε μπορείς να νοικιάσεις όσο από τον χρόνο μου επιθυμείς και θα κάτσω με σοβαρότητα και επαγγελματισμό να μοιραστώ όλα όσα έχω μάθει τα τελευταία 15 χρόνια για το internet, το marketing, το SEO και γενικά το διαδίκτυο. Κλείσε μια συνεδρία μαζί μου μέσω της υπηρεσίας "Διαδικτυακός Σύμβουλος" και θα δώσω τον καλύτερο μου εαυτό για να σε βοηθήσω.-

Σε ευχαριστώ για την ανάγνωση. Για να σε ανταμείψω σου προσφέρω 3 ηλεκτρονικά βιβλία μου (ebook) εντελώς δωρεάν! Απλά κάνε εγγραφή στις ενημερώσεις nextnet.gr και μετά την ολοκλήρωση της (100% δωρεάν) θα λάβεις τους συνδέσμους (download links) για να "κατεβάσεις" τα ebooks. Βάλε το καλύτερο email σου στη παρακάτω φόρμα:



Σου άρεσε το παραπάνω άρθρο; Μοιράσου το με τους φίλους σου...:



ΑΝΑΖΉΤΗΣΗ ΣΤΟ SITE:

Ταξίδι Χρωματισμού στο Ηλιακό μας Σύστημα
Αυτό το μεγάλο σε διαστάσεις βιβλίο θα σου προσφέρει έντονες επιμορφωτικές στιγμές χρωματισμού των πλανητών του ηλιακού μας συστήματος. Όλα ξεκινάνε στη Γη με μια δυνατη επιθυμία για ένα ταξίδι στο Φεγγάρι και καταλήγουν με ένα μεγάλο ταξίδι προς τον Ποσειδώνα... Ένα βιβλίο χρωματισμού για όλες τις ηλικίες...

Απόκτησε το από το Amazon

Δες το εσωτερικό του βιβλίου

Ταξίδι Χρωματισμού στο Ηλιακό μας Σύστημα
ΕγγραφήΔΩΡΕΆΝ εγγραφή στις ενημερώσεις NEXTNET
Για να μαθαίνεις μέσω e-mail τα νέα του nextnet.gr (π.χ. όταν δημοσιεύεται κάποιο άρθρο ή κάποια προσφορά) συμπλήρωσε το e-mail σου στη παρακάτω φόρμα. Η εγγραφή είναι 100% δωρεάν! Η διεύθυνση email σου είναι ασφαλής και δεν πρόκειται να πουληθεί ή ενοικιαστεί ή με οποιονδήποτε τρόπο φανερωθεί σε τρίτους. Με την ολοκλήρωση της εγγραφής θα λάβεις ως δώρο 3 χρήσιμα ηλεκτρονικά βιβλία (ebook) που μπορεί να αλλάξουν τη ζωή σου! Μάθε περισσότερα...

VCard
ΝΕΧΤΝΕΤ - Υπηρεσίες διαδικτύου
Κων/πόλεως 4, T.K. 53100 - Φλώρινα, Ελλάδα.
Τηλέφωνο: +30.2385037961
http://nextnet.gr
Δωρεάν
Γίνε Μαγνήτης Υγείας & Πλούτου
Ένα καλογραμμένο και κατανοητό βιβλίο που θα σε διδάξει πως να χρησιμοποιείς τον Νόμο της Έλξης για να έχεις μια τέλεια υγεία και πως να δημιουργείς πλούτο και να τον υποδέχεσαι. Το βιβλίο πρωτοεκδόθηκε το 2012 αλλά είναι ακόμα επίκαιρο και απευθύνεται σε όλους όσους έχουν Ελληνική Ψυχή (και ξέρουν να διαβάζουν Ελληνικά φυσικά)

Απόκτησε το από το Amazon

Δες το εσωτερικό του βιβλίου

Γίνε μαγνήτης υγείας και πλούτου από Λάζαρο Γεωργούλα
Εγγραφή στην Payoneer
OK ΕΠΙΚΟΙΝΏΝΗΣΕ ΜΕ NEXTNET...
...για διαδικτυακά θέματα ή για να πεις τη γνώμη σου... ΚΑΝΕ ΚΛΙΚ ΕΔΩ.
Εναλλακτικά ας μιλήσουμε μέσω chat. Κάνε κλικ στο μπλε εικονίδιο στο κάτω αριστερά μέρος του ιστότοπου.

ΕΎΡΕΣΗ ΕΡΓΑΣΊΑΣ ΣΤΗΝ ΕΛΛΆΔΑ

Jooble Ελλάδα

Εφημερίδα ΗΧΩ Φλώρινας
Όλα τα νέα από τις περιοχές Φλώρινας, Αμυνταίου & Πρεσπών (και όχι μόνο)...
Εφημερίδα ηχώ Φλώρινας Επισκέψου την ιστοσελίδα της εφημερίδας ή το Ηχώ Φλώρινας blog ή ακόμα γινε συνδρομητής στην έντυπη ή στην ηλεκτρονική εφημερίδα.
download ΓΙΑ ΝΈΕΣ ΙΣΤΟΣΕΛΊΔΕΣ & BLOGS!
Μόλις έφτιαξες την καινούργια σου ιστοσελίδα ή blog και δεν ξέρεις πως να την κάνεις γνωστή στις μηχανές αναζήτησης όπως το Google κ.α.; Στον μίνι οδηγό που μπορείς να κατεβάσεις εντελώς δωρεάν θα βρεις συμβουλές βήμα προς βήμα για να... πάρει μπρος η ιστοσελίδα σου!

"Κατέβασε" δωρεάν τον χρήσιμο οδηγό PDF

Προώθηση στις μηχανές αναζήτησης...

Κινέζικη αστρολογία

Κινέζικος ζωδιακός κύκλος

Ένα διαφορετικό site για την ανατολική φιλοσοφία και την κινέζικη αστρολογία. Ανακάλυψε τα μυστικά και τις ιδιότητες των 12 ζωδίων, τα 5 συμπαντικά στοιχεία και πολλές ακόμα σχετικές πληροφορίες...
download Η επανάσταση του bitcoin είναι εδώ!
Το bitcoin είναι το πιο δημοφιλές ψηφιακό νόμισμα της εποχής μας. Επίσης αποτελεί ευκαιρία για να κερδίσεις χρήματα αφού η τιμή του αυξάνεται συνεχώς. Σου παρουσιάζω μια στρατηγική με την οποία μπορείς κι εσύ να αποκτήσεις (χωρίς εργασία) bitcoin τα οποία έπειτα μπορείς να μετατρέψεις σε ευρώ. Πάρε κι εσύ μέρος στην επανάσταση των ψηφιακών νομισμάτων!

"Κατέβασε" εντελώς δωρεάν τον PDF οδηγό.

Ψηφιακό νόμισμα bitcoin

Διάβασε το άρθρο: "Είναι το τέλος του bitcoin και του bitcoin mining;"
Καλλιέργεια Λαχανικών Σε Κήπο
Ένα βιβλίο χρήσιμο καλοτυπωμένο, με εικόνες για όσους διαθέτουν κήπο. Το βιβλίο σε διδάσκει πώς να καλλιεργήσεις με επιτυχία 8 βασικά λαχανικά που εντάσσονται στη Μεσογειακή διατροφή: Ντομάτα, Πιπεριά, Αγγούρι, Μαρούλι, Κρεμμύδι, Λάχανο, Κολοκύθα, Καρότο. Απόκτησε το σήμερα στη χαμηλότερη δυνατή τιμή!

Απόκτησε το από το Amazon

Δες το εσωτερικό του βιβλίου

Καλλιέργεια Λαχανικών σε Κήπο - Ελληνική έκδοση

Φασόλι Πρέσπας

Τα πιο νόστιμα φασόλια που υπάρχουν και παράγονται στον ευλογημένο τόπο των Πρεσπών. Γνωρίστε τον τοπικό παραγωγό, μάθετε για τη διαδικασία παραγωγής (βιολογικά φασόλια), δείτε συνταγές με φασόλια και παραγγείλτε τα όσπρια της αρεσκείας (μαζί με φακή και ρεβύθια). Όλα από τη Πρέσπα...
Φασόλια Πρεσπών

Σύμβουλος Διαδικτύου

από το nextnet.gr Λογότυπο nextnet.gr Κωνσταντινουπόλεως 4, ΤΚ53100 Φλώρινα, Ελλάδα +30.2385037961 0€ - 49.99€
Παρέχει συμβουλές για διαδικτυακά θέματα σε Φλώρινα, Ελλάδα και Κόσμο...
  • Για Διαδικτυακά θέματα:
    • Πώς να στήσεις το site σου
    • Πως να κάνεις γνωστό το site σου
    • Πως να βγάλεις χρήματα από το site σου
  • Αλλά και Διάφορες Συμβουλές όπως:
    • Πως να διαχειρίζεσαι κρυπτονομίσματα
    • Πως να προωθηθείς στα Social Media
    • Πως να αυτόεκδόσεις ένα βιβλίο κ.α.

Αν έχεις διαδικτυακές απορίες και χρειάζεσαι κάποιον ειδικό για να συζητήσεις και να πάρεις λύσεις και απαντήσεις, υπάρχει η υπηρεσία "Σύμβουλος Διαδικτύου" από το nextnet.gr - Νοίκιασε άμεσα χρονο:
Paypal verified
Χρόνος
download Δωρεάν στρατηγική κέρδους!
Βγάλε πολλά χρήματα ξεκινώντας με μηδενικό κεφάλαιο και χτίζοντας μια αυτοκρατορία μέσα από μια δωρεάν ιστοσελίδα/blog. Ένα πανέξυπνο και έγκυρο concept για όλους τους χρήστες του internet που θέλουν να ανεξαρτητοποιηθούν οικονομικά... μια για πάντα! Με χρήσιμες συμβουλές βήμα προς βήμα.

Κάνε κλικ εδώ για να κατεβάσεις τον PDF οδηγό.

Απόκτησε θησαυρό
wordpress site
Ζωγράφισε & Χρωμάτισε τους 12 Ολύμπιους Θεούς
Ένα μοναδικό βιβλίο, καλοτυπωμένο με χρήσιμες πληροφορίες για τους 12 Ολύμπιους θεούς και σελίδες για να ζωγραφίσεις και να χρωματίσεις τις φιγούρες τους... Αν εμπνέεσε από το δωδεκάθεο τότε πρέπει να το δεις. Από την Δήμητρα, την Αθηνά και την Αφροδίτη μέχρι τον Δία, τον Άρη και τον Ήφαιστο. Απόκτησε το σήμερα!

Δες το στο Amazon

Δες το εσωτερικό του βιβλίου

Ζωγράφισε & Χρωμάτισε τους 12 Ολύμπιους Θεούς
Verify your site with eCert by nextnet.gr

Ηχωμαγειρέματα

Παραδοσιακές και όχι μόνο συνταγές μαγειρικής με αναλυτικές περιγραφές και φωτογραφίες. Η Αυγή και οι φίλοι/ες της ετοιμάζουν ένα σωρό τοπικά εδέσματα της Φλώρινας, της Δυτικής Μακεδονίας και άλλων περιοχών. Αν σε ενδιαφέρει η μαγειρική, η παράδοση ή ψάχνεις νέες ιδέες για συνταγές ρίξε μια ματιά σε αυτό το πλούσιο site...

Χειρομαντεία

Μπες στα άδυτα της Χειρομαντείας με τη βοήθεια αυτού του ελεύθερου site. Δωρεάν πληροφορίες για να μάθεις να διαβάζεις το χέρι σου ή χέρια άλλων και να προβλέπεις το μέλλον. Επίσης πρωτοποριακά PDF βιβλία εντελώς δωρεάν! Μη το χάσεις...
Ελεύθερη Χειρομαντεία από το nextnet.gr
ok
3 ebooks εντελώς δωρεάν!

"Κατέβασε" εντελώς δωρεάν τα 3 ηλεκτρονικά μου βιβλία (PDF ebooks) με πληροφορίες και στρατηγικές που μπορεί να αυξήσουν το εισόδημα σου κατα πολύ, να κάνουν την ιστοσελίδα σου γνωστή στις μηχανές αναζήτησης όπως το Google, να σου δείξουν πως μπορείς να επωφεληθείς από την επανάσταση των ψηφιακών νομισμάτων... Μην χάνεις την ευκαιρία να αποκτήσεις αυτές τις πληροφορίες...

Πραγματοποίησε την 100% δωρεάν εγγραφή στις ενημερώσεις nextnet.gr και θα λάβεις άμεσα τους συνδέσμους (download links) και για τα 3 ηλεκτρονικά βιβλία μαζί! Απλά βάλε το email σου στη παρακάτω φόρμα...:

Email:


Συμφωνώ με τους όρους χρήσης και την πολιτική απορρήτου.

Μισώ το SPAM! Το email σου είναι ασφαλές και δεν θα γνωστοποιηθεί ποτέ σε τρίτους. Για να μάθεις περισσότερα για τα 3 ebooks κάνε κλικ εδώ.

Διαδικτυακός Σύμβουλος - nextnet.gr

Διαδικτυακός Σύμβουλος

Αν η ιδέα να έχεις τον προσωπικό σου Σύμβουλο Διαδικτύου σου αρέσει, τότε μπορώ να κάνω εγώ αυτή τη δουλειά! Τώρα με την υπηρεσία "Διαδικτυακός Σύμβουλος" μπορείς να νοικιάσεις όσο από τον χρόνο μου επιθυμείς και θα κάνω μια συνεδρία (ή και περισσότερες) μαζί σου για να σου δώσω συμβουλές, να σου μεταδώσω τις γνώσεις μου και να απαντήσω σε ερωτήματα που πιθανόν να σε βασανίζουν... Η υπηρεσία είναι ιδιαίτερα χρήσιμη για τους ιδιοκτήτες ιστοσελίδων που έχουν θέσει υψηλούς στόχους και θέλουν να δουν την ιστοσελίδα τους να πετυχαίνει... (μάθε περισσότερα)





|



NEXTNET.GR - Υπηρεσίες Διαδικτύου

Δωρεάν Διαδικτυακές Υπηρεσίες
Λογότυπο nextnet.gr
Κωνσταντινουπόλεως 4, ΤΚ53100 Φλώρινα, Ελλάδα +30.2385037961 0€ - 49.99€

ΒΑΘΜΟΛΟΓΙΑ:

Βαθμολογία Επιχείρησης με Κριτικές Google: 5 από 5 με 6 κριτικές | Γράψε κριτική

|


nextnet.gr - Powered by NEXTNET - Επικοινωνία | RSS | Πολιτική απορρήτου | Όροι Χρήσης
Τα περιεχόμενα της ιστοσελίδας μπορούν να αντιγραφούν και να χρησιμοποιηθούν ελεύθερα ή να αναδιανεμηθούν διαδικτυακά με τη προϋπόθεση ότι θα υπάρχει ενεργός σύνδεσμος (backlink) προς το nextnet.gr ως ανταπόδωση - NEXTNET - Δωρεάν υπηρεσίες διαδικτύου & πρωτοπορίες...
Άδεια Creative Commons CC BY