NEXTNET - Δωρεάν διαδικτυακές υπηρεσίες & πρωτοπορίες...

Η σημασία του αρχείου robots.txt και πως να το φτιάξεις

Χρήσιμες και δωρεάν πληροφορίες για αρχείο robots.txt 😁 και τρόποι δημιουργίας του για το site σου. 

"Κατέβασε" εντελώς δωρεάν 3 ηλεκτρονικά βιβλία (PDF ebooks)!

1.Δωρεάν στρατηγική κέρδους

2.Οδηγός για νέες ιστοσελίδες

3.Βγάλε λεφτά με το bitcoin

Απλά βάλε το email σου στη παρακάτω φόρμα και θα λάβεις άμεσα τα 3 ebooks!

Email:

Η διεύθυνση email σου είναι ασφαλής! Μάθε περισσότερα για τα 3 ebooks...

Στο άρθρο για τα πλεονεκτήματα του αρχείου sitemap.xml είδαμε ότι ένας χάρτης ιστοσελίδας (sitemap) είναι σημαντικός γιατί αποτελεί μια μορφή επικοινωνίας με τις μηχανές αναζήτησης που τις βοηθάει να μάθουν τη δομή του site σου και ποιές σελίδες να ευρετηριάσουν και να εμφανίζουν στα αποτελέσματα αναζήτησης (SERPs - Search Engine Results Pages). Στο παρόν άρθρο θα μιλήσω για το αρχείο robots.txt, ποιά η σημασία του και πως να το φτιάξεις.

Οι μηχανές αναζήτησης όπως το Google χρησιμοποιούν αυτοματοποιημένα προγράμματα (robots, crawlers, spiders) για να επισκεφθούν μια ιστοσελίδα, να μάθουν τα περιεχόμενα της και να την ευρετηριάσουν δηλαδή να την εντάξουν στα αποτελέσματα αναζήτησης τους που παρουσιάζονται στους χρήστες όταν αυτοί κάνουν αναζητήσεις. Τα spiders αναζητούν την ύπαρξη του αρχείου robots.txt για να ξέρουν ποιά περιεχόμενα ενός site να "σκανάρουν" και ποιά όχι.

Για παράδειγμα αν ορίσεις στο robots.txt ότι μια σελίδα στο site σου δεν θέλεις να "σκαναριστεί" από τα spiders τότε αυτή η σελίδα δεν θα ενταχθεί στα αποτελέσματα αναζήτησης των search engines και οι χρήστες δεν θα μπορούν να τη βρούν. Το να μην επιτρέπεις στις μηχανές αναζήτησης να έχουν πρόσβαση σε τμήματα/σελίδες του site σου είναι σημαντικό τόσο από πλευράς SEO (Search Engine Optimization) όσο και για λόγους ιδιωτικότητας (δες και αυτό το άρθρο με τις καλύτερες πρακτικές SEO για ένα site).

Το robots.txt είναι ένα αρχείο κειμένου (.txt) που μπορείς να φτιάξεις με διάφορους τρόπους και βέβαια με το Σημειωματάριο (Notepad) των Windows. Ας δούμε ένα παράδειγμα κώδικα που μπορεί να περιλαμβάνεται σε ένα αρχείο robots.txt:

User-agent: *
Disallow: /thank-you.html

Ο παραπάνω κώδικας αποτρέπει τα spiders όλων των μηχανών αναζήτησης από το να έχουν πρόσβαση στην σελίδα thank-you.html

Η εντολή (command) User-agent:* με την χρήση του αστερίσκου (*) μας λέει ότι η πρόσβαση απαγορεύεται σε όλα τα spiders. Μπορούσε να έχει την εξής μορφή:

User-agent: Googlebot

Με την παραπάνω εντολή απαγορεύεται η πρόσβαση μόνο στο Google ενώ τα robots των υπόλοιπων μηχανών αναζήτησης θα μπορούν να έχουν πρόσβαση.

Το αρχείο robots.txt πρέπει αφού δημιουργηθεί να "ανέβει" στον κύριο φάκελο στον server σου π.χ.:

http://mydomain.gr/robots.txt

Γιατί να απαγορεύσεις την πρόσβαση σε σελίδες ή τμήματα του site σου;

Υπάρχουν μερικοί βασικοί λόγοι για να αποτρέψεις τα spiders των μηχανών αναζήτησης από το να έχουν πρόσβαση σε κάποιες σελίδες ή τμήματα του site σου. Για παράδειγμα αν έχεις δυο ίδιες σελίδες δηλαδή με το ίδιο πάνω-κάτω περιεχόμενο τότε καλό είναι να διακόψεις την πρόσβαση σε μια από τις δυο σελίδες για λόγους SEO. Στις μηχανές αναζήτησης δεν αρέσει να βλέπουν το ίδιο περιεχόμενο σε δυο διαφορετικές σελίδες σε ένα site (duplicate content).

Ένας άλλος λόγος είναι αν έχεις μια σελίδα στο site σου στην οποία θέλεις οι χρήστες να έχουν πρόσβαση μόνο αφού εκτελέσουν κάποια ενέργεια (π.χ. αφού εισάγουν το email τους σε κάποια φόρμα). Για παράδειγμα αν παρέχεις ένα δωρεάν ebook με αντάλλαγμα τη διεύθυνση email των χρηστών τότε δεν θέλεις η σελίδα που παρέχει πρόσβαση στο ebook να ευρετηριαστεί και να είναι διαθέσιμη σε όλους τους χρήστες παρά μόνο σε όσους δίνουν το email τους (δες και αυτό το άρθρο για το πως να γράψεις ένα ebook για να το δώσεις δωρεάν στους χρήστες του site σου).

Ένας τρίτος λόγος για να απαγορεύσεις τη πρόσβαση μέσω του robots.txt είναι όταν θέλεις να προστατεύσεις κάποια τμήματα του site σου π.χ. τον φάκελλο cgi-bin ή τον φάκελλο με τις εικόνες του site σου. Για παράδειγμα μπορεί να θέλεις να αποτρέψεις τις μηχανές αναζήτησης όπως το Google από το να ευρετηριάσουν τις εικόνες σου ώστε να μην μπορούν να τις χρησιμοποιούν τρίτοι ξοδεύοντας το bandwidth σου.

Δημιουργία του αρχείου robots.txt

Μπορείς να δημιουργήσεις το αρχείο πρόσβασης για τα spiders μέσα από το Google Search Console (πρώην Google webmaster tools). Επίσης υπάρχουν πολλά δωρεάν εργαλεία στο internet για αυτόν ακριβώς το σκοπό. Απλά κάνε μια αναζήτηση για "robots.txt creator" ή "robots.txt generator" ή κάτι αντίστοιχο. Τέλος μπορείς να γράψεις το αρχείο στο Σημειωματάριο (Notepad) των Windows...:

Sitemap: http://www.mydomain.gr/sitemap.xml
User-agent:*
Disallow:/images/
Disallow:/books/free-ebook/
Disallow:/thank-you.html
Παράδειγμα αρχείου robots.txt στο Σημειωματάριο (Notepad)

Αυτό ήταν!

Μπορείς να ορίσεις και άλλες εντολές στο αρχείο αλλά για αρχή ας το κρατήσουμε στην πιο απλοϊκή του μορφή...

Είναι σημαντικό να χρησιμοποιείς το αρχείο robots.txt αν θέλεις να περιορίσεις την πρόσβαση σε συγκεκριμένα τμήματα ή σελίδες του site σου. Η δημιουργία του είναι απλή και εξασφαλίζει προστασία ευαίσθητων περιοχών και καλύτερα SEO αποτελέσματα (δες και αυτό το άρθρο για τις καλύτερες πρακτικές SEO για το site σου). Μαζί με το robots.txt προτείνεται να χρησιμοποιείς και έναν χάρτη ιστοσελίδας (sitemap). Διάβασε και αυτό το άρθρο για τα πλεονεκτήματα του αρχείου sitemap.xml και πως να το φτιάξεις.

Σε ευχαριστώ για την ανάγνωση. Για να σε ανταμείψω σου προσφέρω 3 ηλεκτρονικά βιβλία μου (ebook) εντελώς δωρεάν! Απλά κάνε εγγραφή στις ενημερώσεις nextnet.gr και μετά την ολοκλήρωση της (100% δωρεάν) θα λάβεις τους συνδέσμους (download links) για να "κατεβάσεις" τα ebooks. Βάλε το καλύτερο email σου στη παρακάτω φόρμα:



Σου άρεσε το παραπάνω άρθρο; Μοιράσου το με τους φίλους σου...:


Ταξίδι Χρωματισμού στο Ηλιακό μας Σύστημα
Αυτό το μεγάλο σε διαστάσεις βιβλίο θα σου προσφέρει έντονες επιμορφωτικές στιγμές χρωματισμού των πλανητών του ηλιακού μας συστήματος. Όλα ξεκινάνε στη Γη με μια δυνατη επιθυμία για ένα ταξίδι στο Φεγγάρι και καταλήγουν με ένα μεγάλο ταξίδι προς τον Ποσειδώνα... Ένα βιβλίο χρωματισμού για όλες τις ηλικίες...

Απόκτησε το από την CreateSpace

Απόκτησε το από το Amazon

Δες το εσωτερικό του βιβλίου

Ταξίδι Χρωματισμού στο Ηλιακό μας Σύστημα
ΕγγραφήΔΩΡΕΆΝ εγγραφή στις ενημερώσεις NEXTNET
Για να μαθαίνεις μέσω e-mail τα νέα του nextnet.gr (π.χ. όταν δημοσιεύεται κάποιο άρθρο ή κάποια προσφορά) συμπλήρωσε το e-mail σου στη παρακάτω φόρμα. Η εγγραφή είναι 100% δωρεάν! Η διεύθυνση email σου είναι ασφαλής και δεν πρόκειται να πουληθεί ή ενοικιαστεί ή με οποιονδήποτε τρόπο φανερωθεί σε τρίτους. Με την ολοκλήρωση της εγγραφής θα λάβεις ως δώρο 3 χρήσιμα ηλεκτρονικά βιβλία (ebook) που μπορεί να αλλάξουν τη ζωή σου! Μάθε περισσότερα...

VCard
ΝΕΧΤΝΕΤ - Υπηρεσίες διαδικτύου
Κων/πόλεως 4 - Τ.Θ. 167, T.K. 53100 - Φλώρινα, Ελλάδα.
Τηλέφωνο: +30.2385037961
http://nextnet.gr

Μυστικά ομορφιάς και νεότητας για κάθε ηλικία

Ένα πολλά υποσχόμενο site με θέμα την νεότητα και την ομορφιά που ξεκίνησε κάπως δυναμικά αλλά τελικά δεν προχώρησε όπως θα έπρεπε. Βρίσκεται στην διεύθυνση omorfia.nextnet.gr και περιέχει μερικά άρθρα που θα μπορούσαν να ωφελήσουν μια γυναίκα σε θέματα ομορφιάς και νεότητας.

ΕΠΙΚΟΙΝΏΝΗΣΕ ΜΕ NEXTNET...
...για διαδικτυακά θέματα ή για να πεις τη γνώμη σου... ΚΑΝΕ ΚΛΙΚ ΕΔΩ.

Εφημερίδα ΗΧΩ Φλώρινας
Όλα τα νέα από τις περιοχές Φλώρινας, Αμυνταίου & Πρεσπών (και όχι μόνο)...
Εφημερίδα ηχώ Φλώρινας
Επισκέψου την ιστοσελίδα της εφημερίδας
Ηχώ Φλώρινας blog (2η έκδοση)
Ηχώ Φλώρινας blog (1η έκδοση)
Γινε συνδρομητής!
ΓΙΑ ΝΈΕΣ ΙΣΤΟΣΕΛΊΔΕΣ & BLOGS!
Μόλις έφτιαξες την καινούργια σου ιστοσελίδα ή blog και δεν ξέρεις πως να την κάνεις γνωστή στις μηχανές αναζήτησης όπως το Google κ.α.; Στον μίνι οδηγό που μπορείς να κατεβάσεις εντελώς δωρεάν θα βρεις συμβουλές βήμα προς βήμα για να... πάρει μπρος η ιστοσελίδα σου!

"Κατέβασε" δωρεάν τον χρήσιμο οδηγό PDF

Προώθηση στις μηχανές αναζήτησης...

Λέχοβο Φλώρινας

Το Λέχοβο είναι ένα μαρτυρικό χωριό της Ελλάδας με μεγάλη ιστορία και παράδοση. Μάθε τα πάντα για αυτή την μαγευτική γωνιά της της χώρας μας στη Φλώρινα, γνώρισε τους κατοίκους του χωριού, δες τις ασχολίες, τα εδέσματα τους και τους εορτασμούς που πραγματοποιούνται κάθε χρόνο στο Λέχοβο. Ένα site με πραγματικές φωτογραφίες και αληθινά κείμενα ...
Η επανάσταση του bitcoin είναι εδώ!
Το bitcoin είναι το πιο δημοφιλές ψηφιακό νόμισμα της εποχής μας. Επίσης αποτελεί ευκαιρία για να κερδίσεις χρήματα αφού η τιμή του αυξάνεται συνεχώς. Σου παρουσιάζω μια στρατηγική με την οποία μπορείς κι εσύ να αποκτήσεις (χωρίς εργασία) bitcoin τα οποία έπειτα μπορείς να μετατρέψεις σε ευρώ. Πάρε κι εσύ μέρος στην επανάσταση των ψηφιακών νομισμάτων!

"Κατέβασε" εντελώς δωρεάν τον PDF οδηγό.

Ψηφιακό νόμισμα bitcoin
Καλλιέργεια Λαχανικών Σε Κήπο
Ένα βιβλίο χρήσιμο καλοτυπωμένο, με εικόνες για όσους διαθέτουν κήπο. Το βιβλίο σε διδάσκει πώς να καλλιεργήσεις με επιτυχία 8 βασικά λαχανικά που εντάσσονται στη Μεσογειακή διατροφή: Ντομάτα, Πιπεριά, Αγγούρι, Μαρούλι, Κρεμμύδι, Λάχανο, Κολοκύθα, Καρότο. Απόκτησε το σήμερα στη χαμηλότερη δυνατή τιμή!

Δες το στην CreateSpace

Απόκτησε το από το Amazon

Δες το εσωτερικό του βιβλίου

Καλλιέργεια Λαχανικών σε Κήπο - Ελληνική έκδοση

Φασόλι Πρέσπας

Τα πιο νόστιμα φασόλια που υπάρχουν και παράγονται στον ευλογημένο τόπο των Πρεσπών. Γνωρίστε τον τοπικό παραγωγό, μάθετε για τη διαδικασία παραγωγής (βιολογικά φασόλια), δείτε συνταγές με φασόλια και παραγγείλτε τα όσπρια της αρεσκείας (μαζί με φακή και ρεβύθια). Όλα από τη Πρέσπα...
Δωρεάν στρατηγική κέρδους!
Βγάλε πολλά χρήματα ξεκινώντας με μηδενικό κεφάλαιο και χτίζοντας μια αυτοκρατορία μέσα από μια δωρεάν ιστοσελίδα/blog. Ένα πανέξυπνο και έγκυρο concept για όλους τους χρήστες του internet που θέλουν να ανεξαρτητοποιηθούν οικονομικά... μια για πάντα! Με χρήσιμες συμβουλές βήμα προς βήμα.

Κάνε κλικ εδώ για να κατεβάσεις τον PDF οδηγό.

Απόκτησε θησαυρό
Ζωγράφισε & Χρωμάτισε τους 12 Ολύμπιους Θεούς
Ένα μοναδικό βιβλίο, καλοτυπωμένο με χρήσιμες πληροφορίες για τους 12 Ολύμπιους θεούς και σελίδες για να ζωγραφίσεις και να χρωματίσεις τις φιγούρες τους... Αν εμπνέεσε από το δωδεκάθεο τότε πρέπει να το δεις. Από την Δήμητρα, την Αθηνά και την Αφροδίτη μέχρι τον Δία, τον Άρη και τον Ήφαιστο. Απόκτησε το σήμερα!

Δες το στη CreateSpace

Δες το στο Amazon

Δες το εσωτερικό του βιβλίου

Ζωγράφισε & Χρωμάτισε τους 12 Ολύμπιους Θεούς
Verify your site with eCert by nextnet.gr

Ηχωμαγειρέματα

Παραδοσιακές και όχι μόνο συνταγές μαγειρικής με αναλυτικές περιγραφές και φωτογραφίες. Η Αυγή και οι φίλοι/ες της ετοιμάζουν ένα σωρό τοπικά εδέσματα της Φλώρινας και άλλων περιοχών. Αν σε ενδιαφέρει η μαγειρική, η παράδοση ή ψάχνεις νέες ιδέες για συνταγές ρίξε μια ματιά σε αυτό το πλούσιο site...

ΕΠΣ Φλώρινας

Η επίσημη, καινούργια ιστοσελίδα της Ένωσης Ποδοσφαιρικών Σωματείων Φλώρινας (Ε.Π.Σ.Φ.). Μάθε όλα τα τελευταία νέα για τα τοπικά ποδοσφαιρικά πρωταθλήματα και το κύπελλο συλλόγων ερασιτεχνικού ποδοσφαίρου, δες της νέες δημοσιεύσεις της ΕΠΣ Φλώρινας ή κάνε εγγραφή για να ενημερώνεσαι στο email σου για όλα τα νέα της επίσημης ιστοσελίδας της ΕΠΣ Φλώρινας.
ok
3 ebooks εντελώς δωρεάν!

"Κατέβασε" εντελώς δωρεάν τα 3 ηλεκτρονικά μου βιβλία (PDF ebooks) με πληροφορίες και στρατηγικές που μπορεί να αυξήσουν το εισόδημα σου κατα πολύ, να κάνουν την ιστοσελίδα σου γνωστή στις μηχανές αναζήτησης όπως το Google, να σου δείξουν πως μπορείς να επωφεληθείς από την επανάσταση των ψηφιακών νομισμάτων... Μην χάνεις την ευκαιρία να αποκτήσεις αυτές τις πληροφορίες...

Πραγματοποίησε την 100% δωρεάν εγγραφή στις ενημερώσεις nextnet.gr και θα λάβεις άμεσα τους συνδέσμους (download links) και για τα 3 ηλεκτρονικά βιβλία μαζί! Απλά βάλε το email σου στη παρακάτω φόρμα...:

Email:

Το email σου είναι ασφαλές και δεν θα γνωστοποιηθεί ποτέ σε τρίτους. Για να μάθεις περισσότερα για τα 3 ebooks κάνε κλικ εδώ.



NEXTNET - Υπηρεσίες διαδικτύου

Δωρεάν διαδικτυακές υπηρεσίες και πρωτοπορίες
Λογότυπο nextnet.gr Κωσταντινουπόλεως 4, Τ.Θ. 167, ΤΚ53100 Φλώρινα, Ελλάδα +30.2385037961 Δωρεάν
Βαθμολογία Επιχείρησης: 5 από 5 με 1 κριτικές
nextnet.gr - Powered by NEXTNET - Επικοινωνία | RSS | Όροι χρήσης | Πολιτική απορρήτου
Τα περιεχόμενα της ιστοσελίδας μπορούν να αντιγραφούν και να χρησιμοποιηθούν ελεύθερα ή να αναδιανεμηθούν διαδικτυακά με τη προϋπόθεση ότι θα υπάρχει ενεργός σύνδεσμος (backlink) προς το nextnet.gr ως ανταπόδωση - NEXTNET - Δωρεάν υπηρεσίες διαδικτύου & πρωτοπορίες...