Script Robots.txt Sebagai Penunjang SEO

Memang filenya tergolong kecil dan isi didalamnya hanya beberapa baris script sederhana,akan tetapi khasiatnya untuk website anda sangatlah besar.Google maupun Search Engine lainnya selalu memeriksa keberadaan file ini sebelum kemudian meng-indeksnya kedalam SEO mereka.

Ada dua faktor yg diberikan kepada file robots :

1. Yang pertama adalah untuk memberikan ijin hak akses kepada web bot atau web robot untuk menelusur halaman mana saja yg di perbolehkan. 
2.  Kedua tentu saja untuk tidak memperbolehkan halaman yang terlarang,sebagai contoh adalah isi didalam folder /include/,/administrator/,dll.

Namun justru terkadang para spammer menggunakan isi didalam file robots untuk menemukan alamat-alamat email yang kemudian mengirimkan junk/spam ke dalam mailbox anda.

Sebagai contoh mari kita buat script robots sederhana ini .

Command atau perintah untuk memperbolehkan web bot atau web robot masuk kedalam direktori web ada lah sebagai berikut :

view sourceprint?

1	User-agent: *

2

Disallow:

Sedangkan perintah untuk melarang web bot atau web robot untuk masuk kedalam direktori adalah seperti ini :

view sourceprint?

1	User-agent: *

2	Disallow: /

Penjelasan :

Untuk contoh diatas karakter : * artinya “memperbolehkan semua web robot untuk melintas dalam semua direktori”.

karakter: / artinya untuk melarang semua web bot masuk dalam direktori ( biasanya situs Underground menggunakan script ini ).

Kemudian bagaimana jika hanya ini memberikan akses kepada satu bot saja untuk masuk kedalam direktori web kita ?

Misalnya disini kita ingin memberikan hak akses kepada hanya Google saja untuk masuk,jadi kira-kira perintahnya seperti ini :

view sourceprint?

1	User-agent : Googlebot

2

Disallow:

3	User-agent : *

4	Disallow:/

Dan untuk membuat beberapa direktori yg boleh dibaca google bot kira-kira script robots nya seperti ini :

view sourceprint?

1	User-agent : Googlebot

2	Disallow : /admin/

3	Disallow : /images/

4	Disallow : /config/

5	Disallow : /includes/

6	User-agent : *

7	Disallow:/

Itu artinya hanya google yang bisa membaca dan kemudian memasukkan website anda kedalam pencarian mereka tetapi tidak untuk baris folder admin,images,config,dan include.

Jangan lupa untuk memberikan nama file robots anda dengan nama robots.txt.

Uploadlah file robots.txt anda kedalam direktori public_html di hostingan anda karna search engine selalu melintas kedalam direktori tersebut kesetiap kunjungan pertamanya dalam setiap website.

Berikut adalah beberapa nama dari bot dari masing search engine di dunia maya.

• Google : Googlebot
• Yahoo  : Yahoo Slurp
• MSN    : MSNBot

Dan masih banyak lagi yang lainnya…,Hehehe.Tetap setia berkunjung kesini yah,mudah-mudahan berguna buat semuanya.

Sumber : http://adelheid.us/mengenal-dan-membuat-script-robots-txt-sebagai-penunjang-seo