Cara Mengaktifkan Settingan Robots Txt Khusus Blogger

Robots txt adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain.,dari pengaksesan seluruh atau sebagian situs web. Robot txt berfungsi sebagai mengontrol halaman-halaman tertentu agar tidak di indeks oleh spider mesin pencari,atau situs jejaring sosial seperti facebook,twitter,youtube,dll. Pada penyetingan robots txt kita harus hati-hati dalam penyetingannya. jika tidak