Robots txt adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain.,dari pengaksesan seluruh atau sebagian situs web. Robot txt berfungsi sebagai mengontrol halaman-halaman tertentu agar tidak di indeks oleh spider mesin pencari,atau situs jejaring sosial seperti facebook,twitter,youtube,dll. Pada penyetingan robots txt kita harus hati-hati dalam penyetingannya. jika tidak
No comments:
Post a Comment