loading

Mengatasi Error 404 di Search Console Google yang disebabkan Kode Javascript via Robots.txt

Google selalu ingin meningkatkan pengalaman penggunanya, jika sebuah website ingin direkomendasikan google di hasil pencariannya atau biasa disebut SERP (Search Engine Result Page) maka website tersebut juga dituntut untuk meningkatkan pengalaman penggunanya. Dan Error 404 alias hilang ini masuk dalam kategori tidak membuat nyaman pengguna.

Error 404

Perlunya memperbaiki error 404 ini karena ada pesan google seperti berikut ini:

Googlebot mengidentifikasi peningkatan signifikan jumlah URL di http://www.pondokjeruk.com/ yang mengembalikan kesalahan 404 (tidak ditemukan). Hal ini mungkin menandakan gangguan atau kesalahan konfigurasi, yang dapat menyebabkan pengalaman buruk bagi pengguna. Hal ini akan menyebabkan Google meniadakan URL tersebut dari hasil penelusuran. Jika URL ini tidak ada, tak diperlukan tindakan apa pun.

Walaupun tidak apa-apa tidak mengurus hal ini namun kalau banyak ya akhirnya kalimat warna merah diatas akan dianggap terjadi oleh google. Berikut ini lanjutan saran search console:

Jika URL tersebut memang seharusnya ada, tinjau konfigurasi server untuk memastikan bahwa URL mengembalikan 200 OK (Anda mungkin memerlukan bantuan dari pengosting atau administrator server untuk melakukannya). Jika URL tersebut tidak valid atau seharusnya tidak ada, tinjau sumber URL. Perbaiki tautan apa pun ke URL ini dari dalam situs web Anda dan pertimbangkan untuk menghubungi situs eksternal yang ditautkan ke URL tersebut. Pertimbangkan untuk mengalihkan URL yang tidak valid ke laman yang tepat di situs Anda, jika dapat dikenali.

Jika error 404 ini ditaut dari website lain, mungkin kita tidak akan terlalu disalahkan oleh google, tapi jika error 404 ini berasal dari halaman di website kita sendiri, ini dianggap mengganggu pengalaman pengguna. Dan ternyata dari pengalaman, seringkali googlebot masih "goblog" dalam membaca javascript. sehingga seringkali googlebot menganggapnya sebagai tautan putus dan akhirnya error 404 kesimpulan yang diambilnya.

Sebenarnya googlebot sudah sangat maju, dulu hanya membaca halaman HTML, tapi sejak smartphone semakin menguasai internet, googlebot juga membaca javascript meskipun google mengakui sering kesulitan membaca halaman situs yang dibuat dengan AJAX, sehingga google menyarankan menggunakan AJAX harus hati-hati jika ingin halaman terindex baik. Harus ada link HTML yang tetap membuat seluruh halaman bisa ditelusuri googlebot.

Itu hanya ulasan singkat tentang googlebot dan ajax yang masih belum akrab, masalah yang akan dibahas sekarang sebenarnya adalah googlebot seringkali salah menafsirkan javascript, dan lucunya salah menafsirkan script yang dibuatnya sendiri untuk komentar blogger. Berikut ini contohnya:

delete-comment.g?blogID=

Error 404 via robots.txt

URL diatas coba kamu lihat di search console google kamu, apakah ditemukan error, biasanya dikatakan ditaut dari halaman yang ada komentarnya. Kesalahan itu muncul karena googlebot salah dalam membaca script bawaan blogger sendiri, berikut potongan scriptnya:

... d.baseUri+"/delete-comment.g?blogID="+d.blogId ...

Nah URL putus semacam itu juga dicatat sebagai kesalahan kan kamvret jadinya, mau dibetulkan gimana coba lha itu dimasukkan otomatis oleh blogger.

Kalau di blog Pondok Jeruk, kesalahan seperti itu muncul banyak karena scriptnya banyak mengandung URL putus yang sebenarnya adalah bentuk agar parameternya dinamis, lha kan jadi error 404-nya nambah lagi. Kalau dibuang ya gak berfungsi dong script yang sudah capek bikin, apalagi kalau scriptnya bikin nyaman pengguna.

Akhirnya cari akal dengan memblokirnya via robots.txt yang selama ini gak dipakai fiturnya di blogger. Sebelumnya di identifikasi dulu kesalahan dari laporan search console lalu blokir URL child yang tidak mungkin ada di blog. Susah jelasinnya, pokoknya contohnya seperti berikut ini error 404 yang terjadi di blog ini:

http://www.pondokjeruk.com/s72-c/
http://www.pondokjeruk.com/submit?url=
http://www.pondokjeruk.com/delete-comment.g?blogID=
http://www.pondokjeruk.com/embed/
http://www.pondokjeruk.com/feeds/posts/default/-/
http://www.pondokjeruk.com/url?url=
http://www.pondokjeruk.com/s64-c/
http://www.pondokjeruk.com/w125-h125-p-k-no-nu/
http://www.pondokjeruk.com/%3E
http://www.pondokjeruk.com/s113/
http://www.pondokjeruk.com/w25-h25-p-k-no-nu/
http://www.pondokjeruk.com/s1600/
http://www.pondokjeruk.com/w450-h150
http://www.pondokjeruk.com/share
http://www.pondokjeruk.com/tool?canonicalUrl=

Setelah diidentifikasi dan dicari darimana halaman tersebut ditaut yang dilaporkan googlebot, ternyata berasal dari javascript yang mengandung URL. Kalau di Search Console ditampilkan cuma buntutnya ya, seperti: s72-c/ cuma maksudnya yang lengkap seperti diatas itu.

Cara membetulkannya adalah dengan memblokirnya via robots.txt, aktifkan fitur ini. Kalau bingung lihat gambar berikut ini:

Error 404 via robots.txt

Aktifkan dan isi saja tapi sesuaikan dengan blog masing-masing, lain script lain URL yang dianggap hilang oleh googlebot, tapi pasti ada, karena script ambil darimanapun tidak akan terhindar mengandung URL.

Berikut ini file robots.txt untuk menangani kendala untuk masalah diatas, sesuaikan saja untuk blog kamu.

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Disallow: /s72-c
Disallow: /submit?url=
Disallow: /delete-comment.g?blogID=
Disallow: /embed
Disallow: /feeds/posts/default/-
Disallow: /url?url=
Disallow: /s64-c
Disallow: /w125-h125-p-k-no-nu
Disallow: /%3E
Disallow: /s113
Disallow: /w25-h25-p-k-no-nu
Disallow: /s1600
Disallow: /w450-h150
Disallow: /share
Disallow: /tool
Allow: /

Sitemap: http://www.pondokjeruk.com/sitemap.xml

Kalau sudah disimpan di blogger, lalu centang error di search console, dan tandai sudah diperbaiki. Selesai dah masalahnya, hanya tinggal menunggu googlebot menelusuri kembali.

Catatan:

Error 404 karena hal ini bisa muncul lagi, apalagi kalau menambah script baru. Tidak menambah script baru saja bisa saja nambah link error 404 kalau sebelumnya ada yang kelewatan. Kalau ada muncul lagi di search console, ya edit lagi robots.txt lalu tambahkan URL baru yang akan diblokir. Kasus ini bukan hanya terjadi di platform blogger, di wordpress, joomla, drupal, codeigniter dan lainnya sama saja, hanya cara membuat robots.txt-nya saja beda caranya kalau self hosting, biasanya langsung ke file manager edit filenya.

Tidak hanya error dari javascript, dari apapun asalkan dilaporkan ditaut dari halaman blog kita sendiri, dan tidak mungkin ada URL dimaksud, blokir saja. Beres!

Sekian dulu, ini adalah catatan memperbaiki error 404 via robots.txt, semoga berguna juga bagi yang lain, karena menurut para ahli SEO, link broken itu bikin loyo di mesin pencari.

Komentar 0

Jika kesulitan memilih ID, gunakan opsi Name/URL, isikan nama Anda, URL isi dengan URL profil facebook atau kalau lupa biarkan kosong. Link aktif di dalam komentar jika tidak relevan akan masuk kotak spam.
<b>, <i> standar bisa digunakan. Tag lain dibawah ini:
{u} text bergaris {/u}
{small} text kecil {/small}
{center} text rata tengah {/center}
{blockquote} text dalam blockquote {/blockquote}
{img} url-gambar {/img}
{youtube} url-video-youtube {/youtube}
{code} kode yang sudah di encode {/code}
Encode kode disini (tidak perlu menambahkan {code} dan {/code}

Popular Posts this Week

Aplikasi Hari Selamatan Orang Meninggal (Perhitungan Online)

Aplikasi Hari Selamatan Orang Meninggal (Perhitungan Online)

Aplikasi Perhitungan Hari Selamatan Orang Meninggal dibawah ini sangat berguna untuk orang jawa, karena di keluarga manapun tidak akan terl...

Kalender 2018 dan Hari Besar Libur Nasional

Kalender 2018 dan Hari Besar Libur Nasional

Download Kalender 2018 dan Hari Besar / Libur / Cuti Nasional dalam file PDF, sebenarnya mau membuat untuk versi kalender 2018 excel, tapi ...

Tipe Kamu Dari Cara Nyontek dan Perkerjaan Yang Cocok

Tipe Kamu Dari Cara Nyontek dan Perkerjaan Yang Cocok

Tipe Orang Menurut Cara Nyontek mungkin tidak menjadi salah satu ukuran dalam hal yang serius, tapi lumayan untuk menambah referensi dan m...