Robots.txt Nggak Berlaku untuk Bot ChatGPT? Ini Penjelasan OpenAI

Apa Itu Robots.txt dan Kenapa Website Membutuhkannya?

Robots.txt adalah file teks sederhana yang biasanya ditempatkan di direktori utama website, misalnya:

https://www.contohwebsite.com/robots.txt

Fungsinya adalah memberikan instruksi kepada crawler mengenai bagian website mana yang boleh atau tidak boleh mereka akses.

Apa Itu ChatGPT Fetch Bot?

OpenAI memiliki beberapa bot dengan fungsi berbeda. ChatGPT-User digunakan untuk mengambil halaman ketika pengguna meminta ChatGPT mengakses URL tertentu, sedangkan OAI-SearchBot membantu menemukan dan menampilkan konten dalam ChatGPT Search. 

Sementara itu, GPTBot memiliki fungsi berbeda, termasuk pengumpulan data untuk pengembangan model. Karena itu, setiap bot OpenAI tidak dapat dianggap bekerja dengan cara yang sama.

OpenAI Says Robots.txt May Not Apply to ChatGPT’s Fetch Bot: Apa Maksudnya?

ChatGPT-User mengunjungi halaman sebagai respons terhadap permintaan pengguna. Karena aktivitas tersebut dimulai oleh manusia, OpenAI menyebut bahwa aturan robots.txt mungkin tidak berlaku untuk bot tersebut.

Artinya, berita ini bukan berarti OpenAI menyatakan seluruh robots.txt diabaikan oleh semua bot ChatGPT.

Yang dibahas adalah perilaku bot tertentu dalam konteks tertentu, yaitu ChatGPT-User ketika melakukan pengambilan halaman yang dipicu oleh permintaan pengguna.

Ini berbeda dengan OAI-SearchBot. OpenAI saat ini secara eksplisit menyatakan bahwa pemilik website dapat mengatur akses OAI-SearchBot melalui robots.txt. Jika OAI-SearchBot diblokir, konten website dapat kehilangan kesempatan untuk muncul dalam ringkasan dan cuplikan ChatGPT Search.

Data yang dikutip Search Engine Journal dari laporan TollBit juga menunjukkan adanya kasus ketika page-fetching agents mengakses URL yang sebelumnya ditandai Disallow. 

Dalam laporan tersebut, ChatGPT-User menjadi salah satu agen yang paling sering terlihat mengakses halaman yang dibatasi pada sampel website yang diteliti.

Jadi, persoalannya bukan “robots.txt mati”, melainkan robots.txt tidak selalu menjadi mekanisme pengendali untuk setiap jenis akses AI.

Apakah Perlu Update Robots.txt karena ChatGPT Fetch Bot?

Belum tentu perlu mengubah robots.txt. Langkah pertama adalah menentukan tujuan pengaturannya. Jika ingin website dapat ditemukan di ChatGPT Search, OAI-SearchBot sebaiknya tidak diblokir. 

Namun, untuk membatasi akses langsung oleh ChatGPT-User, robots.txt mungkin tidak cukup. Pemilik website dapat mempertimbangkan lapisan perlindungan lain seperti autentikasi, firewall/WAF, CDN, bot mitigation, CAPTCHA, rate limiting, dan pemantauan server log.

Apakah Robots.txt Masih Penting di Era AI?

Robots.txt masih penting di era AI, tetapi penggunaannya saat ini perlu lebih selektif. Website menghadapi berbagai jenis crawler dengan tujuan berbeda, mulai dari search hingga pengembangan AI. 

Karena itu, strategi “blokir semua bot AI” tidak selalu tepat. Pemilik website perlu memahami fungsi masing-masing crawler dan menentukan akses yang sesuai. Untuk ChatGPT Search, OpenAI merekomendasikan agar OAI-SearchBot tidak diblokir jika website ingin kontennya dapat ditemukan. 

Dengan demikian, robots.txt tetap menjadi bagian penting dari technical SEO, tetapi penggunaannya harus disesuaikan dengan kebutuhan website.

Update Robots.txt untuk SEO: Apa yang Harus Diperhatikan?

Sebelum melakukan perubahan, jangan langsung menyalin konfigurasi robots.txt dari website lain. Berikut beberapa hal yang harus diperhatikan:

1. Tentukan bot mana yang ingin diizinkan atau dibatasi. Setiap bot dapat memiliki tujuan berbeda.
2. Periksa apakah ada aturan Disallow yang tidak sengaja memblokir halaman penting. Kesalahan sederhana dalam robots.txt bisa membuat crawler kesulitan mengakses bagian website yang sebenarnya ingin Anda tampilkan.
3. Bedakan antara crawling dan indexing. Robots.txt terutama mengatur akses crawler. Jika tujuan Anda adalah meminta mesin pencari tidak memasukkan halaman tertentu ke indeks, pendekatan seperti noindex dapat lebih sesuai dalam kondisi tertentu.
4. Jangan lupa memeriksa server log. Robots.txt hanya memberi tahu aturan yang Anda tetapkan; log server dapat membantu melihat request yang benar-benar datang ke website.
5. Lakukan pengujian setelah perubahan. Kesalahan konfigurasi technical SEO kadang tidak langsung terlihat, tetapi dampaknya bisa muncul dalam crawling, indexing, hingga traffic organik.

Update Robots.txt di Era AI, Perlu atau Tidak?

Apakah perlu memperbarui robots.txt? Jawabannya bergantung pada tujuan dan konfigurasi website. Jika ingin konten muncul di ChatGPT Search, pastikan OAI-SearchBot tidak diblokir. 

Sementara itu, untuk membatasi akses ChatGPT-User, robots.txt mungkin tidak cukup. Karena itu, strategi SEO di era AI perlu mencakup banyak aspek agar sesuai dengan AI search optimization. Sebelum melakukan perubahan, sebaiknya audit konfigurasi website terlebih dahulu.

Masih Bingung? Gunakan Jasa SEO dari Whello!

Melalui jasa SEO dari Whello, Anda dapat berkonsultasi mengenai technical SEO, crawling, indexing, struktur website, hingga strategi SEO yang menyesuaikan perkembangan search dan AI. 

Whello juga menyediakan konsultasi gratis untuk membantu bisnis memahami kondisi website dan menentukan langkah optimasi yang relevan. 

Ranking website naik turun? Whello dapat mengatasinya! Dengan pendekatan SEO yang terukur dan berbasis data, optimasi tidak hanya berfokus pada mesin pencari tradisional, tetapi juga mempertimbangkan perkembangan AI Search.