
Cloudflare mengeluarkan kebijakan baru yang mewajibkan perusahaan AI untuk memisahkan crawler web yang digunakan untuk pencarian dari yang digunakan untuk pelatihan model AI dan agen. Tenggat waktunya adalah 15 September, dan siapa yang tidak patuh berisiko diblokir secara default di banyak situs publisher. Ini adalah langkah tegas Cloudflare untuk melindungi kepentingan para penerbit konten di internet.
Selama ini, banyak perusahaan AI menggunakan web crawler yang sama untuk dua tujuan berbeda: mengindeks konten untuk mesin pencari dan menyedot data untuk melatih model AI mereka. Publisher sering kali tidak tahu bahwa konten mereka sedang "dipanen" untuk keperluan pelatihan AI tanpa izin atau kompensasi apapun. Cloudflare, sebagai salah satu infrastruktur internet terbesar yang melindungi jutaan situs web, punya posisi unik untuk menegakkan aturan ini secara luas.
Kebijakan ini punya dampak besar bagi industri AI secara keseluruhan. Jika perusahaan AI tidak memisahkan crawler mereka, akses ke sebagian besar konten web bisa terpotong secara signifikan, yang artinya data pelatihan model AI ke depan bisa jauh lebih terbatas. Di sisi lain, ini membuka peluang negosiasi antara perusahaan AI dan publisher untuk model pembayaran yang lebih adil, mirip seperti yang sudah terjadi antara media dan platform media sosial.
Yang menarik untuk diikuti adalah bagaimana perusahaan-perusahaan AI besar seperti OpenAI, Google, dan Anthropic akan merespons kebijakan ini. Apakah mereka akan patuh dan mulai membayar lisensi konten, atau mencari jalan lain? Ini bisa menjadi preseden penting yang mendefinisikan ulang hubungan antara industri AI dan ekosistem konten digital.