Cloudflare Tuding Perplexity Terobos Pemblokir Clawler Web

JAKARTA – Perplexity, startup yang mengembangkan model Kecerdasan Buatan (AI), diduga melanggar batasan akses clawler atau perayap web di beberapa situs. Pelanggaran ini tercatat dalam laporan Cloudflare. 

Penyedia layanan jaringan dan keamanan itu mengungkapkan bahwa Perplexity akan menyembunyikan identitas perayapnya saat menemukan pembatasan atau pemblokiran perayap di situs web. Hal ini dilakukan agar Perplexity dapat menghindari alat tersebut. 

Dengan menghindari alat pemblokir tersebut, Perplexity dapat mengakses situs web dengan bot AI yang mereka kembangkan. Tuduhan ini memperkuat dugaan pengambilan konten secara tidak sah di masa lalu. 

Perplexity pernah dituding mengambil konten tanpa izin. Perusahaan tersebut juga pernah dituduh menerobos paywall atau sistem yang membatasi akses ke konten online dan mengabaikan file robots.txt pada situs.

Sebelum Cloudflare melaporkan masalah ini, ada pelanggan yang mengajukan keluhan. Pelanggan tersebut mengklaim bahwa bot Perplexity masih bisa mengakses situs web mereka meskipun telah dibatasi.

Untuk menguji tuduhan tersebut, Cloudflare membuat domain baru dengan batasan serupa terhadap scraper AI Perplexity. Hasilnya menunjukkan bahwa Perplexity mencoba mengakses situs dengan identitas aslinya, yaitu 'PerplexityBot' atau 'Perplexity-User'. 

Namun, jika situs web tersebut memiliki batasan, Perplexity akan mengubah agen penggunanya. Agen tersebut akan diubah menjadi peniru Google Chrome di macOS. Perayap ini juga menggunakan alamat IP 'berputar' yang tidak terdaftar.

Selain itu, Perplexity terbukti mengubah jaringan sistem otonom miliknya untuk menghindari pemblokiran. Cloudflare mengatakan bahwa, "Aktivitas ini diamati di puluhan ribu domain dan jutaan permintaan per hari."

Setelah laporan ini dirilis, Juru Bicara Perplexity Jesse Dwyer menyatakan bahwa laporan Cloudflare memiliki 'banyak kesalahpahaman' di dalamnya. Namun, Cloudflare tidak percaya dan memilih untuk menghapus Perplexity dari daftar bot terverifikasi.