Bagikan:

JAKARTA - Melansir Darkvisitor, Bot AI yang bisa disebut dengan rayap, akan bekerja dengan merayapi atau mengunjungi situs web tertentu dengan kepadatan informasi, untuk melatih model AI mereka.

Laporan tren bot AI terbaru Cloudflare melihat bahwa Bytespider, Amazonbot, ClaudeBot, dan GPTBot adalah empat bot AI yang paling sering merayapi atau mengunjungi situs web untuk melatih model AI yang mereka. 

Dioperasikan oleh ByteDance, perusahaan Cina yang memiliki TikTok, Bytespider dilaporkan digunakan untuk mengumpulkan data pelatihan untuk model bahasa besar (LLM), termasuk yang mendukung saingan ChatGPT-nya, Doubao. 

Sedangkan Amazonbot dan ClaudeBot mengikuti Bytespider dalam volume permintaan. Amazonbot, dilaporkan digunakan untuk mengindeks konten untuk pertanyaan-pertanyaan Alexa, mengirim jumlah permintaan terbanyak kedua.

Sedangkan ClaudeBot, Cloudflare mengungkapkan bahwa bot yang digunakan untuk melatih bot obrolan Claude, baru-baru ini meningkat dalam volume permintaan.

Di antara bot AI teratas itu, Bytespider tidak hanya mengarah dalam hal jumlah permintaan tetapi juga dalam tingkat perayapan atau pengaksesan internet dan frekuensi diblokir paling banyak. 

Mengikuti Bytespider, GPTBot yang dikelola oleh OpenAI menempati posisi kedua, di mana mereka mengumpulkan data pelatihan untuk LLM-nya, yang mendukung produk-produk yang digerakkan oleh AI seperti ChatGPT. 

Berikut adalah daftar bot AI dengan tingkat perayapan atau pengaksesan internet terbanyak versi Cloudflare:

  • Bytespider - 40,40%
  • GPTBot - 35,46%
  • ClaudeBot - 11,17%
  • ImagesiftBot - 8,75%
  • CCBot - 2,14%
  • ChatGPT-User - 1,84%
  • omgili - 0,10%
  • Diffbot - 0,08%
  • Claude-Web - 0,04%
  • PerplexityBot - 0,01%