Cloudflareがインターネット上で最も発見されブロックされたAIボットを明らかにする
ジャカルタ - Darkvisitorを起動すると、シロアリと呼ばれるAIボットは、AIモデルをトレーニングするために、情報密度の特定のWebサイトをクロールまたは訪問することによって機能します。
Cloudflareの最新のAIトレンドレポートによると、Bytespider、Amazonbot、Kandebot、GPTBotは、AIモデルを実践するためにWebサイトを最も頻繁にクロールまたはアクセスする4つのAIボットです。
TikTokを所有する中国企業であるByteDanceが運営するBytespiderは、ChatGPTのライバルであるDou トゥーワ を支援する ものを含め、大規模な言語モデル (LLM) のトレーニングデータの収集に使用されたと伝えられている。
一方、AmazonbotとCODEBotは、リクエスト量でBytespiderをフォローしています。Amazonbotは、Alexaの質問のコンテンツをインデックス化するために使用されていたと伝えられており、リクエスト数が2番目に多くなりました。
クロードボットに関しては、Cloudflareは、クロードチャットボットのトレーニングに使用されるボットが最近、リクエスト量が増加していることを明らかにしました。
これらのトップAIボットの中で、Bytespiderはリクエストの数だけでなく、インターネットのクロールまたはアクセスレベルと最もブロックされた周波数をもたらします。
Bytespiderに続いて、OpenAIが運営するGPTBotが2位となり、ChatGPTなどのAI主導の製品をサポートするLLMのトレーニングデータを収集しました。
Cloudflareによると、インターネットアクセスのレベルが最も高いAIボットのリストは次のとおりです。