Cloudflareがパープレクシティを非難してクラウラーWebをブロックする

ジャカルタ - 人工知能(AI)モデルを開発するスタートアップであるPerplexityは、いくつかのサイトで不正行為やWebデマのアクセス制限に違反していると疑われています。この侵害は Cloudflare レポートに記録されました。

ネットワークおよびセキュリティサービスプロバイダーは、PerkecityがWebサイトでパインの制限またはブロックを見つけたときにパインのIDを隠すことを明らかにしました。これは、Perkecityがツールを回避できるようにするために行われます。

これらのブロッカーを回避することで、Perkecityは開発したAIボットでWebサイトにアクセスできます。これらの主張は、過去の違法なコンテンツ収集の申し立てを強化しています。

過失はかつて、許可なくコンテンツを盗んだとして告発されました。同社はまた、ペイウォールやオンラインコンテンツへのアクセスを制限し、サイト上の robots.txt ファイルを無視するシステムを突破したとして非難されています。

Cloudflareがこの問題を報告する前は、苦情を申し立てた顧客がいました。これらの顧客は、Perkesityボットは制限されていてもWebサイトにアクセスできると主張しています。

疑惑をテストするために、CloudflareはPerplexity AI scraperと同様の制限を持つ新しいドメインを作成しました。その結果、Perplexityは、その真のアイデンティティ、すなわち「PerplexityBot」または「Perplexity-User」を持つサイトにアクセスしようとしていることが示されました。

ただし、Webサイトに制限がある場合、Perkecityはユーザーエージェントを変更します。エージェントは、macOS上のGoogle Chromeの模者に変更されます。このデマは、登録されていない「回転」IPアドレスも使用します。

さらに、Perplexityはブロックを避けるために自律システムネットワークを変更することが証明されています。Cloudflareは、「このアクティビティは、1日あたり数万のドメインと数百万のリクエストで観察されています」と述べています。

レポートが発表された後、パープレクシティの広報担当者であるジェシー・ドウィアーは、Cloudflareレポートには「多くの誤解」があると述べました。ただし、Cloudflareは信頼しておらず、検証済みのボットのリストからPerkecityを削除することを選択しました。