ウェブサイトのデータスクレイピングに関するSemaltエキスパート-善と悪のボット

Webスクレイピングは古くからあり、Webマスター、ジャーナリスト、フリーランサー、プログラマー、非プログラマー、マーケティング研究者、学者、ソーシャルメディアの専門家に役立つとされています。ボットには、良いボットと悪いボットの2種類があります。優れたボットは、検索エンジンがWebコンテンツにインデックスを付けることを可能にし、市場の専門家やデジタルマーケティング担当者から高い優先度が与えられます。一方、悪質なボットは役に立たず、サイトの検索エンジンのランキングを損なうことを目的としています。 Webスクレイピングの合法性は、使用したボットのタイプによって異なります。

たとえば、違法に使用することを意図して別のWebページからコンテンツをフェッチする悪質なボットを使用している場合、Webのスクレイピングは有害である可能性があります。ただし、優れたボットを利用して、サービス拒否攻撃、オンライン詐欺、競合するデータマイニング戦略、データ盗難、アカウント乗っ取り、不正な脆弱性スキャン、デジタル広告詐欺、知的財産の盗難などの有害な活動を回避すると、次に、Webスクレイピング手順は、インターネットでビジネスを成長させるのに役立ちます。

残念ながら、ほとんどのフリーランサーやスタートアップは、悪いボットを愛しています。なぜなら、パートナーシップを必要とせずにデータを収集するための安価で強力な包括的な方法だからです。ただし、大企業は合法的なWebスクレイパーを利用して利益を得ており、違法なWebスクレイパーによってインターネットでの評判を台無しにしたくありません。過去数か月間に連邦裁判所システムがますます違法なウェブスクレイピング戦略を取り締まっていることが明らかになっているため、ウェブスクレイピングの合法性に関する一般的な意見は重要ではないようです。

Webのスクレイピングは、ボットやスパイダーを使用してWebサイトをスクレイピングすることがナンセンスであると考えられていた2000年に違法なプロセスとして始まりました。 2010年までこの手順がインターネット上で広まるのを防ぐために、多くの慣行が採用されていませんでした。eBayは最初にBidder's Edgeに対する仮差止を提起し、ウェブサイトでのボットの使用が不法侵入のチャテルズ法に違反したと主張しました。ユーザーはサイトの利用規約に同意する必要があり、eBayのコンピューターマシンを破壊する可能性のある多数のボットが無効化されたため、裁判所はすぐに差し止め命令を認めました。訴訟はまもなく法廷から和解し、eBayは、ボットの良し悪しに関わらず、誰もがボットをWebスクレイピングに使用することを阻止しました。

2001年に、旅行代理店は有害なスパイダーと悪いボットの助けを借りて、ウェブサイトからそのコンテンツをこすり落とした競合他社を訴えました。裁判官は再び犯罪に対する対策をとり、被害者を支持し、ウェブのスクレイピングとボットの使用の両方がさまざまなオンラインビジネスに害を及ぼす可能性があると述べた。

今日では、学術的、私的、情報集約のために、多くの人々が公正なWebスクレイピング手順に依存しており、この点に関して多くのWebスクレイピングツールが開発されています。現在、当局はこれらのツールのすべてが信頼できるとは限らないが、有料またはプレミアムバージョンで提供されるツールは無料のWebスクレイパーよりも優れていると述べています。

2016年に、議会は悪いボットを対象とし、良いボットを支持する最初の法律を通過させました。ウェブサイトを狙った違法なソフトウェアの使用を禁止し、検索エンジンのランクにダメージを与え、ビジネスを破壊するBetter Online Ticket Sales（BOTS）Actが成立しました。公平性の問題があります。たとえば、LinkedInは、悪いボットをブロックまたは排除し、良いボットを奨励するツールに多くのお金を費やしています。裁判所がWebスクレイピングの合法性を判断しようとしているため、企業はデータを盗まれています。