【ビギナーガイド】WordPressでブログコンテンツのスクレイピングを防ぐ方法

ブログコンテンツのスクレイピングとは、多数のソースからコンテンツを取得し、別のサイトに再掲載することです。通常、これはあなたのブログのRSSフィードを介して自動的に行われます。

コンテンツのスクレイピングは今とても簡単で、誰でもWordPressサイトを始め、無料または商用のテーマを置き、選択したブログからコンテンツをスクレイピングしに行くいくつかのプラグインをインストールすることができます。

なぜコンテンツを盗んでいくのでしょうか？　答えは簡単で、コンテンツが素晴らしいからです。実は、このようなコンテンツスクレーパーには下心があるのです。以下は、誰かがあなたのコンテンツをスクレイピングする理由のほんの一部です。

• アフィリエイト報酬 – 世の中には、ただ単にシステムを利用して小銭を稼ごうとする残念なアフィリエイトマーケターがいます。彼らは、検索エンジンを通じて自分のサイトにトラフィックをもたらすために、あなたのコンテンツや他のコンテンツを使用します。これらのサイトは通常、特定のニッチな領域をターゲットにしているので、関連製品を宣伝していたりします。
• リードジェネレーション – よく、弁護士や不動産業者がこれをやっているのを見かけます。彼らは、小さなコミュニティで業界のリーダーのように見せたがります。彼らは、質の高いコンテンツを作成するためのスキルを持っていないので、他のソースからコンテンツをスクラップしに行きます。時には、コンテンツを追加し、より良いSEOを得るために外注に依頼したりするため、このことを意識していないこともあります。私たちは、過去にこのようなケースに何度も遭遇しています。
• 広告収入 – 知識の「ハブ」「まとめ」を作りたいだけの人もいます。特定のニッチな分野のユーザーのためのワンストップショップです。私たちは時折、サイトのコンテンツがスクラップされていることに気づきます。スクレイパーたちはいつも、コミュニティのためにやっているんだ、と答えます。ただし、そのサイトは広告で埋め尽くされています。

これらは、誰かがあなたのコンテンツを盗む理由のほんの一部に過ぎません。

コンテンツスクレーパーを捕まえるのは面倒な作業で、多くの時間を取られることになります。コンテンツのスクレーパーをキャッチするいくつかの方法をご紹介します。

投稿タイトルでGoogleを検索する

うん……さすがに辛いですね。この方法は、特に非常に人気のあるトピックについて書いている場合は、おそらくその価値はありません。

トラックバック

記事中に内部リンクを追加しておくと、コンテンツを盗用されたときにトラックバックに気づくことができます。この方法は、スクレイパーがあなたのコンテンツをスクレイピングしていることを教えてくれているようなものです。

Akismetを使用している場合、これらのトラックバックの多くは、SPAMフォルダに表示されます。繰り返しになりますが、これはあなたの投稿に内部リンクがある場合にのみ機能します。

Ahrefs

AhrefsのようなSEOツールにアクセスできれば、バックリンクを監視し、盗まれたコンテンツに目を光らせることができます。

コンテンツスクレーパーに対処する際、「何もしないアプローチ」「Take Downアプローチ」「Take Advantage of themアプローチ」と呼ばれるいくつかのアプローチがあります。

それぞれについて見てみましょう。

何もしないアプローチ

これは、圧倒的に簡単な方法です。スクレイパーとの戦いに多くの時間がかかるため、通常、最も人気のあるブロガーはこれを推奨しています。

有名なブログであれば、心配する必要はないでしょう。それらはGoogleの目から見てオーソリティサイトだからです。

しかし、私たちは、Googleが彼らのスクレイパーをオリジナルコンテンツと考えたために、スクレイパーとしてフラグを立てられたいくつかの良いサイトを知っています。ですから、この方法が常にベストとは言えないと私たちは考えています。

テイクダウン・アプローチ

これは、「何もしないアプローチ」の真逆です。このアプローチでは、単純にスクレーパーに連絡を取り、コンテンツを削除するよう依頼します。

もし、彼らがそれを拒否したり、単にあなたの要求に答えない場合は、彼らのホストに対してDMCA（デジタルミレニアム著作権法）を申請します。

私たちの経験では、スクレイピングサイトの大半は、利用可能なコンタクトフォームを持っていません。もしあれば、それを利用します。コンタクトフォームを持っていない場合、Whoisルックアップを行う必要があります。

連絡先は管理者連絡先で確認できます。通常、管理用連絡先と技術用連絡先は同じです。

また、ドメインレジストラも表示されます。ほとんどの有名なウェブホスティング会社やドメインレジストラは、DMCAフォームやメールを持っています。最近のホスティング会社は、DMCAの苦情のためのフォームがあります。

ネームサーバーがns1.theirdomain.comのようなものであれば、IP逆引きをしてIPを検索し、より深く掘り下げる必要があります。

また、DMCA.comのサードパーティ・サービスを利用してテイクダウンすることも可能です。

ある記事では、悪者のIPをブロックすることを提案しています。ログにアクセスしてIPアドレスを調べ、.htaccessファイルのルートに以下のような記述をしてブロックしてください。

Deny from 123.456.789

また、以下のような方法でダミーのフィードにリダイレクトさせることも可能です。

RewriteCond %{REMOTE_ADDR} 123\.456\.789\.
RewriteRule .* http://dummyfeed.com/feed [R,L]

これで、Lorem Ipsumでいっぱいの非常に大きなテキストフィードに送信します。かなり過激ではありますが、嫌なものの画像を送ることもできます。自分のサーバーに送り返すことで無限ループを引き起こし、サイトをクラッシュさせることも可能です。

スクレイパーの大半は、あなたのRSSフィードを利用してコンテンツを盗みます。そこで、逆手にとってできることのいくつかを紹介します。

• 内部リンク – あなたは、ブログの記事をたくさん相互リンクする必要があります。記事の中で内部リンクを持っている場合、それはページビューを増加させ、あなた自身のサイトの直帰率を減らすのに役立ちます。次に、あなたのコンテンツを盗んでいる人たちからバックリンクを得ることができます。最後に、彼らのオーディエンスを盗むことができるのです。もしあなたが才能あるブロガーなら、内部リンクの技術を理解しているはずです。面白いキーワードにリンクを貼る必要があります。ユーザーがクリックしたくなるような魅力的なものにするのです。そうすれば、スクレイパーの読者もそれをクリックするでしょう。このように、彼らのサイトから訪問者を奪い、ユーザーが最初にいたはずの場所に戻したのです。
• キーワードとアフィリエイトリンクの自動リンク – 割り当てられたキーワードを自動的にアフィリエイトリンクに置き換えるプラグインがいくつかあります。
• RSSフッターでクリエイティブに – All in One SEO プラグインを使って、RSSフッターにカスタムアイテムを追加することができます。ここに好きなものを何でも入れられます。ところで、スクレーパーたちがRSS読者に自分の製品を宣伝することを知っています。当然、彼らはバナーを追加します。するとこれらのバナーはスクレイパーのウェブサイトにも表示されるようになります。私たちは、RSSフィードの記事の下に、常に小さな免責事項を追加しておきます、リンク付きで。そうすることで、スクレイパーのサイトから元の記事へのバックリンクを得ることができ、Googleや他の検索エンジンに私たちが権威であることを知らせることができるのです。また、そのサイトが私たちのコンテンツを盗んでいることをユーザーに知らせることができます。

WordPressでRSSフィードのフッターを制御する方法については、こちらのガイドをご覧ください。

もし、あなたが内部リンクをたくさん張り、アフィリエイトリンクやRSSバナーなどを追加するというこのアプローチを行えば、コンテンツスクレイピングを十分に減らすことができると考えます。コンテンツスクレーパーのリダイレクトを行う方法も、それらのスクレーパーを止めることができるでしょう。上記でお伝えした以外にも、いくつかのコツがあります。

ブログのコミュニティでは、完全なRSSフィードと要約RSSフィードのどちらを持つべきかという議論があります。この議論について詳しく説明するつもりはありませんが、要約のみのRSSフィードを持つことの利点の1つは、コンテンツのスクレイピングを防ぐことができることです。

WordPressの管理画面から 設定 ＞ 表示設定 で設定を変更することができます。次に、フィードの表示で各記事の設定を変更します。要約を表示します。

トラックバックとピンバックは確かに素晴らしい用途がありましたが、現在では常に乱用されています。

多くのテーマでは、トラックバックやピンバックがコメントの下や中に表示されます。これは、スパマーにあなたのサイトをスクレイピングしてトラックバックを送信する動機を与えるものです。もしあなたが誤ってそれを承認してしまったら、彼らはあなたのサイトからバックリンクと言及を得ることになるのです。ここでは、今後のすべての投稿でトラックバックを無効にする方法を説明します。

既存のWordPress投稿のトラックバックとPingを無効にする方法は、こちらの記事で紹介しています。

スクレイピングされることは良いことなのでしょうか。もしスクレイパーのサイトからお金を稼いでいるのが分かったら、それは良いと言えるのかもしれません。スクレイパーのサイトから多くのトラフィックがあることが分かれば、それも良いのでしょう。

しかし、ほとんどの場合、そうではありません。あなたは常にスクレイピングされたコンテンツが削除されるように努力する必要があります。しかし、ブログの規模が大きくなると、すべてのコンテンツのスクレイパーを追跡することはほとんど不可能であることに気づくでしょう。私たちは今でもDMCAに苦情を出していますが、私たちのコンテンツを盗んでいる他のサイトが大量にあり、私たちがそれに追いつけないことも知っています。

この記事が、WordPressでブログコンテンツのスクレイピングを防ぐのにお役に立てれば幸いです。また、WordPressで画像の盗用を防止する方法についてのガイドを参照してくださいすることができます。