SEO@INFINITY SEOニュースブログ

Web担当者Forumさんの記事紹介です。


■「クローキング」とは
ユーザーに提供しているコンテンツとは別のコンテンツを検索エンジンに認識させる手法。「クローク（cloak）」は「包み隠す」「覆い隠す」ことを意味する単語。

■どんな手法か詳しく解説
ユーザー向けの通常のHTMLページとは別に、検索エンジンに認識させるためのHTMLページを用意しておき、Webサーバーでアクセス元を判別して、ユーザーからのアクセスならばユーザー向けHTMLを、検索エンジンのクローラーからのアクセスならば検索エンジン向けのHTMLを読み込ませるようにします。

Webサーバーでアクセス元を判別するには2つの方法があり、そのどちらか、または両方を使って判別します。

１．IPアドレス
Webサーバーには、アクセス元のIPアドレス（インターネット上のアドレス情報）がわかります。たとえば、アクセスしてきたのがグーグルのクローラーであれば、そのIPアドレスをDNSで逆引きすると「crawl-66-249-66-1.googlebot.com.」という名前であることがわかるため、それがグーグルのクローラーだと判別することができます（Googlebot の確認）。

２．ユーザーエージェント名
Webサーバーには、アクセスしてきたプログラムの識別子(しきべつし)（ユーザーエージェント名とも言います）がわかります。たとえば、Firefoxを使ってアクセスしたユーザーならば次のようなユーザーエージェント名になります。


ネタ元：クローキングとは？ - ブラックハットSEO大全#03

SEM Rさんの記事紹介です。


2000年頃まで流行していた、スパム的なクローキングというのを見たことがない人が多いでしょうから、この手のものを誤解する人が多いのも仕方ありません。しかし、はてなのケースは全く問題ありません。そもそも、クローラがアクセスしているURLを人間もアクセス可能ですから、この時点でもうクローキングうんうんの話ではないのですよ。
たとえば、次のURLはGoogleにインデックスされた文字列ですが、人間がクリックしてもクローラが見たコンテンツと同じものが表示されますので不利益はありません。


ネタ元：はてなブックマークのSEO手法はスパムか？