検索エンジンによるサイト内のコンテンツの重複を防ぐ

URL正規化を使用することで、検索エンジンのインデックス内においてサイトのコンテンツが重複するのを防ぐことができます。rel="canonical" などを利用して正規ページを指定する方法 | Google 検索セントラル  |  ドキュメント  |  Google for Developers

正規化するには、

<link rel="canonical" href="http://example.com/" />

のようにlink要素のrel属性canonicalとし、href属性に正しいURLを指定します。

wwwの有無による重複

wwwの有無による重複、つまり「example.com」と「www.example.com」が実際には同じサイトであるにもかかわらず、別々に検索結果に表示される場合を考えます。

Googleの場合

Google ウェブマスター ツールの[サイトの設定]から[使用するドメイン]の設定をすることで、Googleにインデックスされるドメインを統一することができます。使用するドメインの設定(www の有無) - ウェブマスター ツール ヘルプ

HTMLの情報サイトから、まとめて検索