BuddyPress için “robots.txt”

WordPress sitenizde BuddyPress kullanıyorsanız arama motorları tarafından ne kadar çok gereksiz sayfanın indekslendiğini fark etmişsinizdir. İşte bu gereksiz indekslemenin önüne geçebilmek için ben aşağıdaki “robots.txt” dosya örneğini kullanıyorum.

# If you are regularly crawling WordPress.com sites, please use our firehose to receive real-time push updates instead.
# Please see https://developer.wordpress.com/docs/firehose/ for more details.

Sitemap: https://atomic-temporary-80379284.wpcomstaging.com/sitemap.xml
Sitemap: https://atomic-temporary-80379284.wpcomstaging.com/news-sitemap.xml

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /wp-signup.php
Disallow: /press-this.php
Disallow: /remote-login.php
Disallow: /activate/
Disallow: /cgi-bin/
Disallow: /mshots/v1/
Disallow: /next/
Disallow: /public.api/
Disallow: */page/*
Disallow: */feed

Disallow: *acpage*

Disallow: */media/
Disallow: */groups/
Disallow: */friends/
Disallow: */info/
Disallow: */follows/
Disallow: */overview/
Disallow: */mentions/
Disallow: */following/
Disallow: */members/
Disallow: */favorites/

# This file was generated on Wed, 02 Jan 2019 02:51:30 +0000

Not: Sitemap için olan dosya adreslerini değiştirmeyi unutmayın.