WordPress robots.txt文件如何设置

WordPress robots.txt文件配置并没什么标准，重点看自己期望被抓取哪些页面，一般情况下robots.txt不配置，保存默认就好，当然也可以按下面方式配置。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
Sitemap: https://www.zhuige.com/wp-sitemap.xml

如果是多站点，我们还需要在当前WordPress模板 functions.php 函数文件中添加以下代码。

function robots_mod( $output, $public ) {  
  $output .= "Disallow: /feed\n";
  $output .= "Disallow: /trackback\n";
        $output .= "Disallow: /user/";
  return $output;
}
add_filter( 'robots_txt', 'robots_mod', 10, 2 );