WordPress禁止蜘蛛抓取指定页面

WordPress建站，会自带很多功能页面。这些页面被抓取不仅无用，还可能有安全风险。有一些页面不想被蜘蛛抓取，该怎么办呢？

添加以下配置到robots.txt文件，可以有效阻止那些遵守规则的爬虫。

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /*/comment-page-*
    Disallow: /*?replytocom=*
    Disallow: /*/*page/*
    Disallow: /category/*/page/
    Disallow: /tag/*/page/
    Disallow: /*/trackback
    Disallow: /feed
    Disallow: /*/feed
    Disallow: /comments/feed
    Disallow: /?s=*
    Disallow: /*/?s=*\
    Disallow: /attachment/

不过，对于那些不遵守规则的爬虫，这个方法是无效的。