最近，我们的一位用户问我们如何阻止搜索引擎抓取和索引他们的 WordPress 网站。
在多种情况下，您可能希望阻止搜索引擎抓取您的网站并将其列在搜索结果中。
在本文中，我们将向您展示如何阻止搜索引擎抓取 WordPress 网站。
为什么要阻止搜索引擎抓取 WordPress 网站？
对于大多数WordPress 网站来说，搜索引擎是最大的流量来源。你可能会问，为什么会有人想要屏蔽搜索引擎？
以下是您不希望搜索引擎为您的网站编制索引的一些情况：
- 刚开始时，您可能不知道如何创建本地开发环境或暂存站点，而是在网站上线时对其进行开发。当您的网站正在建设中或处于维护模式时，您不会希望 Google 为其编制索引。
- 也有很多人使用 WordPress 创建私人博客。他们不希望它们被搜索引擎索引，因为它们是私有的。
- 您可以使用 WordPress 进行项目管理或内部网。在这些情况下，您不希望公开访问您的内部文档。
一个常见的误解是，如果您没有指向您域的链接，那么搜索引擎可能永远找不到您的网站。这不完全正确。
例如，可能有指向您网站的链接，因为该域名以前属于其他人。此外，互联网上有数以千计的页面仅列出域名。您的网站可能会出现在其中之一。
话虽如此，让我们来看看如何阻止搜索引擎抓取您的网站。我们将介绍四种方法：
方法 1：要求搜索引擎不要抓取您的 WordPress 网站
这是最简单的方法，但不能完全保护您的网站不被抓取。
WordPress 带有一项内置功能，可让您指示搜索引擎不要为您的网站编制索引。您需要做的就是访问设置»阅读并选中“搜索引擎可见性”旁边的框。
选中此框后，WordPress 会将此行添加到您网站的标题中：
<meta name='robots'content='noindex,follow'/> |
由WPCode主持 ❤️
WordPress 还会修改您网站的robots.txt文件并向其中添加以下行：
User-agent: *Disallow: / |
由WPCode主持 ❤️
这些行要求机器人（网络爬虫）不要为您的页面编制索引。但是，完全取决于搜索引擎接受或忽略此请求。尽管大多数搜索引擎都尊重该请求，但您网站上的某些页面或图像仍有可能被编入索引。
如果您想让搜索引擎无法索引或抓取您的网站，那么您需要使用方法 3 或 4 密码保护您的 WordPress 网站。
方法 2：要求搜索引擎不要抓取单个页面
您可能希望搜索引擎抓取您的网站并将其编入索引，但不在搜索结果页面中包含某些帖子或页面。
最简单的方法是使用 All in One SEO (AIOSEO) 插件。它是 适用于 WordPress 的最佳 SEO 工具 ，受到超过 300 万家企业的信赖。
对于本教程，我们将使用 AIOSEO 免费版 ，因为它包含 SEO 分析工具。还有一个 高级版本的 AIOSEO ，提供更多功能，如站点地图工具、重定向管理器、模式标记、robots.txt 编辑器等。
您需要做的第一件事是在您的网站上安装并激活 AIOSEO 插件。您可以按照我们关于如何为 WordPress 设置多合一 SEO 的分步指南了解如何安装和配置插件 。
设置插件后，您可以使用它来要求搜索引擎不要为某些帖子和页面编制索引。同样，完全取决于搜索引擎接受或忽略此请求。
只需编辑您不想被编入索引的帖子或页面。您需要向下滚动到 WordPress 编辑器底部的 AIOSEO 设置，然后单击“高级”选项卡。
请注意，本文使用的是默认机器人设置。
要更改此设置，您需要将“使用默认设置”开关切换到关闭位置。
现在您可以单击“无索引”复选框。帖子发布或更新后，将要求搜索引擎不要将其编入索引。
方法 3：使用 cPanel 密码保护整个站点
如果您的WordPress 托管服务提供商提供 cPanel 访问权限来管理您的托管帐户，那么您可以使用 cPanel 保护您的整个站点。
您所要做的就是登录到您的 cPanel 仪表板，然后单击“文件”部分中的“目录隐私”图标。
接下来，您需要找到安装 WordPress 的文件夹。通常，它是 public_html 文件夹。
之后，只需单击该文件夹旁边的“编辑”按钮。
注意：如果目录下安装了多个 WordPress 站点public_html，则需要单击链接public_html浏览这些站点，然后编辑要使用密码保护的站点所在的文件夹。
这会将您带到一个屏幕，您可以在其中打开密码保护。
只需选中“密码保护此目录”框，然后单击“保存”按钮。如果愿意，您还可以自定义受保护目录的名称。
您将看到一条确认消息，说明该目录的访问权限已更改。
接下来，您必须单击“返回”按钮。
您将被带到一个屏幕，您可以在其中创建访问此目录时需要使用的用户名和密码。
您需要输入用户名和密码，然后确认密码。请务必将您的用户名和密码记在安全的地方，例如 密码管理器应用程序。
单击“保存”按钮后，您就成功地为您的 WordPress 站点添加了密码保护。
现在，每当用户或搜索引擎访问您的网站时，系统都会提示他们输入您之前创建的用户名和密码以查看该网站。
方法 4：使用插件密码保护 WordPress
如果您使用的是托管 WordPress 托管解决方案，那么您可能无法访问 cPanel。在这种情况下，您可以使用 WordPress 插件来密码保护您的网站。
以下是两种最流行的解决方案：
- SeedProd是排名第一的即将推出的WordPress 维护模式插件，已在超过 800,000 个网站上使用。它具有完整的访问控制和权限功能，您可以使用这些功能对所有人（包括搜索引擎）隐藏您的网站。我们有 SeedProd 的分步操作指南。
- Password Protected是一种使用单个密码（无需创建用户）对 WordPress 网站进行密码保护的非常简单的方法。请参阅我们关于如何使用密码保护 WordPress 网站的分步指南。
