
如何使用python检查该URL是否被google编入索引
谷歌搜索控制台可以帮助你确定你的网站被编入索引的页面,但是你如何识别那些页面呢专栏作家保罗夏皮罗有一个这样的巨蟒脚本。
有机搜索有三个主要组成部分:爬行、索引和排名。当像谷歌这样的搜索引擎进入你的网站时,它会抓取所有链接并找到它们。然后它找到的信息会被索引到搜索引擎中,在搜索引擎中,不同的因素决定了对特定搜索查询按什么顺序爬行哪些页面。
作为搜索引擎优化,我们将把精力集中在排名上,但是如果你能在你的网站上对搜索引擎进行爬行和索引,你就不会收到来自谷歌的任何流量。显然,确保你的网站被正确的爬行和索引是搜索引擎的重要组成部分。
但是,你怎么能说,如果你的网站是包括正确的
如果您有机会访问Google搜索控制台,它会告诉您XML站点地图中包含多少页面,以及有多少页面被索引。不幸的是,它不会走得太远,告诉您哪些页面>没有索引。
确定某个URL已被Google编入索引
为了确保个人的URL已被谷歌编入索引,我们可以使用信息:搜索操作员,如下所示:
信息:
如果该URL已编入索引,则结果将显示该URL:
判断网页是谷歌索引信息运营商
但是,如果没有包含URL,谷歌会返回一个错误,说否,URL信息:
如果页面没有索引,谷歌的结果
使用python的url批量检查索引状态
现在我们知道了如何检查,如果一个URL被编入了索引,你可能想知道你如何做这样的一个集合。你可以让1000个工人检查每一个-或者,如果你愿意,你可以使用我的python解决方案:
使用上面的python脚本来确保安装了python 慈溪高端网站建设3。您还将安装BeautifulSoup库。为此,请打开终端或命令提示符并执行:
PIP安装美观4
然后您可以将脚本下载到您的计算机上。在同一文件夹中的脚本中,创建一个带有URL列表的文本文件,并在单独的一行中列出每个URL。
python脚本文件的目录结构
现在您的脚本已经准备好了,我们需要构建一个以我们的自由代理运行的Tor。

在Windows中,下载Tor专家包。将zip文件慈溪高端网站建设 夹解压缩到本地目录,并随时运行Tor.exe.minimize windows。
Tor专家截图
接下来,我们需要安装polipo来运行tor和http代理。下载最新的Windows二进制文件(它将命名为polipo-1).x.x.x-win32.zip)并解压缩到一个文件夹。
在polipo文件夹中,创建一个文本文件(例如,配置)。txt)包含以下内容:
socksparentproxy=本地:9050
SOCKSProxyType=袜子5
笛卡尔
禁用本地接口=真
打开命令提示符并浏览到您的polipo目录。
运行以下命令:
polipo.exe c config.txt文件
运行tor以配置polipo
现在,我们准备运行实际的python脚本:
python索引检查器.py
python脚本配置
该脚本将提示您指定每个URL之间等待的秒数。
它还将提示您输入文件名(无扩展名的文件)并将结果输出到csv。
最后,它请求包含检查URL列表的文本文件的文件名。
输入此信息并让脚本运行。
最终结果将是一个可以轻松打开Excel的csv文件,指定索引页是否为。
输出csv是否显示URL索引
如果脚本似乎不起作用,谷歌可能会阻止它。在这种情况下,随时可以使用您自己的代理服务,通过修改后的脚本:
代理= n
https:https:/本地:8123,
https:http:/本地:8123
}
结论
知道哪些页面被谷歌编入索引是SEO成功的关键。如果你的页面不在谷歌的数据库中,你就无法从谷歌获得流量!
不幸的是,google很难确定网站的url索引,但是通过一些艰苦的工作和上面的python脚本,我们可以解决这个问题。
网站的内部结构优化,网站的位置是什么
如何发布高质量的产品内容