⑴Log File Analyser是一款非常实用的,免费的日志文件解析软件,可以帮助站长们快速找到网站出错日志的问题所在,及时做出调整,有效的解决网站出现的各种问题!
⑵识别已抓取的网址
⑶查看和分析Googlebot和其他搜索漫游器能够抓取哪些网址,时间和频率。
⑷深入了解哪些搜索机器人最常抓取,每天抓取多少网址以及机器人事件总数。
⑸找到断开的链接和错误
⑹发现搜索引擎漫游器在抓取您的网站时遇到的所有响应代码,损坏的链接和错误。
⑺查找搜索机器人遇到的临时和永久重定向,这可能与浏览器或模拟爬网中的重定向不同。
⑻分析您网站的最常被抓取的网址和目录,以识别浪费并提高抓取效率。
⑼识别大页面和慢速页面
⑽查看下载的平均字节数以及识别大页面或性能问题所花费的时间。
⑾查找未抓取和孤立页面
⑿导入网址列表并与日志文件数据进行匹配,以识别Googlebot尚未抓取的孤立或未知网页或网址。
⒀结合并比较任何数据
⒁使用“URL”列对日志文件数据导入和匹配任何数据。因此,导入爬网,指令或外部链接数据以进行高级分析。
⒂建立一个新项目
⒃要创建一个新项目,你只需要单击顶部菜单中的“新建”按钮或“项目>新建”。然后系统会要求你为项目命名并选择时区。你也可稍后重命名该项目。
⒄你还可单击“用户代理”选项卡以配置在项目中分析的用户代理。默认情况下,日志文件分析器仅分析搜索引擎机器人事件,因此请选中“筛选用户代理(改进的性能)”框。
⒅在此窗口的底部,你还可选择在导入日志时“验证机器人”。这将使初始日志文件导入更长时间,或者你可在导入后执行此操作。
⒆假如要分析每个URL,只需忽略此选项卡并将其留空。
⒇假如日志文件中的URL是相对的而不是绝对的,则还会要求你提供完整的站点URL,包括协议(HTTP或HTTPS)。只需在窗口中输入URL即可。
⒈要打开现有项目,请单击顶部菜单中的“打开”按钮或“项目”>“打开”。
⒉此外,你可使用“项目”>“打开”>“最近”从最近打开的项目列表中进行选择。
⒊要删除现有项目,请在所选项目的顶部菜单中单击“项目”>“删除”。
⒋或者,你可单击顶部菜单中的项目>打开,突出显示要删除的项目,然后按窗口底部的删除按钮。
⒌要导入日志文件,请在“导入的URL数据”选项卡以外的任何选项卡上将日志文件拖放到应用程序中。或者,你可使用顶部菜单中的“导入>日志文件”按钮或“项目>导入日志文件”选项。
⒍当你打开一个新项目时,主窗口窗格将显示以下消息,你只需拖放日志文件即可
⒎,将其他日志文件导入项目
⒏你可通过拖放将添加到项目中的数据而不是覆盖它的其他日志文件,以与上述相同的方式继续将其他数据导入现有项目。
⒐假如你犯了错误或决定删除某些数据,则可在“项目”>“导入历史记录”下查看(并删除)导入。
⒑你可导出Screaming Frog SEO Spider的“内部”选项卡,并将文件直接拖放到“导入的URL数据”选项卡窗口中。或者,你可使用顶部菜单中的“导入> URL数据”按钮或“项目>导入URL数据”选项。这将快速将数据导入到“日志文件分析器”的“导入的URL数据”选项卡和数据库中。
⒒“导入的爬网数据”选项卡仅显示你导入的数据,而不显示其余数据。但是,你现在可使用URL和响应标记选项卡中提供的视图筛选器查看提取的数据以及日志文件数据。
⒓日志文件解析器默认为“日志文件”,但假如你将视图更改为“与URL数据匹配”,它将显示爬网数据以及日志文件数据(向右滚动)。
⒔“不在URL数据中”将显示在日志中找到但未在导入的爬网数据中找到的URL。这些可能是孤立的URL,现在重定向的旧URL,或者只是来自外部网站的错误链接。
⒕“不在日志文件中”将显示在爬网中找到但未在日志文件中找到的URL。这些可能是搜索机器人未抓取的网址,也可能是最近发布的新网址。
⒖,删除导入的URL数据
⒗你可通过单击顶部菜单选项中的“项目>清除URL数据”快速删除项目中的“导入的URL数据”。
⒘请注意,删除数据后,除非再次导入数据,否则无法恢复。