编辑:user06    发布日期:2020-09-15 12:15:48

Screaming Frog SEO Spider for Mac是一个网站爬虫,允许你抓取网站的网址,并获取关键要素,分析和审计技术和现场搜索引擎优化。在本篇文章中,我们介绍的是Screaming Frog SEO Spider for Mac进行网页抓取和数据提取的技巧。

Screaming Frog SEO Spider for Mac使用教程

1)点击“配置>自定义>提取”
该菜单可以在SEO Spider的顶级菜单中找到。自定义提取以进行网页抓取
这将打开自定义提取配置,允许您配置多达100个单独的“提取器”。2)选择CSS路径,XPath或正则表达式进行剪贴
在尖叫青蛙 SEO蜘蛛工具提供从网站抄袭数据的三种方法:

XPath – XPath是一种查询语言,用于从XML之类的文档(例如HTML)中选择节点。此选项使您可以使用XPath选择器(包括属性)来抓取数据。
CSS路径 –在CSS中,选择器是用于选择元素的模式,通常是三种可用方法中最快的一种。此选项使您可以使用CSS路径选择器来抓取数据。可选属性字段也可用。
正则表达式 –正则表达式当然是用于匹配数据模式的特殊文本字符串。这最适合高级用途,例如抓取HTML注释或内联JavaScript。
建议在大多数常见情况下使用CSS Path或XPath,尽管它们都有各自的优势,但是您可以简单地选择最适合使用的选项。

使用XPath或CSS Path收集HTML时,您可以使用下拉过滤器准确选择要提取的内容–

提取HTML元素 –所选元素及其所有内部HTML内容。
提取内部HTML –所选元素的内部HTML内容。如果所选元素包含其他HTML元素,则将它们包括在内。
提取文本 –所选元素的文本内容以及任何子元素的文本内容。
3)输入语法
接下来,您需要将语法输入到相关的提取器字段中。查找要抓取的数据的相关CSS路径或Xpath的快速简便方法是,只需在Chrome中打开网页,然后打开要收集的HTML行的“检查元素”,然后右键单击并复制提供的相关选择器路径。

例如,您可能希望开始抓取博客文章的“作者”,并且每个人都收到了评论。让我们以Screaming Frog网站为例。

在Chrome中打开任何博客帖子,右键单击并在每个帖子上的作者姓名上单击“检查元素”,这将打开“元素” HTML窗口。只需再次右键单击相关的HTML行(具有作者姓名),复制相关的CSS路径或XPath,然后将其粘贴到SEO Spider的相应提取器字段中即可。如果您使用Firefox,则也可以在其中进行相同的操作。
CSS Path Scraping作者您可以重命名“提取程序”,它对应于SEO Spider中的列名。在此示例中,我使用了CSS Path。定制提取作者和评论
每个提取器旁边的对勾确认所使用的语法有效。如果它们旁边有一个红叉,则可能需要进行一些调整,因为它们无效。

当您感到高兴时,只需按下底部的“确定”按钮即可。如果您想查看更多示例,请跳至本指南的底部。

请注意–这不是构建CSS选择器和XPath表达式的最可靠的方法。使用此方法给出的表达式可以非常特定于元素在代码中的确切位置。由于检查的视图是页面/ DOM的呈现版本,因此这是可以更改的,默认情况下,SEO Spider会查看HTML源代码,而SEO Spider在其中处理页面时会进行HTML清理是无效的加价。

这些内容在浏览器之间也可能有所不同,例如,对于上述“作者”示例,给出了以下CSS选择器–

Chrome:正文> div.mAIn-blog.clearfix> div> div.mAIn-blog-posts> div.mAIn-blog-posts_single-inside_author.clearfix.drop> div.mAIn-blog-posts_single-inside_author-detAIls.col- 13-16> div.author-detAIls-social>
Firefox: .author-detAIls-social> a:nth-child(1)

Firefox提供的表达式通常比Chrome提供的表达式更强大。即使这样,也不应将其用作理解各种提取选项并能够通过检查HTML源代码手动构建这些选项的完整替代。

关于CSS选择器的w3schools指南及其XPath简介是了解这些表达式基础的好资源。

4)抓取网站
接下来,在顶部的URL字段中输入网站地址,然后单击“开始”以爬网网站并开始抓取。5)在“自定义提取”选项卡下查看爬取的数据
抓取的数据开始在抓取过程中实时显示在“自定义提取”选项卡以及“内部”选项卡下,您可以将收集到的所有数据一起导出到Excel中。

在上面概述的示例中,我们可以看到每篇博客文章旁边的作者姓名和评论数已被抓取。

自定义提取
当进度条达到“ 100%”时,爬网已完成,您可以选择使用“导出”按钮来“导出”数据。

如果您已经有了想要从中提取数据的URL列表,而不是抓取网站来收集数据,则可以使用列表模式上载它们。

而已!希望以上指南有助于说明如何使用SEO Spider软件进行网页抓取。
显然,可能性是无限的,此功能可用于收集任何内容,从纯文本到Google Analytics(分析)ID,架构,社交元标签(例如Open Graph标签和Twitter卡),移动注释,hreflang值以及价格产品,折扣率,库存可用性等。我已经介绍了更多示例,这些示例按提取方法划分。

以上就是今天Macz为大家介绍的Screaming Frog SEO Spider for Mac进行网页抓取和数据提取的技巧,希望对您有所帮助。

热点资讯

更多
2022年国内手机市场回顾:寒气传递到每个厂商,华为苹果抢占新高地 2022年国内手机市场出货量同比大幅下滑,本文从折叠屏逆势增长、联发科切入旗舰与卫星通信创新等角度分析厂商破局路径。
苹果不玩性能了?传iPhone15芯片或更注重电池续航而非性能 外媒爆料称iPhone 15系列将搭载注重能效的A17芯片以改善电池续航,全系可能标配灵动岛设计,Pro版采用3nm工艺,并或因欧盟规定改用USB-C接口,定价策略也有调整传闻。
MacBook产品线2023年将发多款旗舰新品 本文报道了苹果计划于明年初发布搭载M2 Pro与M2 Max芯片的14/16英寸MacBook Pro,以及15.5英寸MacBook Air、M3 iMac等新品传闻,梳理其产品线扩张策略。
多款新品问世,2023年VR/AR市场将迎来神仙打架局面 本文介绍了2023年即将发布的索尼PS VR2、Meta Quest 3与苹果MR头显等VR/AR头戴设备新品的规格、定价及市场预期,为关注虚拟现实领域的读者提供趋势参考。

相关教程

更多
256GB还不够用?如何正确管理手机存储空间? 智能手机存储空间虽大幅提升却常提示不足,除常规清理外,可通过精简APP、改用小程序与WEB版、定期备份照片视频至云空间等技巧长效管理存储空间。
部分用户反映苹果 2021 款 MacBook Pro 16 合上盖子后,出现无法充电的问题 部分2021款16英寸MacBook Pro在合盖关机时,MagSafe充电器指示灯琥珀色闪烁且无法充电。苹果官方支持页面提供了MagSafe恢复步骤,用户也可联系苹果支持换机处理。
微信支付亲属卡升级:新增五张可赠他人,可设置三张子女卡 微信支付亲属卡迎来重大升级,新增可赠予父母子女之外其他亲人的五张卡,子女卡增至三张。文章说明了优先扣款方式切换、每月3000元额度上限及红包与扫码支付等使用限制,帮助用户掌握新规则。
苹果 MacOS 12 Monterey 新增支持巨大鼠标指针/光标 在 Mac 上工作时易丢失细小的鼠标指针。macOS Monterey 支持在辅助功能中永久放大光标,通过系统偏好设置里的滑块即可调整指针尺寸与颜色。

相关软件