千锋教育-做有情怀、有良心、有品质的职业教育机构

手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

当前位置:首页  >  技术干货  > 千锋Python培训班教你利用爬虫获取虎牙直播美女主播图片

千锋Python培训班教你利用爬虫获取虎牙直播美女主播图片

来源:千锋教育
发布人:小千
时间: 2021-08-06 08:56:00 1628211360

      当你学会了Python爬虫技术之后看到什么都想去爬一下,今天小千就来教大家如何去获取虎牙直播中的美女主播照片,带好小本本记好重点!

      Python爬虫获取直播封面图

      首先我们需要知道整体的流程:

      1.获取请求链接,并判断响应结果的类型。2.使用requests发出请求,获取响应结果。3.解析响应结果。4.将响应的结果做持久化保存。

      按照上面的步骤,第一步我们打开虎牙直播的网站,找到想要获取数据的专区,然后按下F11开发者工具,选择Network进行网络请求和响应的查看。我们的目的是获取海量的美女图片将页面拉到底部,进行翻页。发现地址栏没有变化。

      如果大家遇到这种情况,就要考虑是不是使用ajax进行异步请求了。在Network中选择XHR,进行异步请求的筛选。

千锋Python培训爬虫教程1

千锋Python培训爬虫教程2

      点开上图中圈起来的链接,发现在response处是一个json返回结果

千锋Python培训爬虫教程3

      链接其他的没有发生变化,唯独在最后位置page发生了改变。分别跟页码数对应上了。于是我们就有了下面的代码:

千锋Python培训爬虫教程4

      现在我们就来到了步骤二,使用requests发出请求了。

千锋Python培训爬虫教程5

      我们发现成功获取了3条json结果,接下来就是分析和解析数据了。因为json内容很长,我们不便分析它们,所以我们使用json的格式化工具完成

千锋Python培训爬虫教程6

      通过分析我们发现所有的数据都在data-->datas中,而图片在screenshot对应的值上。所以我们开始解析,先将json字符串使用json.loads()进行转换,得到的是一个字典,然后层层的获取数据。

      我们虽然提取出来了图片的url,但是还没有保存到本地。所以接下来要做第四步持久化保存了。因为我们下载的仅仅是图片,所以直接使用request.urlretrieve实现就可以

      因此最后的完整代码是:

千锋Python培训爬虫教程7

      以上就是利用Python获取美女直播图片的教程了,其他直播网站的图片也可以同样方式操作,如果你对Python爬虫感兴趣的话不妨来千锋Python培训班了解一下我们的Python培训课程,包含全套Python爬虫教程,权威名师全程面授学不会继续学直到学会为止,现在咨询还有免费的学习资料可以领取,赶紧来了解一下吧。

tags:
声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。
10年以上业内强师集结,手把手带你蜕变精英
请您保持通讯畅通,专属学习老师24小时内将与您1V1沟通
免费领取
今日已有369人领取成功
刘同学 138****2860 刚刚成功领取
王同学 131****2015 刚刚成功领取
张同学 133****4652 刚刚成功领取
李同学 135****8607 刚刚成功领取
杨同学 132****5667 刚刚成功领取
岳同学 134****6652 刚刚成功领取
梁同学 157****2950 刚刚成功领取
刘同学 189****1015 刚刚成功领取
张同学 155****4678 刚刚成功领取
邹同学 139****2907 刚刚成功领取
董同学 138****2867 刚刚成功领取
周同学 136****3602 刚刚成功领取
相关推荐HOT