首页 > 聚焦 > >正文

【爬虫案例】用Python爬大麦网任意城市的近期演出！

来源：哔哩哔哩2023-06-25 07:02:15

一、爬取目标

大家好，我是@马哥python说 ，一枚10年程序猿。

今天分享一期python爬虫案例，爬取目标是大麦网近期演出活动：

https://search.damai.cn/search.html?keyword=


(资料图片)

二、展示爬取结果

爬取结果截图：

含10个字段：

页码，演出标题，链接地址，演出时间，演出城市，演出地点，售价，演出类别，演出子类别，售票状态。

演示视频：

以上。

三、讲解代码

首先，导入需要用到的库：

定义一个请求头：

其中，cookie的获取方式如下：

定义请求地址url：

定义请求参数params，从PayLoad中获取：

发送请求，并且用json格式解析数据：

以"演出标题"字段为例：

其他字段同理，不再赘述。 

最后是保存到csv文件：

其中，encoding参数设置为utf_8_sig，目的是防止csv文件产生乱码，不便读取。

整个代码中，还含有：设置sleep随机等待、判断循环停止条件、防止多次写入表头、用户input输入过滤条件、往csv文件名添加时间戳等功能，篇幅有限，详细请见原始代码。

四、同步视频

代码演示：

五、获取完整源码

爱学习的小伙伴，本次分析过程的完整python源码及结果数据，我已打包好，并上传至我的微信公众号"老男孩的平凡之路"，后台回复"爬大麦"即可获取。

我是@马哥python说，一名10年程序猿，近期持续分享python干货中！

标签：

下一篇： 最后一页
上一篇： 懒惰的寒号鸟懒惰怎么写_懒惰的寒号鸟
推荐
最新消息
资讯
财经时评
社会热点
精彩推送

Copyright ©  2015-2032 华西管理网版权所有  备案号：京ICP备2022016840号-35   联系邮箱： 920 891 263@qq.com