【爬虫系列】爬虫实战--获取电影短评并生成词云

【爬虫系列】爬虫实战--获取电影短评并生成词云

2024-10-31 16:05

最近看完了口碑大赞的国产科幻电影，感觉非常的不错，刷新了对未来科幻的认知啊。在大饱眼福的同时，也想着大家对这部电影都是怎么评价的呢？

打开豆瓣网，找到电影短评页面，该网页是分页类型的，我打算使用 requests 与 BeautifulSoup 爬取到文本文件中，然后通过 jieba 抽取关键字和生成词云进行可视化展示。

需求分析：

代码实现：

<1>. 实现获取短评数据的主体方法，流程有获取html网页数据、将html网页数据保存到txt文件、解析html网页数据并以json格式保存等步骤，如下

<2>. 将html网页数据保存到txt文件，如下

<3>. 解析html网页数据，如下

<4>. 以json格式保存数据，如下

需要导入的模块有：

实现效果1：

实现效果2：

接下来，打算使用 jieba 进行分词，并生成词云，看下评论里讨论最多的关键字是什么，由于样本数量有限，只能代表前220条的热门评论哦。

我目的是获取评论内容，而封装成 JSON 格式不利于进行关键词抽取。因此，需要进一步处理，把评论内容按行写入文本文件。写个转换方法，如下：

处理之后，效果如下：

在之前的 jieba 博文里，介绍过两种抽取关键词的方式，这里使用基于 TextRank 算法的关键词抽取。

实现代码，如下：

需要导入的模块：

生成词云的效果：