Python爬取网易云歌曲评论,做词云分析
Python,爬取,网易,歌曲,评论,词云,分析
2025-03-28 09:01:03 时间
前言
emmmm 没什么说的,想说的都在代码里
环境使用
- Python 3.8 解释器 3.10
- Pycharm 2021.2 专业版
- selenium 3.141.0
本次要用到selenium模块,所以请记得提前下载好浏览器驱动,配置好环境
代码实现
先是安装、导入所需模块
from selenium import webdriver # 导入浏览器的功能
import re # 正则表达式模块, 内置
import time # 时间模块, 程序延迟
1. 创建一个浏览器对象
driver = webdriver.Chrome()
2. 执行自动化
driver.get('https://music.163.com/#/song?id=488249475')
# selenium无法直接获取到嵌套页面里面的数据
driver.switch_to.frame(0) # switch_to.frame() 切换到嵌套网页
driver.implicitly_wait(10) # 让浏览器加载的时候, 等待渲染页面
下拉页面, 直接下拉到页面的底部
js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight'
driver.execute_script(js)
3.解析数据
divs = driver.find_elements_by_css_selector('.itm') # 所有div css语法: 定位到 html 数据/xpath/正则
for div in divs:
cnt = div.find_element_by_css_selector('.cnt.f-brk').text
cnt = re.findall(':(.*)', cnt)[0] # 中英文有区别
print(cnt)
保存数据
翻页
for page in range(10): # 控制翻页 速度太快
# 翻页 , 找到下一页标签, 点击?
driver.find_element_by_css_selector('.znxt').click()
time.sleep(1)
# selenium 欲速则不达
保存为txt文件
with open('contend.txt', mode='a', encoding='utf-8') as f:
f.write(cnt + '\n')
运行代码得到结果
再做个词云
导入相关模块
import jieba # 中文分词库 pip install jieba
import wordcloud # 制作词云图的模块 pip install wordcloud
import imageio
读取文件数据
with open('contend.txt', mode='r', encoding='utf-8') as f:
txt = f.read()
print(txt)
词云图 分词<中文(词语)> 基于结果
txt_list = jieba.lcut(txt)
print('分词结果:', txt_list)
合并
string_ = ' '.join(txt_list) # 1 + 1 = 2 字符串的基本语法
print('合并分词:', string_)
创建词云图
wc = wordcloud.WordCloud(
width=1000, # 图片的宽
height=800, # 图片的高
background_color='white', # 图片的背景色
font_path='msyh.ttc', # 微软雅黑
scale=15, # 词云图默认的字体大小
# mask=img, # 指定词云图的图片
# 停用词< 语气词, 助词,....
stopwords=set([line.strip() for line in open('cn_stopwords.txt', mode='r', encoding='utf-8').readlines()] )
)
print('正在绘制词云图...')
wc.generate(string_) # 绘制词云图
wc.to_file('out.png') # 保存词云图
print('词云图绘制完成...')
最后效果
相关文章
- 用Python爬取王者荣耀英雄皮肤海报图
- Python基础17-面向对象
- 用 Python 破解 WiFi 密码,太刺激了!
- Python 进制转换函数及前缀截取
- Python 哈希表查询_进入<哈希函数>为结界的世界
- 你一定是在逗我,Python都不会就想做算法?
- python使用RSA加密算法
- 用Python做个色情图片识别
- 快速了解 OJ 判题系统如何在python中使用?
- Python求解两数之和[通俗易懂]
- 用Python写一个百度POST实时推送工具
- Python open函数详解「建议收藏」
- Python项目46-xadmin管理后台数据(强撸)
- python数据分析源码_python 统计分析
- 6个可解释AI (XAI)的Python框架推荐
- 提高数据科学效率的 8 个Python神库!
- python语法(二)——截取字符串的方法详解
- 二级Python选择题_二级python选择题题库
- Python中break和continue区别「建议收藏」
- 2022春节贺岁档电影开分,水门桥不理想,四海崩了!用Python一探究竟