使用requests库爬取豆瓣top250,通过BeautifulSoup库筛选数据,将页面文件爬取并写入到source.txt文件中,并同时通过csv库输出内容至csv文件中。

首先安装requests库,提示已存在

首先对requests库进行基本使用,创建一个1.py文件,并调用requests

生成一个requests对象

设置编码格式,不然会导致乱码

打印状态码并将内容输出,查看结果。


修改程序,让程序将爬取到的页面保存至文件,并将py文件重命名为simspider.py

运行程序,桌面成功多出一个source.txt文件,且内容正是爬取的内容,测试完毕,开始正式编写!


新建一个python文件,名字为simspider.py,同时撰写代码

运行程序,桌面多了个文件source.txt,同时内容为页面内容

开始筛选数据,并同时将数据保存至csv文件

完整代码如下:

运行,桌面多了个result.csv,查看result.csv文件,与页面文件比对是否全部抓取到有效数据。

经历了许多问题,首先的问题就是requests的get请求不到任何东西,在网络上找了半天,原因是豆瓣屏蔽了不正常的ua,但是百度没有屏蔽,所以一开始百度可以进行爬取,后面设置了头部信息ua之后,就可以对豆瓣进行抓取了,抓取到了之后发现了问题,通过re库的findall太难筛选了,后面直接使用了神器BeautifulSoup4,简直就是爬虫利器啊,可以直接通过class啥的定位,还能直接获取文字属性值什么的,爽的不要不要的,最后就是保存文件的时候,折腾了我2个小时,我都吐了,一开始用的pandas库,结果发现由于使用的是list的方式存储,pandas库又不支持直接将list数据存入csv文件,最后直接祭出csv库,通过writerow直接一行一行数据加入,最后在关闭文件,ok成功!编码问题也要注意,gbk最适合文件保存了,utf8就适合读取了。
最后修改:2021 年 04 月 10 日

❤感谢耐心看完,觉得文章不错的话,可以点个赞~或者请作者喝杯咖啡~ヾ(◍°∇°◍)ノ゙❤