900字范文,内容丰富有趣,生活中的好帮手!
900字范文 > 如何用python爬取知网论文数据 – java – 前端 python 读取目录下文件

如何用python爬取知网论文数据 – java – 前端 python 读取目录下文件

时间:2023-08-19 00:05:55

相关推荐

如何用python爬取知网论文数据 – java – 前端 python 读取目录下文件

授人以鱼不如授人以渔,偶介绍一下用Python自动化下载偶想要的论文参考文献格式的方法。其用到的方法和工具同从知网爬取论文数据类似,你可以做个参考。

工具:selenium浏览器: Chrome引用的库:

为了将每个下载到的文件都能对应正确的文件名,用了多线程来监听下载目录文件夹,用watchdog一个开源库来监听下载目录文件夹,当该文件夹中出现新的文件时,程序自动将该文件进行重命名。

软件从一个txt文件中读取出需要下载的文件名称,然后进行自动化下载。从txt中读取文件名称时,用到了正则表达式。

需要下载的文献在txt中

打开浏览器

打开浏览器后,需要获取到页面的相应操作控件,需要获取输入框和搜索按钮,selenium提供了find_element_by_id函数,可以在界面中找到控件的id即可

同理找到搜索按钮的id,然后在输入框中填入需要搜索的文章,触发按钮的click事件。

按照上述思路进行界面自动化操作,进入到想要的下载链接按钮处

现在需要获取到该链接,即图中的href链接既是需要下载的内容链接

事实上,下载按钮有相应的属性值,只需要通过get_attribute函数获取即可。

以上既是自动化下载文献引用格式的一个过程。爬取知网论文思路类似,完全可以通过Selenium来实现。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。