基于Python的网络爬虫及展示系统文献综述

 2021-10-19 22:35:46

毕业论文课题相关文献综述

一、系统开发的背景及意义1.1概述 在现代生活中,虽然电子阅读方式早已普及开来,但并非所有书籍都已电子化,纸质书籍仍有着其自身的优势,有大量场合要用到纸质书籍,购买纸质书籍是生活中的一项重要需求,电子商务让购买纸质书籍更为便捷。

其中当当网作为现有的较大的图书资讯集成商和供应商,是许多人进行书籍购买的优先选择,对于单个用户而言,书籍信息过于庞杂,此时一个能实时采集图书信息并通过信息比对给出购买最优解的图书信息爬虫系统就显得十分必要。

1.2 系统开发意义现代电子商务模式的普及带来了便捷化的购买商品的方式,同时也带来了海量的信息冲击,其中不乏有许多的无效信息,包括商家的各类广告信息,使用爬虫获取信息免除了用户打开网页浏览的过程,可以使信息更为抽象化,从而能通过数据比对来获得购买商品的选择建议。

用户使用爬虫获取信息免除了用户打网页浏览的过程,能一次性获取大量且抽象的书籍信息,易于比对分析。

爬虫程序置于Server端的服务器中,用户可以在网页端输入筛选条件发起爬虫请求而不必下载爬虫程序,使得用户使用的过程更为简便且轻量化。

网页端收集信息之后可以根据用户的需求进行更为个性化的筛选与分类,而当当网本身可能并不能提供过于细化的筛选与分类。

该系统同时能够保存用户和管理员的信息,使得用户能存储自己的书籍筛选分类偏好,方便多次使用。

该系统使用图形化的数学模型来构建价格浮动与价格对比等信息,比用户直接在电子商务网站对比筛选更为直观。

二、系统要实现的功能1.用Python进行信息爬取和数据分析,信息源是当当网的所有的图书信息(1)信息爬取要进行信息爬取需要用户输入目的书籍信息,爬虫程序会构建信息访问request,并从当当网服务器发回的response中解析出需要的书籍信息。

左侧是书籍搜索页面,右侧是返回的response中所含的页面渲染信息如果用户还需要进一步完善的信息,还可以对书籍详细信息页面发送request。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。