毕业论文课题相关文献综述
开发背景
如今电影的兴起成为了人们日常生活中不可或缺的一部分,电影不仅能给人们轻松的感觉,也可以带给人们深刻的思考。但是人们不一定有时间到电影院观影,在大多数时候观影者也想要观看历年来的经典高分电影,这就需要网上的观影平台对各种电影进行分类和推荐。根据不同的观众的喜好能够分享不同类型的电影。
互联网的网页数量是海量的,所以爬虫的性能至关重要。此外爬虫对各种异常情况能否正确处理非常重要,否则可能会不定期停止工作,这是无法忍受的。大型网络爬虫一定是分布式运行的,即多台服务器专做抓取。每台服务器部署多个爬虫,每个爬虫多线程运行,通过多种方式增加并发性。
系统功能需求
(1)网页分析 分析目标网站的结构及功能,并进行相应的处理;
(2)用户注册及登录 通过获取cookie的方式进行模拟用户登录;
(3)代码实现 通过代码进行对网站的源代码获取以及解析;
(4)爬取网站 将写好的爬虫对网站进行爬取,获取有用的信息;
(5)数据存储 将爬虫爬出有用的信息存储到文件中;
(6)数据分析 将得到的数据进一步分析,提炼,归纳,总结,得出用户方便得知的信息;
剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付
以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。