面向电商用户的日志分析系统文献综述

 2021-10-19 22:40:25

毕业论文课题相关文献综述

文 献 综 述 1. 前言近年来,随着电商的高速发展,网购已经成为人们日常生活中重要的一部分。

电商网站每天都会产生大量的日志文件。

尤其是在2019年天猫双十一,总成交额达到2684亿元人民币,京东2044亿元人民币,当天产生的用数据也瞬间达到PB级别。

我们可以从这些用户行为日志中获取很多有价值的信息用于分析和评估,评估结果有利于公司在商业竞争中抢占先机。

例如可以从日志数据中挖掘出销售量最好的商品,网站最受欢迎的板块,网站点击最高的广告,那个地方投放广告更加高效。

但是如何从海量的用户行为日志中获取有价值的信息已经成为大多数企业目前面临的问题。

使用单节点主机对海量的日志信息进行存储和计算已经无法满足目前的需求,因此利用分布式存储和计算成为了当下日志存储和计算的必然趋势。

利用Hadoop在一些廉价的计算机上就可以搭建出集高可靠性,高扩展性,高效性,高容错性的集群,对用户行为日志进行批量处理,有效的提高工作效率。

本文从日志的产生,收集,存储,分布式计算等进行设计。

2. 主要相关技术2.1. HadoopHadoop是Apache软件基金会下的开源分布式框架[1],主要用于大规模数据处理,其主要核心组件Hadoop Distributed File System (HDFS)分布式文件系统和Hadoop MapReduce分布式文件系统。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。