【摘 要】
：
随着互联网和计算机技术的发展,各行各业包括人们的日常生活都在不断产生数据,数据量成几何倍数增长,单台计算机已无法完成数据处理。为了解决单机无法完成海量数据处理的问题,本文采用Hadoop分布式计算平台来解决这个问题。Hadoop的Spark模型是新兴的数据梳理引擎,Spark可直接在内存中读取弹性分布式数据集的数据,避免了I/O的频繁操作,并大大提高了数据处理速度。
【机 构】
：
杭州中软安人网络通信股份有限公司 浙江 310012
论文部分内容阅读
随着互联网和计算机技术的发展,各行各业包括人们的日常生活都在不断产生数据,数据量成几何倍数增长,单台计算机已无法完成数据处理。为了解决单机无法完成海量数据处理的问题,本文采用Hadoop分布式计算平台来解决这个问题。Hadoop的Spark模型是新兴的数据梳理引擎,Spark可直接在内存中读取弹性分布式数据集的数据,避免了I/O的频繁操作,并大大提高了数据处理速度。
其他文献
开展群体心理演化建模与仿真研究,有效刻画网民群体心理状态发展过程、准确把握网络信息影响下群体心理状态演化发展规律,是网络舆情监测与管控的重要课题。本文采用改进的SIR(Susceptible Infected Recovered)模型,将网民群体心理状态划分为潜在接触期、接触期、关注期、跟风评论、情绪感染、迷信盲从、康复期等不同状态群体,在此基础上构建网络信息传播中群体心理演化仿真模型,并基于该模
本文为满足智能手机端居民用电应用需求,面向个人用户的电量使用查询、电量用能分析、用电电费交纳、更名过户和故障报修等业务功能,进行居民用电手机APP设计,实现以月、年为单位的用电量查询及分析功能,用户电费交费功能,产权/户名变更功能,用电故障报修功能等。本文在电力行业移动式手机应用的建设方面具有一定的参考意义和价值。
绝大多数的软件漏洞来源于软件开发阶段,系统开发时期避免漏洞要比运维时期整改漏洞成本低很多。输入输出检验、身份认证、密码管理、错误处理、系统配置、文件管理等各个方面都涉及安全编码,对于每一个具体信息系统的开发,都会面临各种安全隐患和威胁,涉及的理论和技术范围较广,超出一般开发人员的知识储备。面对这种问题,通过对开发中的各个方面的安全隐患进行分析,归纳总结出每一类问题安全预防的有效方法,以方便开发人员
在计算机技术在发展的同时,黑客的攻击性也不断增强,其中云计算技术的出现,方便了人们的工作,提升了企业的管理效率,但与此同时,也出现了相对严重的网络安全技术问题。基于此,本文将重点阐述基于云计算的网络安全技术现状与发展情况。
目前互联网技术已经在人们的生活中得到了普及,为人们的生活带来了便利。通过运用互联网和计算机技术,在生活中可以实现数据的保存、传输和应用,但是在互联网的应用过程中,很多用户因为没有良好的网络安全知识,在使用计算机的过程中出现网络安全问题,造成了相关数据的丢失、损坏和泄漏等严重问题。随着科技的发展,通过数据挖掘技术可以有效的检测网络安全中未知威胁,在人们使用互联网的过程中创造良好的环境。基于此,本文通
大数据平台中每天会产生海量的数据,其中部分数据包含敏感信息。而这些包含敏感信息的数据文件,每天被谁访问了?访问后是否生成了新的数据文件?新文件是否会被继续访问?当前环境下,企业的CISO无法解答这些问题。同时要想阻止敏感信息的泄漏,就必须对敏感数据文件的流向有直观的了解。敏感数据流向分析是为了帮助管理员了解企业内敏感数据的使用情况,分析潜在的泄漏风险。