基于Hadoop的XBRL数据分析系统设计与实现

被引量 : 0次 | 上传用户:zmh700929
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
可扩展业务报告语言XBRL是XML在业务报告信息交换领域的一种应用技术,具有对财务报表进行特定的识别和解析,简化生成财务报表的准备工作和相关财务信息的定义工作,降低网络信息交换成本,提高业务报告的可信度和数据准确性等优点。企业可以利用XBRL技术使财务数据从收集到报告全部自动化,其生成的XBRL格式的财务报告易于用户(包括投资者、决策者和监管者等)更快更有效的地进行数据存储、挖掘、分析和比较工作。近年来随着XBRL在国际金融机构中的大力推广使用,上市公司的财务季度报告已经开始使用XBRL标准报送,所以每个季度金融机构都会接收海量的XBRL财务报告数据。这些财务报告记录着每个季度上市公司的财务金融信息,有着非常高的挖掘、分析和研究价值。分布式计算平台Hadoop和分布式计算模型Map/Reduce的出现很好地解决了海量数据处理分析的问题,让基于海量信息的XBRL数据存储和分析成为可能。本文设计并实现了基于Hadoop的XBRL数据分析系统,首先对XBRL技术以及Hadoop平台的研究现状作出分析,并整理出海量XBRL数据分析系统的功能和性能方面的需求。在此基础上对XBRL中的技术规范、分类标准和实例文档进行建模,并且研究了与XBRL相关的XML解析技术,为XBRL数据存储与分析提供了重要的技术支持。然后对系统的数据存储和分析流程进行了整体设计,采用分布式计算Map/Reduce模型对XBRL数据进行提取、转换,之后存储到Hadoop平台的分布式文件系统HDFS和数据库HBase中。然后在Hive中对相关的XBRL数据进行分析计算,通过区间层析分析法对上市公司财务指标进行分析处理得到上市公司的投资可行性评价,最后将数据分析指标存储到HBase中,提供海量信息的查询。
其他文献
现阶段,推进社会主义协商民主广泛多层制度化发展应立足于已有的成果,有针对性地从协商民主发展的制度化、提高协商参与主体的协商意识、多角度开辟人民群众参与协商的途径、
<正>我国冬季旅游市场一直形成南北热、中间冷的局面,海南的阳光、沙滩和东北地区的冰雪游成为我国旅游市场的主角。由于气候原因,我国大部分地区的冬季旅游处于"半休眠"状态
关系营销学者普遍认为,信任对关系的形成、发展和保持起到了重要的作用,是获取良好合作的必要条件。但是在组织之间的合作中,控制机制与信任的交互作用却没有达成共识。本文
在廉价体系中,水热法合成了小晶粒钛硅分子筛TS-1,并采用不同有机碱对小晶粒TS-1进行改性,进一步提高了其催化活性。通过考察酸碱性对丙烯环氧化反应性能的影响,提出了可能的
自90年代以来,互联网的应用使传统的有形市场逐渐被无形的网上市场所代替,网络购物已悄然兴起,并极大地改变着社会的商业结构和生活方式。本文通过对网络购物与传统购物的比
通过事件研究方法对我国上市公司发布公司债、可转债和增发融资公告所产生的宣告效应进行研究,检验融资优序理论在我国资本市场的表现形式。研究表明我国上市公司会通过"择时
将军衙署是清代军事驻防城的重要组成部分,从学术角度上来说应该得到重视。将军衙署作为绥远城中枢以及标志性建筑能够集中体现当时的政治、军事、文化等方面的样态。将军衙署
西藏地处我国西南,有着悠久的历史和丰富的自然资源。解放以来,西藏在党中央、国务院的亲切关怀和大力支持下,发生了翻天覆地的新变化。特别是随着西部大开发战略的实施、青藏铁
集成电路技术作为现在发展最快和最富有活力的技术领域之一,已成为信息产业的基础。知识产权对集成电路的保护是其得以不断发展的动力,一些发达国家如美国、日本和欧盟等都对集