|
|
|
|
|
大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。大数据的来源包括网站浏览轨迹、各种文档和媒体、社交媒体信息、物联网传感信息、各种程序和APP的日志文件等。
|
|
|
|
|
|
|
|
|
|
.数据存储：包括结构化数据、非结构化数据和半结构化数据的存储与访问。结构化数据一般存放在关系数据库中，通过SQL来访问；非结构化（如图片、视频、文件等）和半结构化数据一般通过分布式文件系统的NoSQL进行存储。
|
|
|
|
.数据管理：主要使用分布式并行处理技术，比较常用的有MapReduce。
|
|
|
|
.数据分析与挖掘：根据业务需求对大数据进行关联、聚类、分类等钻取和分析，并利用图形、表格加以展示。
|
|
|
|
|
|
.HDFS（Hadoop分布式文件系统）：是适合运行在通用硬件上的分布式文件系统，是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大数据应用。
|
|
|
|
.HBase：一个分布式的、面向列的开源数据库。利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，并且采用基于列而不是基于行的模式。
|
|
|
|
.MapReduce：一种编程模型，用于大规模数据集（大于1TB）的并行运算。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上，从而实现对HDFS和HBase上的海量数据分析。
|
|
|
|
.Chukwa：一个开源的用于监控大型分布式系统的数据收集系统。Chukwa构建在Hadoop的HDFS和MapReduce框架之上，继承了Hadoop的可升缩性和健壮性，它包含了一个强大而灵活的工具集，可用于展示、监控和分析已收集的数据。
|
|
|
|
|
|
大数据受到越来越多行业巨头们的关注，除了在电商、电信、金融这些传统数据丰富、信息系统发达的行业之外，在政府、医疗、制造和零售行业都有其巨大的社会价值和产业空间。
|
|
|
|
.互联网和电子商务行业：应用最多的是用户行为分析，主要研究对象为用户在互联网、移动互联网上的访问日志、用户主体信息和外界环境信息，从而挖掘潜在客户，进行精准广告或营销。
|
|
|
|
.电信/金融：通过对用户的通信、流量、消费等信息进行分析，判断用户的消费习惯和信用能力，可以给用户设计更贴合的产品，以提升产品竞争力。
|
|
|
|
.政府：通过对大数据的挖掘和实时分析，可有效提高政府决策的科学性和时效性，并能帮助政府有效削减预算开支；借助大数据可使政府变得更加开放、透明和智慧；可以使政府更清楚地了解公民的意愿和想法，可提升公民的价值，还可以通过引导社会舆论，为社会公众提供更好的服务，树立更好的政府形象。
|
|
|
|
.医疗：有了大数据的海量支持，可以使各医院资源充分发挥优势，有效弥补医疗资源及力量的不足，有利于疑难病症的治疗。通过对医疗数据的挖掘分析，也可以加快新药开发。
|
|
|
|
.制造：通过对海量数据的获取、挖掘和分析，把握客户的需求，从而交付客户喜欢的产品。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
