大数据平台架构的组成都有哪些?
发布时间：2021年01月09日 02:42:40
来源：环球青藤
点击量：1496
【摘要】大数据平台，是以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume Kafka等集群。由上到下，可分为三个部分：数据搜集、数据处理、数据输出与展示。
1、数据采集
将应用程序发作的数据和日志等同步到大数据系统中，由于数据源不同，这里的数据同步系统实际上是多个相关系统的组合。
数据库同步一般用 Sqoop，日志同步可以选择 Flume，搜集的数据经过格式化转化后通过 Kafka 等音讯队列进行传递。
2、数据处理
这部分是大数据存储与核算的核心，数据同步系统导入的数据存储在 HDFS。MapReduce、Hive、Spark 等来读取 HDFS 上的数据进行核算，再将计算结果写入 HDFS。
3、数据可视化
大数据核算发生的数据还是写入到 HDFS 中，但应用程序不能到 HDFS 中读取数据，所以有必要要将 HDFS 中的数据导出到数据库中。
关于大数据平台架构的组成都有哪些，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。
上一篇：大数据的价值究竟体现在哪些方面?
下一篇：大数据在生活中有哪些应用?
就业培训申请领取
环球青藤
官方QQ群扫描上方二维码或点击一键加群，免费领取大礼包，加群暗号：青藤。 一键加群
大数据工程师相关文章推荐
|大数据工程师最新文章推荐
最新文章
大数据工程师各地入口
环球青藤官方微信服务平台
刷题看课 APP下载
免费直播 一键购课
代报名等人工服务
大数据工程师热点排行
