当前位置: 首页 > 数据分析师 > 数据分析师实战技能 > 数据分析师数据分析 > 数据分析数据来源的有哪些类型?

数据分析数据来源的有哪些类型?

发布时间:2020年10月30日 06:06:56 来源:环球青藤 点击量:2114

【摘要】在数据量巨大的今天,如何以更高的效率获取分析所需的数据,以及如何利用这些数据反映最真实的情况,是业界不断讨论的话题。接下来,就带大家来了解下大数据分析及其数据来源。

1、机器数据

机器数据是指服务器、网络设备等硬件或虚拟硬件运行过程中产生的状态数据,往往有对应的协议或规范,例如SNMP、IPMI、WMI等。通过机器数据可以准确的掌握业务承载平台的基本运行状态,例如CPU、内存、磁盘等资源的使用情况和网络流量情况,是运维监控领域常用的数据来源,各类开源或商业监控产品对此类数据的处理也大同小异。

2、日志数据

日志数据是指应用程序、中间件和机器等在运行过程中由事件触发而产生的文本类数据,数据格式灵活多样。

通过日志数据可以深入的了解应用等运行过程中的详细情况,但其详细程度和覆盖面取决于产生日志的规则,有些应用产生的日志非常详细,包含了每一笔事务的处理过程,有些应用产生的日志非常简单,只会在应用报错时产生一些错误信息。

3、网络通信数据

网络通信数据是指通过抓包获取到的设备间网络通信数据,例如两台服务器之间存在网络通信,通过抓包分析可以详细的了解两台服务器之间通信的端口、协议、数据量甚至内容。常用的方式是通过硬件设备将网络流量进行镜像,对镜像数据进行分析,以避免干扰业务数据的正常流转。

4、拨测数据

对于IT业务系统,拨测采用的探测点可以在公网,也可以在业务系统内网,不同位置的探测点起到的作用是不同的。公网探测点主要关注业务系统的网络出口质量、运营商网络质量和CDN质量,而内网探测点主要关注的是业务或各个业务模块的可用性及性能状态。

5、用户行为数据

用户行为数据是指通过在用户终端进行埋点获取到的用户行为数据,例如在网页中通过JS埋点获取到的页面访问情况和在APP中通过SDK埋点获取到的各交互页面和控件的使用情况。用户行为数据除了帮助运营同学进行用户分析,还可以帮助运维的同学更加准确的了解业务系统的实际表现。

关于数据分析数据来源的有哪些类型,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

分享到: 编辑:方梦茹

就业培训申请领取
您的姓名
您的电话
意向课程
点击领取

环球青藤

官方QQ

扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群

绑定手机号

应《中华人民共和国网络安全法》加强实名认证机制要求,同时为更加全面的体验产品服务,烦请您绑定手机号.

预约成功

本直播为付费学员的直播课节

请您购买课程后再预约

环球青藤移动课堂APP 直播、听课。职达未来!

安卓版

下载

iPhone版

下载
环球青藤官方微信服务平台

刷题看课 APP下载

免费直播 一键购课

代报名等人工服务

课程咨询 学员服务 公众号

扫描关注微信公众号

APP

扫描下载APP

返回顶部