在大航海时代,日志(Log)是船舶随行的记录簿,所有与航行有关的重要事件应由有权的船上官员记录。在海事争端中有时日志可以作为初步证据。
进入云计算时代,日志同样具备非凡的侦查和分析意义。企业拥有成千上万的IT系统,在此基础上,为亿万互联网用户提供在线产品或服务,与系统运行、用户行为等有关的日志事件每天可达到上千亿条。如何解决海量日志的采集、处理和分析,并从中获得宝贵的洞察,是我们面临的一个问题。
具备海量日志分析技术的
AnyRobot Family 3.0 新引擎
如果您正在或计划使用 ELK 来部署一套日志分析系统,您可能希望继续阅读并找到更好的解决方案,以避免不时的日志采集过程发生阻塞、日志查询无响应等困扰。
您可能需要:
1.优化日志采集性能,获得极速的日志查询体验
2.按需分配物理资源,实现各部门的数据共享分析
3.在海量日志中有效挖掘有价值的信息
由 ARStreaming 大数据流处理引擎、ARBunker 基于微服务的多租户平台、ARBrain 分析诊断引擎组成的 AnyRobot Family 3.0 新引擎,能够采集和存储海量、多源日志数据(PB级),并利用海量日志分析技术为您打造精彩纷呈的4 大解决方案 -- 个人信息保护方案、用户实体行为分析方案、云基础设施智能运维方案、业务运营分析方案。
最新出炉的 IT 大数据分析解决方案-个人信息保护方案
2017年6月1日,《中华人民共和国网络安全法》正式实施,第四十二条明确规定,网络运营者有责任保护用户数据安全。
2018年5月25日,欧盟GDPR(一般数据保护条例)生效,它旨在最大限度地保护个人信息。GDPR个人数据规范中定义了两种类型的个人数据,即PII个人数据和SPII特殊个人数据。GDPR的实施,将个人信息保护推向了极致,一时间使得人心惶惶。
如何实现个人信息保护?例如,内部雇员张三将个人简历上传到文档管理平台,然后HR将文件下载到本地并将其发布到ERP系统中,最终未授信用户王五通过 ERP 系统查看了张三的简历。这种不设防的内部泄密行为非常隐秘,难以察觉。
您可能需要:
1.明确在何处生成个人信息2.明确谁在使用个人信息3.明确是否合法使用AnyRobot 关系图谱技术可以可视化文件的全过程数据足迹,并在检测到未经授权的访问行为时触发告警通知给对管理员,以满足GDPR “向监管机构通报个人数据泄露,以及将此类个人数据泄露告知数据主体” 的要求。
用户实体行为分析方案
内部威胁的主要威胁形式包括系统破坏、信息泄露和商业欺诈。近年来,网络上曝光了不少内部人员引发安全事件的案例,例如,2017年初,国内某互联网巨头公司的员工被爆从包含现任雇主在内的多个互联网公司窃取大量内部用户信息,引起舆论一片哗然。如果您在军工企业的安全审计部门工作,出现机密文档(比如《XX系列产品研究和开发参数[敏感文件勿外传].docx》)泄漏时,您可能需要:1.找出是谁非法泄密?2.
他(她)是通过何种途径?3.
潜在的风险是什么,如何避免重蹈覆辙?用户实体行为分析是针对内部用户或其他实体(如终端、网络设备和应用系统等)的内部威胁管理解决方案,可以帮助建立或弥补企业内部安全机制。通过汇聚各个系统、应用、终端的海量日志,建立基于日志的五元素(时间/主体/客体/行为/结果)模型,完整重现和展示用户/实体的行为轨迹、数据的全生命周期,并刻画出异常用户的画像。回到上面的例子,文档传输出口包括但不限于U盘拷贝、打印机、电脑、文档系统外发、邮件外发、社交外发等,AnyRobot 通过接入所有文档中心日志、PC日志、打印机日志,并使用关系图谱创建关于用户(人员)、实体(文档、打印机、文档中心)和行为(上传、下载、重命名等)的模型,以确定是谁对什么文档做了什么操作,使得隐秘而复杂的文档泄密路径变得清晰直观。
云基础设施智能运维方案
现代数据中心建设成为数据中心的建设趋势,其建设基础是云基础设施,具有规模大(动辄数千台物理主机,上万台云主机)、响应要求高(成千上百个业务系统持续运转)的特点。如果您正处于云基础设施运维团队中,可能对这些问题深有体会:1.
运行现状黑盒化,无法从业务视角去了解整个业务的链路状态2.
资源规划靠“拍脑袋” ,缺乏有效的数据支撑3.
运维排障挑战大,故障的起因、范围、传播关系未知以一个典型场景举例。在云数据中心的管理运维中,往往存在很多管理运维角色,不同的角色可能会做不同的操作,比如业务系统管理员会登陆业务系统、会查看进程状态、会更改配置、会重启服务等,运维管理与可能会对云主机做重命名、创建快照、修改主机配置等操作,有的是正常合理的操作,有的是非法的或者是高风险的操作。当发现某个系统因为一些操作出现异常时,AnyRobot 可以通过实时获取到的日志,从角色、操作类型、设备IP等维度进行统计预测,以便快速分析出是谁在什么时候做了什么操作导致的故障。同时,我们也可以根据获取到的日志对云平台的管理行为和业务系统的操作行为进行统计分析,实现风险行为的预测告警。
业务运营分析方案
无论您身在哪个行业,您或多或少都能感受到数字化对您工作的影响。例如,在高校行业可以协助教学管理,无疑对提高教学质量和教育管理效率起到了很大的作用,但经过了大规模采购后,如何评估业务系统的应用及由此产生的收益?在使用专家定性评价方法或数据库查询结果数据的过程中,我们发现很难解释影响用户体验、运营热度的因素。一个新应用上线了,运行一段时间后,您可能需要:1.
从用户的角度来了解系统实际使用情况2.
如果有问题阻碍,需要分析哪些地方存在缺陷,以及如何改进3.
如何优化运营,更大面积的推广使用AnyRobot 通过实时采集应用日志,可以做到:1.
系统运营现状分析2.
访问操作失败等问题分析3.
操作动作热度分析最后,我们可以通过“采集用户行为日志,进行数据分析,完成业务目标”的正反馈循环实现业务驱动。尤其要说的是,我们支持大屏展示的定制服务,可以让数据运营大屏可视化。现已发布全新的 AnyRobot Family 3.0。除了本文介绍的IT 大数据分析解决方案以外,AnyRobot(包含数中数团队)还推出了教育大数据、国防大数据解决方案,以推进结构化数据和非结构化数据的深度融合分析。
文章摘自爱数
ais爱数欢迎联系永信贵宾会集团咨询爱数产品信息
永信贵宾会集团联系方式
咨询热线:0755-88603572
永信贵宾会官网:www.yyhsjs.com
客户垂询邮箱:cuifang.mo@yyhsjs.com
客户垂询QQ:1627678462
地址:深圳市福田区深南大道1006号国际创新中心C座11楼
邮编:518026