HadoopWorld演讲者都吹捧开源技术可管理非结构化数据并收集有价值的见解

2020-03-10 09:53:15 来源: INeng财经

据Hadoop World Conference上的IT专业人员称,计划使用Hadoop聚合和分析来自多个来源的数据的纽约州组织需要事先考虑潜在的安全问题。Hadoop使组织可以更轻松地处理每天生成的大量数据,但是也会产生与安全性,数据访问,监视,高可用性和业务连续性有关的问题,Larry Feinsmith,IT运营总经理银行业巨头摩根大通在11月8日在Hadoop World上的主题演讲中说。

得益于博客,社交媒体网络,机器传感器和来自移动设备的基于位置的数据,数据以前所未有的速度增长。公司可以分析数据,以洞察过去无法拥有的客户和行业趋势。但是,Berico Technologies的软件工程师Richard Clayton在会议的安全小组中说,组织面临着以某种方式管理和保护PB和PB数据的前景。

克莱顿说,数据不是单一的,因为可能存在混杂的分类和不同级别的安全敏感性。作为联邦机构的IT服务承包商,Berico Technologies必须考虑针对各个数据的各种加密技术,保留策略和访问要求。

存储管理软件供应商业务开发和市场营销副总裁Ken Cheney同样在会前对eWEEK表示,大多数组织没有了解自己所拥有的东西并适当保护它所需的可见性。切尼说,可见性对于ldquo;知道谁拥有数据以及谁有权访问数据rdquo;至关重要。

Clayton认为,企业需要实施适当的安全控制,以实施基于角色的数据访问。但是,他认为内置的Hadoop分布式文件系统(HDFS)安全功能(例如访问控制列表和Kerberos)不足以满足企业需求。

切尼表示,许多组织将存储的数据绑定到身份管理系统(例如Active Directory或LDAP),作为ldquo;真相的来源rdquo;。他说,通过将数据与实际身份相关联,IT部门可以跟踪对数据进行的操作以及由谁进行。

Clayton说,对于使用Hadoop的组织来说,另一个大问题是,分析环境中的数据会创建新的数据集,这些数据集也需要受到保护。他说,将数据汇总到一个地方还会增加数据被盗或意外泄露的风险。根据Clayton的说法,在许多Hadoop环境中,一种有效的数据安全性方法是在传输或存储数据时对单个记录级别的数据进行加密。

他说,许多政府机构将Hadoop存储的数据放在单独的ldquo;区域rdquo;或网络段中,以确保只有具有适当安全级别的人员才能查看信息。Clayton说,其他公司正在构建防火墙,以保护Hadoop环境并限制访问。

Clayton表示,由于这些数据访问问题,一些机构选择完全不使用Hadoop数据库。

像IBM,Yahoo和Google这样的大型公司已经使用Hadoop多年了,但是直到最近,大型企业才开始寻找Hadoop来控制其失控的数据。

Feinsmith说,摩根大通已经在各种应用程序中使用开源存储和数据分析框架近三年了,例如欺诈检测,IT风险管理和自助服务。根据Feinsmith的说法,Chase依靠Hadoop在一个通用平台上收集和存储Weblog,交易数据和社交媒体信息,并运行数据挖掘和分析应用程序来收集情报。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。