|  首页  |  资讯  |  评测  |  人物  |  活动  |  学院  |  新报  |  专栏  |  专题  |  专区  |  
您现在的位置:硅谷网> 资讯> 互联网>

应对大规模数据集群治理,联通大数据这么做

2019-06-10 17:25 作者:秩名 来源:硅谷网综合 HV: 编辑:GuiGu 【搜索试试

维克多在2012年出版的《大数据时代》一书中曾预测:数据列入企业资产负债表只是时间问题。如今,伴随着新兴科技手段的融合创新,大数据已经应用到了我们生活中的方方面面,数据资产的概念已逐渐得到国内外企业的强烈认同。

但是,数据和企业资产可以直接划等号吗?实际情况是,没有经过系统管理和规划治理的数据集群,不仅很难为企业创造实际效益,而且还将带来权限混乱、计算能力下降、冗余存储计算、资源浪费等问题,使整个数据集群处于“亚健康”状态。

那么,是否有正本清源的应对方案呢?联通大数据有限公司技术部负责人李大中日前在2019大数据产业峰会-大数据前沿技术论坛进行分享,他以《联通大规模数据集群治理实践》为主题,分享运营商在数据资产管理方面的经验和对策。

应对大规模数据集群治理,联通大数据这么做

下文为李大中演讲内容整理:

联通大数据有限公司承担着联通大数据能力建设和对外服务运营职能,目前平台存储容量达100PB,Hadoop集群超过6000个节点,数据模型数量达2000余个。作为运营商在数据治理过程中,既要面对大数据量的实时处理需求,也必须从成本角度考虑集群算力配置、安全合规等方面的要求。大数据是一个高成本行业,集群算力成本是其中主要部分。

通过参考行业的治理经验,并结合公司业务和组织架构特点,我们总结出了一套适合公司业务发展的数据资产管理体系,也就是“疏整促+巡山+DataValue”数据资产管理体系:基于“疏整促”工程构建的全生命周期数据管控治理体系,基于“巡山”工程构建的大规模集群治理体系,基于“DataValue”工程实现对外数据价值经营,三大工程同步推进,形成数据治理+集群治理+数据价值的整体协同效应。

应对大规模数据集群治理,联通大数据这么做

在实际执行中,“巡山”工程作为 切入点首先启动,效果也最为明显。在大规模集群计算环境处于亚健康的状态下,我们将治理工作分解为两阶段:首要任务是解决亚健康问题,即保障集群资源算力可用、确保集群稳定性、业务连续性;长期和更为重要任务是保持健康状态,即持续有效的监督数据治理工程的效果。

关于大规模数据集群治理的推进方法论,由于集群治理涉及到从采集、清洗到模型加工,从平台运维岗到产品开发岗,几乎涵盖了公司的整个技术线和产品线上百人工作内容,所以采用自上而下的顶层设计的方式是不现实的,我们采用的是自下而上、自发协同、精益推进式的数据集群治理文化。从发现问题点入手,由点带面找到原因、制定解决策略并建立相应的监督点,最终逐渐形成体系;通过某几个环节治理成果显性化,带动整个公司生产组织体系逐渐形成治理文化。

在治理过程中,针对我们遇到过的几个重要的点向大家介绍一下思路:

1. HDFS&YARN作业深度监控

针对小文件过多、文件量过大、耗资源大等情况,联通大数据通过自主研发一套统一元数据实时采集平台对Fsimage和EditLog进行反序列化解析,实时批量获取资源队列信息、文件目录、作业任务信息等内容,通过多维关联画像洞察疑似异常作业,推动作业优化和监控优化效果。最终集群文件数量从接近8000万下降为3000万,平均文件大小提升4倍。集群资源负载从每天几乎处于打满状态,下降为不到70%。每年节约固定资产投入上千万元。

2. RPC请求和关键服务预警

针对集群RPC经常出现请求延时过大,甚至达到秒级,导致集群处于停摆不可用状态,通过采集JMX指标、服务连接数、堆栈信息、GC等信息进行关联画像,并下钻洞察相关作业,精准定位待优化作业。优化后集群RPC请求延时大幅减少,下降为毫秒级别。

3. 重复加工/冗余计算挖掘

针对数据重复加工、冗余计算等情况,估计大家的系统中或多或少都存在,这种情况直接导致资源被浪费。我们通过对HDFS JOB BINARY FILE分析,定位疑似冗余计算作业,这种方式同组织架构复杂度无关、不依赖上层业务输入,其核心思想就是通过提取出具有相同输入路径的作业,以目录维度视角挖掘疑似重复作业,优化后集群资源降低10%以上。

4. 重构元数据管理、血缘分析应用

针对数据加工流向追溯、敏感数据难以有效跟踪等情况,通过对HIVE执行日志进行SOL解析,以及通过对SPARK作业输入输出目录画像,以无侵入方式建设企业级全域元数据平台,提供全域物理视图、业务视图、元数据变更跟踪监控、全域数据血缘关系图等核心功能,满足复杂的追溯需求以及故障范围评估。

谈及在治理过程中的感受,李大中指出:“大规模数据集群治理并非单人、单项目组能够完成的,而是需要以文化渗透的形式动员到公司生产开发组织体系中,采用自下而上自发协同,以OKR而非KPI的方式管理,在解决问题的过程中不断调整目标,从而建成持续优化的治理体制。当然,技术人员也要拥抱和吃透大数据开源技术,采用开创性的思维去解决问题。”

【对“应对大规模数据集群治理,联通大数据这么做”发布评论】

版权及免责声明:
① 本网站部分投稿来源于“网友”,涉及投资、理财、消费等内容,请亲们反复甄别,切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质,仅供阅读,不构成具体实施建议,请谨慎对待。据此操作,风险自担。
② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频,版权均属本网站所有,任何媒体、网站或个人需经本网站许可方可复制或转载,并在使用时必须注明来源【硅谷网】或对应来源,违者本网站将依法追究责任。
③ 注明来源为各大报纸、杂志、网站及其他媒体的文章,文章原作者享有著作权,本网站转载其他媒体稿件是为传播更多的信息,并不代表赞同其观点和对其真实性负责,本网站不承担此类稿件侵权行为的连带责任。
④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容,涉及到侵权、违法等问题,请有关单位或个人速与本网站取得联系(联系电话:01057255600),我们将第一时间核实处理。
相关
·联通大数据针对各个行业多款数据科技产品重磅发
·联通大数据方案成功入选工信部百家大数据优秀案
·数博会领先成果奖发布,联通大数据-智慧数等三项
·联通大数据“数博会”分论坛在贵阳隆重召开
广告
头条
·美国豁免这种产品25%关税,中国产能全球第一
·微博蹦迪朋友圈装死,有多在意别人的感受?
·暴风TV员工赴总部讨薪 高额亏损或影响经营
·数字音乐硝烟再起 音乐版权的泡沫一触就破
·毫不利己,专门利人:如何再造一个维基百科?
图文
AI语音真假面:你的“声音DNA”可能会被复制
AI语音真假面:你的“声音DNA”可能会被复
二维码盗刷乱象调查:商户资质审核成摆设?
二维码盗刷乱象调查:商户资质审核成摆设?
二维码盗刷乱象调查:商户资质审核成摆设?
二维码盗刷乱象调查:商户资质审核成摆设?
百度又“宕机”?百度回应:技术正紧急排查修复
百度又“宕机”?百度回应:技术正紧急排查
最新
·美国豁免这种产品25%关税,中国产能全球第一
·微博蹦迪朋友圈装死,有多在意别人的感受?
·AI语音真假面:你的“声音DNA”可能会被复制
·暴风TV员工赴总部讨薪 高额亏损或影响经营
·融云入选艾瑞互联网通信云报告 IM市场占有率领跑
热点
·网络危机公关怎么做?网络危机公关要谨记这几
·链家董事长左晖成老赖 被列入限制消费名单
·“走路赚钱”的趣步 是披着区块链外衣的传销
·中拓互联:中拓互联一线牵 守护网络安全这段
·订酒店未入住无法取消订单,是否属于“霸王条
旧闻
·免费精品文档哪里找?有脑知识分享平台上线
·马蜂窝“真实点评”是抄袭?行业原罪还是企业
·腾讯企鹅号上线手机H5一键维权 开启移动维权
·币安和马耳他证交所启动全新数字货币交易平台
·辉驿科技资深研发专家张谦,信息化技术十问十
广告
硅谷影像
AI语音真假面:你的“声音DNA”可能会被复制
AI语音真假面:你的“声音DNA”可能会被复制
二维码盗刷乱象调查:商户资质审核成摆设?
二维码盗刷乱象调查:商户资质审核成摆设?
被格力和董明珠举报过的企业:美的银隆奥克斯
被格力和董明珠举报过的企业:美的银隆奥克斯
应对大规模数据集群治理,联通大数据这么做
应对大规模数据集群治理,联通大数据这么做
孤独后厂村:30万互联网人跳不出的中国硅谷
孤独后厂村:30万互联网人跳不出的中国硅谷
围剿张公子、打倒知乎?别闹,知乎也在迭代!
围剿张公子、打倒知乎?别闹,知乎也在迭代!
关于我们·About | 联系我们·contact | 加入我们·Join | 赞助我们·Sponsor | Site Map | Tags | RSS Map
电脑版·PC版 移动版·MD版 网站热线:(+86)010-57255600
Copyright © 2007-2019 硅谷网. 版权所有. All Rights Reserved. <京ICP备12003855号-2>