《硅谷》杂志：云计算的关键技术及挑战是什么？ |
| 2012-11-10 09:15 作者：宋 均 来源：硅谷网 HV： 编辑：GuiGu 【搜索试试】
|
|
[硅谷网11月10日文]据《硅谷》杂志2012年第17期刊文称，云计算已被广泛接受并逐步走进应用，但云计算的研究总体上还处于起步阶段，许多现有的问题还没有被完全解决。从虚拟机迁移、服务器整合、能耗管理、流量管理、软件硬件框架等方面提出了部分具有挑战性的关键难题和部分初步解决方案。
0前言
云计算是一种新的计算理念、新的资源交付方式、新的商业模式。在计算理念上，它通过网络将原来由本地主机实现的计算交给“云平台”来处理；在资源交付上，它提倡将网络资源、系统资源和应用等整合为服务提供给用户；在商业模式上，它实现了资源的按需定制、按量付费。可以说，云计算的发展是需求推动、技术进步和商业模式转变共同促进的结果，其核心是构建了一种全新的信息与数据存储、处理和服务模式。
云计算作为一种新的计算理念和模式，在技术上是将大型服务器集群，包括计算服务器，存储服务器和网络带宽资源集中起来，通过对各类可分配资源的虚拟化，利用专门软件实现对资源的按需分配，支持各种应用程序的运行，使得用户只需关注并提供业务相关的解决方案，无需在硬件平台、综合计算、安全存储、信息的一致性等方面耗费大量的人力、物力和财力，有利于提高系统的整体效率、降低成本，促进技术创新。
尽管基于云计算模式的计算平台或服务已被广泛接受并逐步走进应用，但云计算的研究总体上还处于起步阶段，许多现有的问题还没有被完全解决。本文提出了部分具有挑战性的云计算关键技术和研究问题。
1虚拟机迁移
云计算通过允许虚拟机迁移实现整个数据中心负载平衡。此外，虚拟机迁移提高数据中心的健壮性和高度响应。
虚拟机迁移是由进程迁移演变而来的。最近Xen和VMWare已经实现了虚拟机的实时迁移。文献[1]指出迁移整个操作系统和它的所有应用程序作为一个单元可以避免进程级迁移方法要面对的许多困难，并分析了虚拟机实时迁移的优势。
虚拟机迁移的主要优势是避免热点，然而，这并不简单。目前，检测工作负载热点和启动一个迁移缺乏应对突然的工作负载变化的灵活性。此外，虚拟机迁移时内存中的状态应当一致且高效地传输，同时还需综合考虑应用程序和物理服务器的资源负载。
2服务器整合
服务器整合可以最大化资源的利用率，同时最小化能耗的有效方法。虚拟机迁移常用来整合驻留在多个很少使用的服务器的虚拟机到一个服务器，这样剩余的服务器可以设置为节能状态。在数据中心优化整合服务器通常是一个NP难的变种装箱优化问题。针对这个问题已经提出各种启发式方法。
服务器整合不应该影响应用程序的性能。众所周知，单个虚拟机资源的使用不停的在变化。对于虚拟机间共享的服务器资源（比如带宽、内存缓存和磁盘I/O），最大限度地整合服务器可能导致拥堵[2]。因此，观察虚拟机负载的波动和使用这些信息有效的整合服务器是很重要的。最后，在资源拥塞发生时，系统必须能快速响应。
3能耗管理
提高能源效率是云计算另一个主要问题。据估计，能耗成本占数据中心运营支出总额的53%。因此基础设施提供商承受了巨大的压力减少能源消耗。目标是不仅要减少数据中心的能源成本，还要达到政府法规和环境标准。
设计节能数据中心最近受到越来越多的重视。这个问题可以从多个方向解决。例如，节能的硬件架构、减慢CPU速度和关闭部分硬件组件已成为研究者的共识。有节能感知的作业调度和服务器整合两种方式可以减少能源消耗。最近的研究也已开始研究节能的网络协议和基础设施。一个关键的挑战是实现节省能源和应用程序的性能之间达到一个好的平衡。在这方面，一些研究人员最近已经开始在一个动态的云环境实现性能和能耗管理的协调解决方案[3]。
4流量管理和分析
分析数据流量对于今天的数据中心是重要的。例如，许多web应用程序依赖于分析数据流量来优化用户体验。网络运营商还需要知道数据流量进行许多管理和规划决策。然而，把互联网服务提供商（ISP）现有的流量测量和分析方法扩展到云计算数据中心还存在一些挑战性的问题。首先，数据中心链接的密度要比ISP高得多；其次，大多数现有的方法可以计算几百台主机的流量矩阵，但一个小型数据中心可能拥有几千台服务器；最后，现有的方法通常基于一些ISP的流量模式，但是部署在数据中心应用程序（比如MapReduce作业）极大的改变了流量模式。此外，在云计算中应用程序的网络使用、计算和存储资源存在更紧密的耦合。
目前，并没有很多工作在测量和分析数据中心的流量。文献[4]报告了数据中心流量的特征，以及使用这些指导网络基础设施的设计。
5软件框架
云计算提供了进行大规模数据密集型应用程序的平台。通常这些应用程序利用MapReduce框架（如Hadoop可伸缩的和容错数据处理）。研究表明MapReduce作业的性能和资源消耗的是高度依赖应用程序的类型。例如，Hadoop任务sort是I/O密集型，而grep则要求大量CPU资源。此外，分配在每个Hadoop节点的VM可能是异构的。例如，一个VM可用带宽依赖于配置在同一个服务器的其他VM。因此，通过仔细选择它的配置参数值和设计更高效的调度算法能优化MapReduce应用程序的性能和成本。通过缓解瓶颈资源，可以将应用程序的执行时间显著提高。关键的挑战包括Hadoop的性能建模（无论是在线还是离线）和动态条件下自适应调度。
另一个相关的方法认为让MapReduce框架有节能感知[5]。这种方法的基本思想是将完成工作且等待新任务的Hadoop节点进入睡眠状态。这就要求Hadoop和HDFS必须由有节能感知。此外，通常会在性能和节能感知之间进行权衡。根据目标，找到一个理想的权衡点仍是一个没有探索的研究课题。
6存储技术和数据管理
软件框架MapReduce和它的不同实现（Hadoop和Dryad）针对分布式处理的数据密集的任务。这些框架通常运行在网际文件系统（比如GFS和HDFS）。这些文件系统的存储结构、访问模式和应用程序编程接口不同于传统的分布式文件体系。特别是他们没有实现标准POSIX接口，因此引入和传统文件系统和应用程序的兼容性问题。目前的解决方法主要包括提支持MapReduce框架使用集群文件体系（如IBM的GPFS）方法和基于新的API原语支持可伸缩和并发数据访问等。
7结束语
需求推动、技术进步和商业模式转变共同促进了云计算的快速发展，其核心是构建了一种全新的信息与数据存储、处理和服务模式。本文从云计算平台建设与管理、应用的构建等多角度总结了这种新兴计算模式存在关键技术及难点，提出了未来云计算研究与应用中所需解决的问题。
参考文献：
[1]ClarkC,FraserK,HandS,HansenJG,JulE,LimpachC,PrattI,WarfieldA.Livemigrationofvirtualmachines.In:ProcofNSDI,2005:273-286.
[2]PadalaP,HouK-Yetal.Automatedcontrolofmultiplevirtualizedresources.In:ProcofEuroSys,2009:13-26.
[3]KumarSetal.vManage:looselycoupledplatformandvirtualizationmanagementindatacenters.In:Procofinternationalconferenceoncloudcomputing,2009:127-136.
[4]GreenbergA,JainNetal.VL2:ascalableandflexibledatacenternetwork.In:ProcSIGCOMM,2009,31(4):51-62.
[5]VasicNetal.Makingclusterapplicationsenergy-aware.In:Procofautomatedctrlfordatacentersandclouds,2009:37-42.
作者简介：
宋均（1973-），四川遂宁人，大学本科，高级工程师，研究方向：计算机系统架构、云计算；白金荣（1977-），男，云南玉溪人，博士研究生，研究方向：云计算安全、网络安全等；王俊峰（1976-），男，安徽芜湖人，教授，研究方向：网络与信息安全，云计算等。
|
|
|
|
【对“《硅谷》杂志：云计算的关键技术及挑战是什么？”发布评论】 |
版权及免责声明：
① 本网站部分投稿来源于“网友”，涉及投资、理财、消费等内容，请亲们反复甄别，切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质，仅供阅读，不构成具体实施建议，请谨慎对待。据此操作，风险自担。
② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频，版权均属本网站所有，任何媒体、网站或个人需经本网站许可方可复制或转载，并在使用时必须注明来源【硅谷网】或对应来源，违者本网站将依法追究责任。
③ 注明来源为各大报纸、杂志、网站及其他媒体的文章，文章原作者享有著作权，本网站转载其他媒体稿件是为传播更多的信息，并不代表赞同其观点和对其真实性负责，本网站不承担此类稿件侵权行为的连带责任。
④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容，涉及到侵权、违法等问题，请有关单位或个人速与本网站取得联系（联系电话：01057255600），我们将第一时间核实处理。
|
|
|
|
