| 首页  |  资讯  |  评测  |  活动  |  学院  |  专题  |  杂志  |  产服  |  
您现在的位置:硅谷网> 资讯> 软件>

StarRocks开源——携手未来,星辰大海!

2021-09-08 16:11 作者:佚名 来源:硅谷网综合 关注: 编辑:GuiGu 【搜索试试

各位大数据从业者:

这是一个充满挑战的时代。数据驱动正在深刻地改变整个世界。我们的业务数据、数据报表、数据指标越来越多,但我们分析数据的速度却越来越慢,报表构建的复杂度越来越高。如何有效地分析这些海量的数据,真正有效地利用数据为业务创造价值?这是我们都在思考的重要问题。可能你曾经为此搭建过很多系统,做过很多尝试,但实际效果不佳。仔细想一想,你的数据分析架构是否也在面临以下的难题?

(复杂的企业数据分析架构)

第一,数据分析性能不达标。

随着数据驱动的深入,业务提出了更多的分析需求,比如多维分析,实时分析,高并发查询和Adhoc查询。在很多分析需求场景下,当前系统性能表现不佳,无法提供极速分析体验。

第二,数据分析的灵活性不足。

很多时候,为了能够提供极速分析体验,你需要针对各类场景构建大宽表,或者做复杂的预处理,而这损失了分析灵活性。特别是在自助化BI这样灵活的场景下,星型模型和雪花模型的价值不可替代。现有的系统难以同时高性能支持这些建模手段。

第三,数据架构复杂度太高。

为了满足业务的多种分析需求,你必须搭建多套系统来组合使用。这让分析层架构变得非常复杂,导致开发维护成本以及业务使用成本都很高。另外,随着各类实时分析场景的兴起,你需要同时构建离线数据链路和实时数据链路。但数据同步、数据一致性、计算逻辑同步、异常数据处理、多系统运维等问题马上就接踵而至。你只能疲于应付。

第四,数据分析能力弹性不足。

你的数据规模越来越大,对应的数据分析系统需要不断地扩容;不同的业务线有不同的数据分析访问量,需要保证每个业务线的SLA;有的业务还有大促,周年庆等流量高峰,如何保证既能支持好业务,又能节省成本?相信这些问题没少让你头疼。

产生这些问题的根本原因,是旧的大数据技术架构已经不能满足当前业务高速发展的需求。在旧的底层架构上进行修修补补只能解决部分问题。要想从根本上破局,就需要一套全新的“极速统一”的数据架构。“极速”,意味着全面提升数据处理和分析的性能;“统一”意味着将复杂分散的数据架构融合为简单统一的架构。

为此我们决定把我们的核心产品DorisDB升级为StarRocks,并全面开源(Github搜索“StarRocks”),和全球大数据从业者一起构建新一代极速统一的数据分析架构!

 

StarRocks开创全新的极速统一分析

2020年初,当时还没有人相信一个企业的数据分析架构可以统一,但我们相信“极速统一分析”一定可以实现。经过团队近20个月夜以继日的努力,我们攻克了诸多“不可能”的技术难题,通过自主研发新一代的技术,我们将StarRocks打造成了具有划时代意义的产品:“新一代极速全场景MPP数据库”

·全新设计的全面向量化MPP查询引擎,同时支持极速的单表和多表查询性能。

StarRocks自主打造的新一代全面向量化的MPP引擎使查询性能大幅提高,是非原生向量化系统(Kylin/Druid/Elasticsearch/Impala-Kudu/Presto/Greenplum)的3~5倍以上。ClickHouse向量化引擎并不支持全面的MPP,多表查询能力差,StarRocks的多表查询性能是其3~5倍以上。

·全新设计的实时列式存储引擎,具备极致的实时更新和查询性能。

在实时更新下,StarRocks查询性能是其他产品的3~5倍以上。

·全新设计的数据分布模式,具备高并发查询能力。

其他系统都无法较好支持高并发查询,StarRocks可以支持每秒上万次的并发查询能力。

·全新设计的CBO优化器,支持极速的秒级AdHoc查询。

StarRocks性能可以做到主流AdHoc查询系统Presto的5倍以上,可以做到秒级延迟。

·全新设计的现代化物化视图,具备灵活透明的预计算加速能力。

其他产品无法做到非常好的透明化加速,具有较高的开发和管理成本,StarRocks在可以灵活透明加速的现代化物化视图方面进行了大量创新。

通过这些独特的技术能力,StarRocks真正实现了极速统一分析:

·StarRocks可以同时高效支持OLAP多维分析、实时数据分析、高并发查询、AdHoc查询等多场景,并且比上一代同类型产品的分析能力快3~5倍以上。

·全新的OLAP多维分析体验,打破“只能做大宽表”的局限性,让多种数据建模模式:预计算、大宽表、星型模型和雪花模型等都具备极速分析体验。

·全新的实时数据分析体验,真正支持实时更新和删除,并能保证极速查询性能。

·全新的高并发查询体验,突破传统OLAP无法高并发的限制,支持数千人同时访问。

·全新极简统一的OLAP架构,大大降低了使用和运维管理复杂度,提升了开发和使用效率。

产品发布半年以来,StarRocks快速被50多家市值(或估值)在10亿美金以上的大型用户用于生产环境,有力地支撑了这些用户的数据分析业务,创造了全新的分析体验,并且有不少行业头部公司已经开始用StarRocks实现了统一的OLAP平台,“不可能”的极速统一分析正在快速变成“现实”!这也是为什么,阿里云、腾讯云、小米、京东、滴滴、贝壳、携程、小红书、顺丰科技、58同城等行业头部公司在第一时间加入社区,一起携手为“极速统一”的新时代梦想而努力。

“极速统一分析”并不是终局,而是新的起点

在当前极速统一的数据分析架构的基础上,我们的下一个目标是要打造“新一代流批融合的极速湖仓(Lakehouse)”。众所周知,在当前主流的数据处理链路中,实时数据处理和离线数据处理是割裂的。企业要管理好这两种数据处理场景,往往系统架构复杂、难于维护。而我们要在StarRocks里实现这两种数据处理方式的融合。

·我们将设计全新实时和离线融合的云原生架构,可以同时高效管理实时数据和离线数据。

虽然云原生标杆Snowflake在离线数据场景下打造了先进的存储计算分离架构,但是这个架构在实时数据分析支持上存在很大不足。我们将设计新一代云原生架构,同时高性能支持实时数据和离线数据的写入和读取。

·我们还将设计全新流批融合的向量化计算引擎,可以同时进行极速的批处理和流处理。

通过打造全新的向量化批处理引擎,可以实现比Apache Spark快5~10倍以上的批处理速度。同时完美融合流式语义,利用向量化技术提升流处理性能。用户无需再忍受使用Spark和Flink分散进行批处理和流处理带来的复杂性!

“坚持大胆尝试,实现不可能”是我们一直践行的价值观。在未来一年半左右的时间内,我们将和社区一起打造全新的StarRocks。让企业的离线数据和实时数据可以采用同一套架构、同一种语义、同一个引擎来处理,让数据架构实现全面的“极速统一”,“让原本简单的事情回归简单”!

一个人走得快,一群人走得远

为了实现这些伟大梦想,我们将在全球范围内构建StarRocks开源生态,吸引优秀的有志之士一起来参与社区建设。我们将不遗余力地推动更多的全球用户加入社区,了解和评测StarRocks,使用和改进StarRocks。我们还将推动全球的数据工程师/数据分析师与社区一起,基于StarRocks构建各类数据分析场景的新一代解决方案。

如果你也和我们一样,心怀梦想,请现在就关注我们,参与社区建设,在Github上给StarRocks加一个星吧。让我们一起来创造“极速统一”的大数据新时代,向不可能说不!

StarRocks——携手未来,星辰大海!

【对“StarRocks开源——携手未来,星辰大海!”发布评论】

版权及免责声明:
① 本网站部分投稿来源于“网友”,涉及投资、理财、消费等内容,请亲们反复甄别,切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质,仅供阅读,不构成具体实施建议,请谨慎对待。据此操作,风险自担。
② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频,版权均属本网站所有,任何媒体、网站或个人需经本网站许可方可复制或转载,并在使用时必须注明来源【硅谷网】或对应来源,违者本网站将依法追究责任。
③ 注明来源为各大报纸、杂志、网站及其他媒体的文章,文章原作者享有著作权,本网站转载其他媒体稿件是为传播更多的信息,并不代表赞同其观点和对其真实性负责,本网站不承担此类稿件侵权行为的连带责任。
④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容,涉及到侵权、违法等问题,请有关单位或个人速与本网站取得联系(联系电话:01057255600),我们将第一时间核实处理。
广告
相关
头条
滴滴出行严重违法违规收集使用个人信息被下架整改 滴滴出行严重违法违规收集使用个人信息被下架
网信中国微信公众号2021年7月4日消息:根据举报,经检测核实,滴滴出行App存在严重违……
·谷歌2021年9月份起禁止安卓2.3.7设备登录谷歌
·滴滴出行严重违法违规收集使用个人信息被下架
·微软透露对Windows10系统支持将于2025年10月
·谷歌Android 12测试版反广告跟踪设置不如iOS
·抖音、快手等App违法违规收集使用个人信息被
图文
StarRocks开源——携手未来,星辰大海!
StarRocks开源——携手未来,星辰大海!
无缝、安全、可视化,Aruba帮助企业完美应对远程办公网络挑战
无缝、安全、可视化,Aruba帮助企业完美应
知米背单词APP那些不为人知的小细节(图)
知米背单词APP那些不为人知的小细节(图)
Realme引入广告什么情况 Realme广告怎么设置关闭?
Realme引入广告什么情况 Realme广告怎么设
热点
·群控、云控时代即将终结,智控时代已到来
·106短信群发平台APP,致力于成为领域内佼佼者
·DT小听App:防偷拍,还是用这款国产app(图)
·软件技术行业发展变化非常快,软件人才要按需
·嗨学网一级消防可靠吗?新手妈妈亲生经历告诉
旧闻
·转转二手手机投身建设“二手圈”标准体系
·解析图片文字识别软件哪个好用(组图)
·Super CPD来了,以后加班狗这个群体会消失吗
·HOF OC LAB MASTER 4000怎么样?我实测告诉你
·顺应互联网APP发展 云狐酷跑前景可观(图)
广告
硅谷精选
StarRocks开源——携手未来,星辰大海!
StarRocks开源——携手未来,星辰大海!
无缝、安全、可视化,Aruba帮助企业完美应对远程办公网络挑战
无缝、安全、可视化,Aruba帮助企业完美应对远程办公
华为快应用商业化持续推进,助力开发者实现快速变现
华为快应用商业化持续推进,助力开发者实现快速变现
跨越速运 x DorisDB:统一查询引擎,强悍性能带来极速体验
跨越速运 x DorisDB:统一查询引擎,强悍性能带来极速
钉钉总裁叶军:ToB产品应关注每一位员工
钉钉总裁叶军:ToB产品应关注每一位员工
小米发布MIUI12.5增强版 小米MIUI12.5增强版更流畅
小米发布MIUI12.5增强版 小米MIUI12.5增强版更流畅
关于我们·About | 联系我们·contact | 加入我们·Join | 关注我们·Invest | Site Map | Tags | RSS Map
电脑版·PC版 移动版·MD版 网站热线:(+86)010-57255600
Copyright © 2007-2021 硅谷网. 版权所有. All Rights Reserved. <备案号:京ICP备12003855号-2>