您现在的位置:首页 > 滚动 > 正文
国内首个全面支持Spark和Hadoop2.0高速大数据软件
发表时间:2013年11月25日 16:05 来源:CCTIME飞象网 责任编辑:孙秀杰

    中国北京,2013年11月22日——2013年中国Hadoop技术峰会,继10月底Hadoop技术领域最大的公司美国Cloudera公司宣布和DataBricks合作,提供ApacheSpark计算框架的技术支持之后,本地大数据平台软件公司星环信息科技(上海)有限公司(以下简称“星环科技”)率先在国内推出一款大数据平台产品TranswarpDataHub,融合ApacheSpark和Apache Hadoop2.0,提供全面本地化的技术支持。

    “由于移动互联网和互联设备的发展,企业数据每年成倍的增长,所以Hadoop技术从一开始就受到广泛的关注,”星环科技联合创始人,CTO孙元浩表示,“大型企业和政府机构纷纷尝试使用Hadoop来解决大量复杂数据的存储和查询问题,同时寻求更好性价比的软硬件组合。ApacheHadoop作为一个分布式计算框架和存储引擎极好的满足了这一方面的需求。可以说Hadoop具备成为未来企业数据的“操作系统”或“DataHub”的条件。而同时企业原有的众多基于SQL开发的应用和复杂的数据集也对Hadoop及其周围软件提出了更大的挑战”

    大数据平台软件需要同时支持海量数据存储和高速分析能力

    大数据的四大特征——海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。

    目前,HDFS加MapReduce的组合很好的解决了海量数据规模和多样的数据类型的问题,但在对高速的数据查询需求、不同数据规模的场景下对应用的灵活支持还有很大的提升空间。ApacheSpark作为下一代Map/Reduce计算框架,充分利用了内存加速,很好的解决了交互式查询和迭代式机器学习的效率问题。TranswarpData Hub通过对Apache Spark和Apache Hadoop2.0的支持,使用优化内存处理技术,能10x/100x级别的提升Hadoop平台的性能。

    对多种应用场景和数据压力的支持

    同时通过对新的框架的整合和优化处理技术,TranswarpDataHub扩大了Hadoop的应用领域和处理不同数据压力的能力,适合处理从GB到PB级别的数据。目前适用于离线分析,统计/挖掘;在线的存储和OLAP系统;以及在线的基于内存的高速分析。

    “ApacheHadoop的广泛使用还需要和传统数据处理工具的整合,才能给解决方案供应商,应用开发商提供方便,形成更完整的体系,使用户受益。”孙元浩还表示:“所以我们在开发TranswarpDataHub同时,就寻求和更多的数据处理和分析工具厂商合作和整合。目前已经和Revolution R,Informatica,Tableau实现了对接。

    “TranswarpDataHub已经在一些重点的客户领域进行测试和使用,已经有十几个软件和硬件合作伙伴,我们希望通过我们的技术创新能获得更多的客户。”

    与国内ISV,方案商全面合作

    在市场方面,星环科技推出合作伙伴支持计划,真诚希望与各行业的ISV、系统集成商、Hadoop服务商展开深入、双赢、长期的合作.希望产品能为合作伙伴带来新的大数据商机,新的客户,和丰厚长期的回报。这次推出的本土合作伙伴计划,提出了9条具体的对合作伙伴的支持方案。

    IT168的企业级总编洪钊峰主持了发布会以及现场的嘉宾互动环节,星环科技的战略合作伙伴RevolutionR亚太区总经理LaurenceLiew、DataBricks初创员工、Spark核心成员Reynold Xin、BDAS Tachyon作者李浩源博士、恒为总经理沈振宇、Informatica大中华区首席架构师但彬齐聚一堂,与大家分享了他们对大数据时代机遇和挑战以及产业未来发展的看法。

    在谈到跟星环科技的合作时,DataBricks初创员工,Spark核心成员辛湜(ReynoldXin)介绍道:“星环公司专注Spark技术的研发,是AMPLab以及Databricks在国内的技术合作伙伴,大家一起为Spark技术的发展贡献力量。”

    RevolutionAnalytics的亚太区总经理LaurenceLiew说:“RevolutionR是目前全球最好的R语言商业化软件,国内率先与星环公司成为战略合作伙伴,利用Transwarp Data Hub和Spark,可以为客户提供交互式的数据探索、统计和挖掘能力。”

    Informatica的大中国区首席架构师但彬说:“Informatica作为目前全球领先的老牌数据集成软件供应商,也在积极探索大数据技术和应用,非常荣幸能与星环公司成为战略合作伙伴,帮助国内大数据客户实现从传统架构迁移至TranswarpDataHub的Hadoop大数据平台,提供从GB到PB级的数据存储和处理能力。”

    AMPLab的李浩源博士提到了星环科技和AMPLab在Tachyon上的技术合作。他认为,从学术界的观点来看,过去五六年大数据发展非常快,如今Hadoop已非常流行,其无论在硬件还是软件方面都有了非常大的突破。我们希望能在学术界创造更多有意义的软件,为工业界提供基础,可以把这些基础进一步夯实、并且能够涌现像星环科技这样的科技公司,促进新技术的商业化,从而带动行业发展。

高层访谈
用友董事长兼CEO王文京:全面数智商业创新时代到来
用友网络董事长兼CEO王文京认为,随着AI成为全球IT技术与产业创新的中心,商业创新也进入全面数..
华为汪涛:深耕价值客户、商业和分销三类市场
5月8日,在华为中国合作伙伴大会2023上,华为常务董事、ICT基础设施业务管理委员会主任、企业BG..
观点态度
12岁即显现商业头脑 IT巨头公司戴尔的发展简史
从1984成立到今天,戴尔已成长为全球知名的电脑、服务器、数据储存设备和网络设备厂商。
5G毫米波网速优势显现,少了高速路的5G不完整
随着5G网络目前在全球各地的开通,5G毫米波在峰值速率上已经展现出了巨大优势。同时,工信部在..
移动互联
手机
智能设备
汽车科技
通信
IT
家电
办公打印
企业
滚动
相关新闻
关于我们 | 联系我们 | 友情链接 | 版权声明
新科技网络【京ICP备18031908号-1
Copyright © 2020 Hnetn.com, All Right Reserved
版权所有 新科技网络
本站郑重声明:本站所载文章、数据仅供参考,使用前请核实,风险自负。