比较Hadoop、Spark和Kafka大数据框架
大约十年前，大数据开始流行。随着存储成本不断下降，很多企业开始存储他们获取或生成的大部分数据，以便他们可以挖掘这些数据，以获得关键的业务洞察力。 企业分析所有这些数据的需求推动着各种大数据框架的开发，这些框架能够筛选大量数据，从Hadoop开始
Uber 容器化 Apache Hadoop 基础设施的实行
随着 Uber 的业务持续增长，我们用了 5 年时间扩展 Apache Hadoop（本文中称为Hadoop），部署到了 21000 多台主机上，以支持多种分析和机器学习用例。我们组建了一支拥有多样化专业知识的团队来应对在裸金属服务器上运行 Hadoop 所面临的各种挑战，这些挑战
Hadoop、Spark、Hive究竟是什么，做算法要不要学？
最近我发现，很多萌新说着想要做算法工程师，但是却对这个岗位的要求以及工作内容一无所知。以为学一个Python，再学一些机器学习、深度学习的模型就可以胜任了。工作就是用Python不停地写模型。 显然，这样的想法是有问题的，如果真这么干，即使通过了面试
可算有人把 Hadoop 生态的主要讲明白了！
Hadoop是一个由Apache基金会开发的分布式系统基础架构。开发人员可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速并行运算以及海量数据的分布式存储。Hadoop大数据技术架构如图1所示。 然而，Hadoop不是一个孤立的技术，而是
Yahoo公开Hadoop的源代码
根据国外媒体报道，Yahoo公布了Hadoop的源代码，Hadoop是一个开源的Java并行编程框架，它是Map/Reduce的开源版本，而Map/Reduce则是Google用在计算机簇上对大规模数据进行分布式计算的架构。 该源代码可以再Yahoo的网站上下载，是0.20 alpha版，其中包括一
Hadoop VS Spark 性能原理分析
面对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。 直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。 比如说，Spark没有文件管理功能，因而必须依
可算有人把 Hadoop 生态的核心讲明白了！
Hadoop是一个由Apache基金会开发的分布式系统基础架构。开发人员可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速并行运算以及海量数据的分布式存储。Hadoop大数据技术架构如图1所示。图1 Hadoop大数据技术架构然而，Hadoop
大数据Hadoop基准检测标准你知道吗？
随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化，大数据管理技术得到了突飞猛进的发展。利用hadoop自带基准测试工具包进行集群性能测试，测试平台为CDH5.16上hadoop2.6版本。目录 /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/使用Tes
大数据Hadoop基准测试标准你了解吗？
TPC-H是一款面向商品零售业的决策支持系统测试基准，它定义了8张表，22个查询，遵循SQL92。 TPC-H基准的数据库模式遵循第三范式，叶晓俊教授等学者认为它的数据表数据特征单一(如数据不倾斜) ，其数据维护功能仅仅限制了潜在的对索引的过度使用，而没有测试DB
当Hadoop碰到DNA遗传科学
对于Ancestry.com（家谱网）的技术总监Scott Sorensen来说，大数据其实并不陌生。长久以来，Sorensen和他的同事都在使用Apache Hadoop以及其他的开源工具来进行数据处理和分析。然而想要将Hadoop架构与DBA数据处理联系起来，这就极具挑战，其中之一就是团
