大数据集群开启 kerberos 认证后 Hive 作业执行败北
进一步排查问题，需要 在理解作业的底层执行机制的基础上， 大胆猜想，小心求证。HIVE 作业的执行机制如下：终端业务用户比如 xyz 提交给 HIVESERVER2 的 SQL作业，经过 HIVESERVER2 的解析编译和优化后，一般会生成 MR/TEZ/SPARK 任务(之所以说一般，是因
浅谈大数据风控平台的功能需要
大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清洗
数据开发，怎么平衡效率与质量
描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。集中趋势分析：集中趋势分析主要靠平均数、中数、众数等统计
Python中三个不常见但是很有用的数据科学库
如果你过去一直在构建一些有监督的机器学习模型，你就会知道目标变量中的类别不平衡可能是一个大问题。这是因为在少数类中没有足够的例子来让算法学习模式。一个解决方案是创建一些合成样本，通过使用例如SMOTE(合成少数群体过采样技术)来增加少数群体类的
大数据制止网络安全威胁的5种可行方法
大数据是一门新科学，数据生产率如今正在以惊人的速度发展。全球正在产生数量惊人的数据，而且随着物联网的发展，这一增长速度正在加快。调查表明，全球产生的数据90%都是在过去两年中产生的。此外，根据一些调研机构的预测，预计到2025年，全球将会产生200
数据安全：算法的限制性
大数据时代，网络上的内容呈现出爆炸式的增长趋势，如何从纷繁复杂的网络内容中挑选出自己需要的信息，成为诸多互联网用户的烦恼。起初，搜索引擎的出现缓解了这种问题。但是，搜索引擎往往需要用户知道自己想要获取哪方面的内容，才能通过搜索寻找目标。例
阿里云揭秘开源大数据十年演进之路，并开源两款AI项目
近日，2021云栖大会开源大数据与AI行业实践论坛上，阿里巴巴开源委员会副主席、阿里云开源大数据平台负责人王峰首次公开阿里云开源大数据技术的十年演进之路。同时，经历阿里巴巴自身业务千锤百炼的两款AI神兵宣布开源大规模稀疏模型训练引擎DeepRec和多模
大数据跨境流动是必然走向
近日，习近平总书记向可持续发展大数据国际研究中心成立大会暨2021年可持续发展大数据国际论坛致贺信并指出，设立可持续发展大数据国际研究中心是他在第75届联合国大会上宣布的支持落实联合国2030年可持续发展议程的重要举措。他希望各方充分利用可持续发展
浅析网易大数据平台下的数据质量
大数据平台的核心理念是构建于业务之上，用数据为业务创造价值。大数据平台的搭建之初，优先满足业务的使用需求，数据质量往往是被忽视的一环。但随着业务的逐渐稳定，数据质量越来越被人们所重视。千里之堤，溃于蚁穴，糟糕的数据质量往往就会带来低效的数
互联网大数据对普通消费者的影响
营销人员越来越多地使用人工智能和机器学习，以便浏览大量数据并获取对营销行动有用的信息。通过专业的分析，企业能够分析出消费者未来可能做的事情，从而调整他们的营销方向。大数据也让营销人员更好地了解消费者在互联网上的行为。以下是营销行业受大数据
