大数据集群开启 kerberos 认证后 Hive 作业执行败北
进一步排查问题，需要 在理解作业的底层执行机制的基础上， 大胆猜想，小心求证。HIVE 作业的执行机制如下：终端业务用户比如 xyz 提交给 HIVESERVER2 的 SQL作业，经过 HIVESERVER2 的解析编译和优化后，一般会生成 MR/TEZ/SPARK 任务(之所以说一般，是因
浅谈大数据风控平台的功能需要
大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清洗
数据开发，怎么平衡效率与质量
描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。集中趋势分析：集中趋势分析主要靠平均数、中数、众数等统计
统计学派的18种经典数据分析方式
描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。集中趋势分析：集中趋势分析主要靠平均数、中数、众数等统计
Python中三个不常见但是很有用的数据科学库
如果你过去一直在构建一些有监督的机器学习模型，你就会知道目标变量中的类别不平衡可能是一个大问题。这是因为在少数类中没有足够的例子来让算法学习模式。一个解决方案是创建一些合成样本，通过使用例如SMOTE(合成少数群体过采样技术)来增加少数群体类的
大数据制止网络安全威胁的5种可行方法
大数据是一门新科学，数据生产率如今正在以惊人的速度发展。全球正在产生数量惊人的数据，而且随着物联网的发展，这一增长速度正在加快。调查表明，全球产生的数据90%都是在过去两年中产生的。此外，根据一些调研机构的预测，预计到2025年，全球将会产生200
数仓 | Kimball的维度建模out了吗？
在KimBall的维度建模中，必须使用代理键作为每个维表的主键，用于处理缓慢变化维。这个问题对于初学数仓维度建模的人而言，很容易陷入Kimball提出的代理键的漩涡之中，以至于把时间都浪费了。其实代理键在大数据仓库环境下显得很不合时宜，并且很难维护。在
数据安全：算法的限制性
大数据时代，网络上的内容呈现出爆炸式的增长趋势，如何从纷繁复杂的网络内容中挑选出自己需要的信息，成为诸多互联网用户的烦恼。起初，搜索引擎的出现缓解了这种问题。但是，搜索引擎往往需要用户知道自己想要获取哪方面的内容，才能通过搜索寻找目标。例
Flink执行流程和源码分析
作业管理器(JobManager)(1) 控制一个应用程序执行的主进程，也就是说，每个应用程序 都会被一个不同的Jobmanager所控制执行(2) Jobmanager会先接收到要执行的应用程序，这个应用程序会包括：作业图( Job Graph)、逻辑数据流图( ogical dataflow graph)和打
大数据跨境流动是必然走向
近日，习近平总书记向可持续发展大数据国际研究中心成立大会暨2021年可持续发展大数据国际论坛致贺信并指出，设立可持续发展大数据国际研究中心是他在第75届联合国大会上宣布的支持落实联合国2030年可持续发展议程的重要举措。他希望各方充分利用可持续发展
