基于K8S的StatefulSet布局MySQL集群
采用NFS存储卷的方式 持久化存储mysql数据目录 需求： 展示如何使用 StatefulSet 控制器运行一个有状态的应用程序。此例是多副本的 MySQL 数据库。 示例应用的拓扑结构有一个主服务器和多个副本，使用异步的基于行(Row-Based) 的数据复制。 基于K8S的Statef
Hbase集群挂掉的一次惊险经历
上次介绍了HDFS的简单操作，今天进入HDFS中的Java和Python的API操作，后面可能介绍Scala的相关的。在讲Java API之前介绍一下使用的IDEIntelliJ IDEA ，我本人使用的是2020.3 x64的社区版本。Java API创建maven工程，关于Maven的配置，在IDEA中，Maven下载源
Hbase集群挂掉的一次惊魂经历
本指南介绍了AWS、Microsoft Azure和谷歌Cloud提供的网络、基础设施、数据和应用程序安全功能，以防止网络攻击，保护基于云的资源和工作负载。在选择公共云服务提供商时，企业面临的最大考虑是它们提供的网络安全水平，这意味着它们为保护自己的网络和服务
大数据集群开启 kerberos 认证后 Hive 作业执行败北
进一步排查问题，需要 在理解作业的底层执行机制的基础上， 大胆猜想，小心求证。HIVE 作业的执行机制如下：终端业务用户比如 xyz 提交给 HIVESERVER2 的 SQL作业，经过 HIVESERVER2 的解析编译和优化后，一般会生成 MR/TEZ/SPARK 任务(之所以说一般，是因
Kubernetes从新手到熟练：集群服务的三个要点和一种实现
概念上来讲，Kubernetes集群的服务，其实就是负载均衡、或反向代理。这跟阿里云的负载均衡产品，有很多类似的地方。和负载均衡一样，服务有它的IP地址以及前端端口;服务后边会挂载多个容器组Pod作为其后端服务器，这些后端服务器有自己的IP以及监听端口。
每秒几十亿实时应对，大厂超大规模 Flink 集群运维解析
说一下阿里的流计算引擎，2015年在 Galaxy 自研的流计算，2014年的时候阿里就有了流计算，那个时候还有JStorm和Flink，分别分布在搜索和中间件其他的部门。 之后经常在内网上PK，这几套引擎谁最牛逼。2017年左右 Flink 以低延时、高吞吐、一致性，从几个流
K8s集群架构与高可用阐明
Kubernetes 的核心工作过程： 资源对象：Node、Pod、Service、Replication Controller 等都可以看作一种资源对象 操作：通过使用 kubectl 工具，执行增删改查 存储：对象的目标状态(预设状态)，保存在 etcd 中持久化储存; 自动控制：跟踪、对比 etcd 中存
攻击者可以利用安全陷阱对Kubernetes集群进行攻击
Sasson在周三的一篇文章中说:通过这个漏洞，恶意攻击者可能会攻击包括Kubernetes和OpenShift在内的任何一个依赖有漏洞的容器引擎的基础设施 CRI-O和Podman都是容器引擎，类似于Docker，主要用于在云端执行操作和管理容器。CRI-O和Podman使用containers/sto
PB 级大规模 Elasticsearch 集群运维与调优落地
因为游戏业务本身的日志数据量非常大(写入峰值在 100w qps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整，把客户的 ES 集群调整得比较稳定，避免了在业务高峰时客户集群的读写异常，并且降低了客户的资金成本和使用成本。 场景 1：与客户的初
监控大规模Hadoop集群，Prometheus大获全胜Zabbix？
随着公司业务发展，大数据集群规模正在不断扩大，一些大型集群物理机节点甚至已近上千。面对如此规模庞大的集群，一套优秀的监控系统是运维人员发现及处理故障的关键利器。经过多次选型和迭代，笔者选择了Prometheus，这款时下火热而强大的开源监控组件为
