按时间归档:2023年5月26日
-
Elasticsearch(二)–集群原理及优化
一、ES原理 1、索引结构ES是面向文档的 各种文本内容以文档的形式存储到ES中,文档可以是一封邮件、一条日志,或者一个网页的内容。一般使用 JSON 作为文档的序列化格式,文档可…
-
[平台建设] Spark任务的诊断调优
平台目前大多数任务都是Spark任务,用户在提交Spark作业的时候都要进行的一步动作就是配置spark executor 个数、每个executor 的core 个数以及 exe…
-
GeoWave实践1:简介与安装部署(Linux)
简介 功能 后端支持 安装部署 环境准备 GeoWave下载 安装 配置环境变量 运行GeoServer 简介 GeoWave是一个开源软件库,使用现代地理空间软件连接分布式计算框…
-
GeoWave实践2:使用命令行将本地矢量数据注入hbase并发布至GeoServer
在GeoWave所在的节点打开两个会话窗口。 会话1//运行GeoServer,默认端口8080 geowave gs run会话2 //为GeoWave创建数据库TestShp,…
-
[平台建设] 日志数据同步数仓设计
本文主要设计了日志数据访问数据仓库的场景,介绍了访问设计的一些细节,并对可能出现的问题进行了处理。 [En] This paper mainly designs the scena…
-
ElasticSearch 7.8.x技术整理4 – 高级篇( 续 )
0、前言 变更原由:昨晚更新博客之后,第一次出现有人看得到,有人又看不到,我也不知道我设置了什么地方,所以我把原博客删了,重新发布 另外:其中一些理论与前面的知识点相关,所以我没有…
-
StarRocks BE节点崩溃原因查找及解决思路:std::bad_alloc
问题分析 StarRocks BE 5个节点突然在几分钟内全部掉线。查找BE的be.out日志,输出如下: tcmalloc: large alloc 1811947520 byt…
-
[离线计算-Spark|Hive] 大数据应用性能指标采集工具改造落地
主要介绍针对平台的spark应用程序,在不修改用户程序的情况下 如何采集其资源和性能指标为后续分析使用,如性能优化,资源使用计价等. 分析挑战 在分布式环境中,多个 Spark 应…
-
Flink使用Pod Template将状态快照(Checkpoint、Savepoint)存储在NFS
Flink 版本 1.13.3,使用 native k8s 部署模式,原采用 HDFS 作为状态快照(Checkpoint、Savepoint)的存储地址,但是由于仅使用了其 HD…
-
在字节,A/B 实验是这么做的!
主要为大家介绍了为什么要做 A/B 测试、火山引擎的 A/B 测试系统架构及字节跳动内部 A/B 测试的最佳实践。 为什么要做 A/B 测试 首先我们看一个案例。 字节跳动有一款中…