Java
[转帖]clickhouse使用clickhouse-keeper代替zookeeper
目录 异常现象： 1. clickhouse的异常日志 2. 追踪对应节点的zookeeper日志 使用clickhouse-keeper代替 zookeeper的步骤： 1： 准备 clickhouse-ke
[转帖]Kafka故障之磁盘打满
问：磁盘打满扩容后能正常重启吗？答：不一定 要看文件格式是否损坏（log、index等）。如果损坏会报错：index file due to requirement failed: Corrupt index found, index file (/data/kafka_/xx-5/00000000000237215019.index) has non-zero size bu
[转帖]TiFlash 源码阅读（一） TiFlash 存储层概览
背景 本系列会聚焦在 TiFlash 自身，读者需要有一些对 TiDB 基本的知识。可以通过这三篇文章了解 TiDB 体系里的一些概念《 说存储 》、《 说计算 》、《 谈调度 》。 今天的主角 -- TiFlash 是 TiDB HTAP 形态的关键组件，它是 TiKV 的列存扩展，通过 Raft Learner 协议异步复制，但提供与 TiKV 一
[转帖]如何在一个Docker中同时运行多个程序进程?
我们都知道Docker容器的哲学是一个Docker容器只运行一个进程,但是有时候我们就是需要在一个Docker容器中运行多个进程 那么基本思路是在Dockerfile 的CMD 或者 ENTRYPOINT 运行一个”东西”,然后再让这个”东西”运行多个其他进程 简单说来是用Bash Shell脚本或者三方进程守护 (Monit,Skaware S6,Supe
[转帖]Clickhouse单机及集群部署详解
一、ClickHouse简介 ClickHouse是近年来备受关注的开源列式数据库，主要用于数据分析（OLAP）领域。目前国内社区火热，各个大厂纷纷跟进大规模使用： 今日头条 内部用ClickHouse来做用户行为分析，内部一共几千个ClickHouse节点，单集群最大1200节点，总数据量几十PB，日增原始数据300TB左右。 腾讯内部用ClickHous
[转帖]通过 TiUP 部署 TiDB 集群的拓扑文件配置
通过 TiUP 部署或扩容 TiDB 集群时，需要提供一份拓扑文件（示例）来描述集群拓扑。 同样，修改集群配置也是通过编辑拓扑文件来实现的，区别在于修改配置时仅允许修改部分字段。本文档介绍拓扑文件的各个区块以各区块中的各字段。 文件结构 一个通过 TiUP 部署的 TiDB 集群拓扑文件可能包含以下区块： global：集群全局配置，其中一些是集群的默认值，可以在实例里面单独
[转帖]连接池与连接参数
连接池参数 - 连接数配置、探活配置两节摘自开发 Java 应用使用 TiDB 的最佳实践 - 连接池。 连接参数摘自开发 Java 应用使用 TiDB 的最佳实践 - JDBC。 连接池参数 TiDB (MySQL) 连接建立是比较昂贵的操作（至少对于 OLTP 来讲），除了建立 TCP 连接外还需要进行连接鉴权操作，所以客户端通常会把 TiDB (MySQL)
[转帖]Flink完全分布式集群安装
Flink支持完全分布式模式，这时它由一个master节点和多个worker节点构成。在本节，我们将搭建一个如下的三个节点的Flink集群。 一、Flink集群安装、配置和运行 Flink完全分布式集群搭建步骤如下： 1、配置从master到worker节点的SSH无密登录，并保持保节点上相同的目录结构。 2、Flink要求在主节点和所有工作节点上设置JAVA_HOM
[转帖]shell脚本字符串截取的8种方法
假设有变量 var=http://www.aaa.com/123.htm. 1. # 号截取，删除左边字符，保留右边字符。 1 echo ${var#*//} 其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 ：www.aaa.com/123.htm
[转帖]针对容器的nginx优化
本篇文章介绍了 Nginx 在容器内使用遇到的CPU核数获取问题以及对应的解决方法。 回顾上篇文章：TCP 半连接队列和全连接队列 背景 容器技术越来越普遍，很多公司已经将容器技术作为基础架构的一部分，容器中可以运行任何软件，包括 Web Server、Application Server、数据库和存储系统等，其中 Nginx 作为 Web Server 使用也非
[转帖]Skip List--跳表（全网最详细的跳表文章没有之一）
跳表是一种神奇的数据结构，因为几乎所有版本的大学本科教材上都没有跳表这种数据结构，而且神书《算法导论》、《算法第四版》这两本书中也没有介绍跳表。但是跳表插入、删除、查找元素的时间复杂度跟红黑树都是一样量级的，时间复杂度都是O(logn)，而且跳表有一个特性是红黑树无法匹敌的（具体什么特性后面会提到）。所以在工业中，跳表也会经常被用到。废话不多说了，开始今天的跳表学习。 通过本文
【转帖】nginx变量使用方法详解-7
在 （一） 中我们提到过，Nginx 变量的值只有一种类型，那就是字符串，但是变量也有可能压根就不存在有意义的值。没有值的变量也有两种特殊的值：一种是“不合法”（invalid），另一种是“没找到”（not found）。 举例说来，当 Nginx 用户变量 $foo 创建了却未被赋值时，$foo 的值便是“不合法”；而如果当前请求的 URL 参数串中并没有提
[转帖]请求量突增一下，系统有效QPS为何下降很多？
原创：扣钉日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。 简介# 最近我观察到一个现象，当服务的请求量突发的增长一下时，服务的有效QPS会下降很多，有时甚至会降到0，这种现象网上也偶有提到，但少有解释得清楚的，所以这里来分享一下问题成因及解决方案。 队列延迟# 目前的Web服务器，如Tomcat，请求处理过程大概都类似如下：这是Tomcat请求处理
[转帖] JVM诊断命令jcmd介绍
简介# 从JDK7开始，jdk提供了一个方便扩展的诊断命令jcmd，用来取代之前比较分散的jdk基础命令，如jps、jstack、jmap、jinfo等，并且jdk添加新的诊断功能，也会通过jcmd提供，所以还是有必要将这个命令熟悉起来的。 列出java进程# jps提供了列出本机java进程的功能，jcmd与之类似，直接输入jcmd即可，如下： $ jcmd 10732
[转帖]一次SSL握手异常，我发现JDK还有发行版区别
原创：扣钉日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。 简介# 最近，我们一个多机房部署的服务，调用方反馈有问题，在调用新加坡机房时正常，而调用印度机房则报SSL握手异常。 排查花了一些时间，同时也积累了一些经验，故记录一下，读完本文，你将了解到如下内容： SSL握手过程 SSL握手异常时的排查思路与工具 同版本的JDK，也是有所差异的 废话
[转帖]Java 认证与授权(JAAS)介绍
JAAS(Java Authentication Authorization Service)，即 Java 认证与授权，使用可插拔方式将认证与授权服务和应用程序分离开，提供了灵活和可伸缩的机制来保证客户端或服务器端的 Java 程序；本文主要介绍 JAAS 的基本概念及使用方法。 1、简介 Java 早期的安全框架强调的是通过验证代码的来源和作者，保护用户避免受到下载下来
[转帖] 在Linux上查看活跃线程数与连接数
原创：扣钉日记（微信公众号ID：codelogs），欢迎分享，非公众号转载保留此声明。 简介# 现如今，有两种常见的软件资源几乎成了Java后端程序的标配，即线程池与连接池，但这些池化资源非常的重要，一旦不够用了，就会导致程序阻塞、性能低下，所以有时我们需要看看它们的使用情况，以判断这里是否是瓶颈。 查看活跃线程数# 在Linux上，通过top -H -p
[转帖]windos的kafka设置账号密码
1.kafka配置文件 server.properties增加 listeners=SASL_PLAINTEXT://127.0.0.1:9092 advertised.listeners=SASL_PLAINTEXT://127.0.0.1:9092 se
[转帖]Linux—解压缩命令总结（tar/zip）
1 tar 1.2 tar介绍 tar命令是linux系统中对文件和目录解压缩命令。tar命令可以用于对后缀名为.tar,tar.gz等常用文件。 1.3 tar参数 系统中通过tar --help查看： Main operation mode: -A, --catenate, --concatenate append tar files to an arch
[转帖]Kafka—配置SASL/PLAIN认证客户端及常用命令
介绍 SASL/PLAIN 是一种简单的 username/password安全认证机制，本文主要总结服务端开启该认证后，命令行客户端进行配置的操作流程。 配置 增加jaas.properties 在kafka的config目录下增加jaas.properties文件指定认证协议为SASL_PLAINTEXT security.protocol=SASL_PLAINTEX
[转帖]Tomcat maxKeepAliveRequests
在写这个问题前，其实我是为了分析项目碰到的一个tcp close wait问题。这个问题就不在这里讲了。 造成的原因很简单，就是很多项目对httpclient的参数和使用都理解有问题，往往随便写一个或者使用网上的代码。导致在一些场景连接关闭有问题 httpclient大致有这些版本 httpclient3.x httpclient4.x到httpclient4.3以下
[转帖]Day63_Kafka(一）
第一讲 Kafka基础操作 课程大纲 课程内容 学习效果 掌握目标 Kafka简介 消息队列 掌握 Kafka简介 Kafka分布式环境 Kafka操作 Kafka shell 掌握 Kafka api Flume整合k
[转帖]kafka压测多维度分析实战
设置虚拟机不同的带宽来进行模拟压测 ---------kafka数据压测-------------------1、公司生产kafka集群硬盘：单台500G、共3台、日志保留7天。 &n
[转帖]Kafka—配置SASL/PLAIN认证客户端及常用操作命令
介绍 SASL/PLAIN 是一种简单的 username/password安全认证机制，本文主要总结服务端开启该认证后，命令行客
【转帖】50.设置HotSpot采用解释器还是JIT编译器(-Xint、-Xcomp、Xmixed以及-Server、-Client）
目录 1.设置HotSpot 1.设置HotSpot 1.设置采用解释器还是JIT编译器 -Xint: 完全采