Java
[转帖] 请求量突增一下，系统有效QPS为何下降很多？
原创：扣钉日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。 简介# 最近我观察到一个现象，当服务的请求量突发的增长一下时，服务的有效QPS会下降很多，有时甚至会降到0，这种现象网上也偶有提到，但少有解释得清楚的，所以这里来分享一下问题成因及解决方案。 队列延迟# 目前的Web服务器，如Tomcat，请求处理过程大概都类似如下：这是Tomcat请求处理
[转帖]jmap执行失败了，怎么获取heapdump？
在之前的OOM问题复盘中，我们添加了jmap脚本来自动dump内存现场，方便排查OOM问题。 但当我反复模拟OOM场景测试时，发现jmap有时可以dump成功，有时会报错，如下： 经过网上一顿搜索，发现两种原因可能导致这个问题，一是执行jmap用户与jvm进程用户不一致，二是/tmp/.java_pidXXX文件被删
[转帖]java获取到heapdump文件后，如何快速分析？
简介 在之前的OOM问题复盘之后，本周，又一Java服务出现了内存问题，这次问题不严重，只会触发堆内存占用高报警，没有触发OOM，但好在之前的复盘中总结了dump脚本，会在堆占用高时自动执行jstack与jmap，使得我们成功保留了问题现场。 查看堆占用分布 发现有heapdump文件后，我立马拷贝到本机，并使用MAT分析，如下：
[转帖]Kafka 核心技术与实战学习笔记（七）kafka集群参数配置（上）
一.Broker 端参数 Broke存储信息配置 log.dirs:非常重要，指定Broker需要使用的若干文件目录路径，没有默认值必须亲自指定。log.dir：他只能表示单个路径，补充上一个参数用。 如何设置： 只要设置log.dirs，不要设置l
[转帖]java -D参数设置系统属性无效问题及解决
这篇文章主要介绍了java -D参数设置系统属性无效问题及解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教 + 目录 java -D参数设置系统属性无效 我们都知道如何在Java中获取系统属性： 1 System.getProperty(ESClientConstance
[转帖]Kafka 核心技术与实战学习笔记（八）kafka集群参数配置（下）
一.Topic级别参数 Topic的优先级: 如果同时设置Topic级别参数和全局Broker参数，那么Topic级别优先 消息保存方面： retention.ms:规定Topic消息保存时长。默认是7天。一旦设置将覆盖掉Broker端的全局参数
[转帖]Kafka 核心技术与实战学习笔记（六）kafka线上集群部署方案
一.操作系统-Linux Kafka是JVM系的大数据框架kafka由Scala语言和Java语言编写而成，编译之后的源代码就是普通的".class"文件 使用Linux kafka客户端底层使用Java的selector，
[转帖]Kafka 性能优化与问题深究
Kafka 性能优化与问题深究 一．Kafka深入探究 1.1 kafka整体介绍 1. 1.1 Kafka 如何做到高吞吐、低延迟的呢？ Kafka是一个分布式高吞吐量的消息系统，这里提下 Kafka 写数据的大致方式：先写操作系统的页缓存
[转帖]kafka漏洞升级记录，基于SASL JAAS 配置和 SASL 协议，涉及版本3.4以下
攻击者可以使用基于 SASL JAAS 配置和 SASL 协议的任意 Kafka 客户端，在对 Kafka Connect worker
[转帖]Prometheus监控系统存储容量优化攻略，让你的数据安心保存！
云原生监控领域不可撼动，Prometheus 是不是就没缺点？显然不是。 一个软件如果什么问题都想解决，就会导致什么问题都解决不好。所
[转帖]5、kafka监控工具Kafka-Eagle介绍及使用
# Apache Kafka系列文章 1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试 2、java调用kafka api 3、kafka重要概念介紹及示例 4、kafka分区、副本介绍及示例 5、kafka监控工具Kafka-Eagle介绍及使用 本文主要介绍了kafka监控工具Kafka-Eagle的使用。 本文依赖：kafka、zo
[转帖]Linux—微服务启停shell脚本编写模板
run.sh #!/bin/bash if [ -s java.pid ] then echo "重复启动，退出" exit 0 fi jar_file=`ls *.jar | head -n 1` echo $jar_file java -Djava.security.egd=file:/dev/./urandom -jar $jar_file > te
[转帖]JVM——内存区域：运行时数据区域详解
关注：CodingTechWork，一起学习进步。 引言 我们经常会被问到一个问题是Java和C++有何区别？我们除了能回答一个是面向对象、一个是面向过程编程以外，我们还会从底层内存管理和垃圾收集方面作出比较。 对于C++而言，程序员既要做程序设计开发又要维护底层内存管理；而对于Java而言，程序员不需要控制底层，只需要安心写自己的代码即可，因为Java虚拟机自动实现了内
[转帖]Linux—CPU核数、上下文切换介绍及pidstat等命令详解
关注：CodingTechWork，一起学习进步。 引言 并发编程 并发编程的目的是为了改善串行程序执行慢问题，但是，并不是启动更多线程就能够让程序执行更快。因为在并发时，容易受到软硬件资源等限制，从而导致上下文切换慢，频繁的上下文切换导致并发程序执行起来反而不如串行程序，违背了让程序运行得更快一些这个最初的梦想。 单核和多核CPU 在介绍上下文切换前，我们先来了解一下
[转帖]Kafka关键参数设置
生产环境中使用Kafka，参数调优非常重要，而Kafka参数众多，我们的java的Configuration代码中，经常设置的参数如下： buffer.memory Kafka的客户端发送数据到服务器，不是来一条就发一条，而是经过缓冲的，也就是说，通过KafkaProducer发送出去的消息都是先进入到客户端本地的内存缓冲里，然后把很多消
[转帖] 拒绝蛮力，高效查看Linux日志文件！
原创：扣钉日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。 简介# 日常分析问题时，会频繁地查看分析日志，但如果蛮力去查看日志，耗时费力还不一定有效果，因此我总结了在Linux常用的一些日志查看技巧，提升日志阅读效率。 grep查找日志# 在我们查找某些异常日志时，经常需要同时查看异常前面或后面的一些日志，因为有时前面或后面的日志就已经标识出异常原因
[转帖]神秘的backlog参数与TCP连接队列
简介# 这要从一次压测项目说起，那是我们公司的系统与另几家同行公司的系统做性能比拼，性能数据会直接影响项目中标，因此压力非常大。 当时甲方给大家提供了17台服务器供系统部署，并使用LoadRunner对系统进行压测，乙方有完全的服务器使用权，甲方派一个人负责压测并记录性能数据，要求压测QPS不低于4000。 项目开工# 接收到项目后，我们leader作为本项目的技术负责人，
[转帖]configure 各种配置
—build=编译该软件所使用的平台 —host=该软件将运行的平台 —target=该软件所处理的目标平台 具体到不同的交叉编译器 —build —host —target 后面跟随的内容也不一样 ，需要使用arm-linux- gcc -v 查看版本信息 以确定 该命令给出了很多重要信息： nicholas@nicholas-virtual-machine:~/c
[转帖]InnoDB表聚集索引层高什么时候发生变化
导读 本文略长，主要解决以下几个疑问 1、聚集索引里都存储了什么宝贝 2、什么时候索引层高会发生变化 3、预留的1/16空闲空间做什么用的 4、记录被删除后的空间能回收重复利用吗 1、背景信息
【转帖】MySQL 8.0.32如期而至
MySQL 8.0版本计划 MySQL 8.0开始采用快速迭代开发模式，基本上是每隔3个月就发布一个新的小版本。去年1月18日（2022.1.18）发布MySQL 8.0.28，今年1月17日发布MySQL 8.0.32，再看看其他几个版本的时间，还真是贼守时
[转帖]GC日志分析工具——GCViewer案例
原创 石页粑粑 来自zxsk的码农 2020-09-28 06:18 一、GCViewer介绍 业界较为流行分析GC日志的两个工具——GCViewer、GCEasy。GCEasy部分功能还是要收费的，今天笔者给大家介绍一下GCViewer的使用与功能点。 二、GCViewer 使用 2.1 编译 首先，在github上搜索GCViewer项目，并下载到
[转帖]Innodb存储引擎-锁(数据库锁的查看、快照读&当前读、MVCC、自增长与锁、外键与锁、行锁、并发事务的问题、阻塞、死锁、锁升级、锁的实现)
文章目录 锁lock 与latch读锁/写锁/意向锁INNODB_TRX/INNODB_LOCKS/INNODB_LOCK