Java
10分钟入门Flink--了解Flink
Flink入门系列文章主要是为了给想学习Flink的你建立一个大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。 Flink入门分为四篇，第一篇是《了解Flink》，第二篇《架构和原理》，第三篇是《DataStream》，第四篇是《Table Api & SQL》。 官网地址https://nightlies.a
10分钟入门Flink--安装
本文介绍Flink的安装步骤，主要是Flink的独立部署模式，它不依赖其他平台。文中内容分为4块：前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建。 演示使用的Flink版本是1.15.4，官方文档地址：https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/doc
Flink DataStream API-概念、模式、作业流程和程序
前几篇介绍了Flink的入门、架构原理、安装等，相信你对Flink已经了解入门。接下来开始介绍Flink DataStream API内容，先介绍DataStream API基本概念和使用，然后介绍核心概念，最后再介绍经典案例和代码实现。本篇内容：Flink DataStream API的概念、模式、作业流程和程序。 1、基本概念 用于处理数据流的API称之为DataStream API，而Dat
Flink DataStream API-数据源、数据转换、数据输出
本文继续介绍Flink DataStream API先关内容，重点：数据源、数据转换、数据输出。 1、Source数据源 1.1、Flink基本数据源 文件数据源 Socket数据源 集合数据源 1.2、高级数据源 Flink可以从Kafka、Mysql-CDC等数据源读取数据，使用时需要引入第三方依赖库。 对接Kafka数据源： 在Maven中引入Flink针对Kafka的
10分钟了解Flink窗口计算
在有状态流处理中，时间在计算中起着重要的作用。比如，当进行时间序列分析、基于特定时间段进行聚合，或者进行事件时间去处理数据时，都与时间相关。接下来将重点介绍在使用实时Flink应用程序时应该考虑的跟时间相关的一些元素。文中的示例使用到netcat工具。 窗口计算有如下几个核心概念： 1、时间概念 1.1、事件时间（Event Time） 事件时间是指每个事件或元素在其生产设备上产生的时间。该时
技术问题系列--查询过大引发的Dubbo问题
某天上午，我喝着茶看着技术博客，突然接到一个系统告警短信，还没来得及看内容，公司的客服小姐姐就飞快的跑到面前说，“系统出问题了”，吓得我一口茶水喷了出来...... 1、问题反馈 听了客服小姐姐的反馈之后，我又赶紧看了下系统的告警短信内容（某个微服务内存达到了阈值），紧接着我查看了系统异常日志，内容如下： 2、问题分析 2.1、大致原因 看到异常日志后，接下来就是分析原因和解决问题了。我们系
5分钟了解Flink状态管理
什么叫做Flink的有状态计算呢？说白了就是将之前的中间结果暂时存储起来，等待后续的事件数据过来后，可以使用之前的中间结果继续计算。本文主要介绍Flink状态计算和管理、代码示例。 1、有状态的计算 什么是Flink的有状态的计算。在流式计算过程中将算子的中间结果保存在内存或者文件系统中，等下一个事件进入算子后可以从之前的状态中获取中间结果，以便计算当前的结果，从而无需每次都基于全部的原始数据
10分钟了解Flink Watermark水印
在上一篇中，介绍了Flink里时间的概念和窗口计算，在实际生产过程中，由于网络等原因，许多数据会延迟到达窗口，这种情况Flink如何处理？Watermark登场，本文从这几点进行介绍：水印的概念、水印如何计算、允许延迟和侧道输出、水印生成策略、案例及代码。 1、一个小例子 讲解概念前，我先举个例子。比如工厂的生产线有一批货物要发出，每个货物上都有一个生产时间的标记，司机在门口等待货物，他每天9
Docker小知识备忘录
本文整理了一些Docker基础知识和常用命令，方便朋友们查阅。同时也感谢Docker这个划时代的产品，它解决了环境一致性的问题，让交付和迁移更轻松。 1、Docker与虚拟化 1.1、虚拟化技术 虚拟化技术分为两大类，全虚拟化和半虚拟化。 全虚拟化 比如之前我们使用的虚拟机就是全虚拟化，这种虚拟化的特点是将整个操作系统进行虚拟化。这些虚拟化包括硬件、CPU、内核、网络、磁盘等等，是一个完整
性能调优之日志打印的坑
目录综述日志打印流程不合理的书写方法线上环境打印大量日志消耗性能最佳实践去掉不必要的异常堆栈打印异步随机采样打印日志|done日志的输出格式|done配置日志打印开关|done总结与展望Reference 摘要：推荐异步+随机采样打印日志，日志能少则少，而且只打印核心信息，切勿打印无用日志内容，切勿在循环中打日志。 综述 在任何系统中，日志对服务的重要性不言而喻，它是反映系统运行情况的重要依据
[spring] spring学习笔记(3): 通过注解实现依赖注入
注解Annotation 注解是代码中的一种特殊标记，java中的格式为@Anno_Name(pro=value) 注解可以被使用在方法，类和属性上；在spring中，使用注解来实现自动装配，可以简化Bean的配置，基本步骤如下： 引入依赖 开启组件扫描 使用注解定义Bean 注入依赖 引入依赖 在新建的spring项目下的src/main/resources路径下，创建bean配置文件和其他
archlinux flutter开发踩坑
archlinux flutter开发踩坑 archlinux是个好东西，但是开发flutter坑不少。2023年5月我配置了flutter,后来用得不多，23年11月还尝试过但是失败，最近又要使用，就来解决下。 20230210 今天需要写一个手机app,突然发现构建不出来了，报错 你他妈别说，这问题还麻烦，只看这个还看不出来 先sudo运行一下，运行的时候保留环境变量 失败了，同样问题。然
SpringMVC 教程
SpringMVC 回顾 MVC 什么是 MVC MVC 是： 模型 (Model)、视图 (View)、控制器 (Controller) 的简写，是一种软件设计规范； 是将业务逻辑、数据、显示分离的方法来组织代码； MVC 的主要作用是降低了视图与业务逻辑间的双向耦合； MVC 不是一种设计模式，MVC 是一种架构模式。 Model：数据模型，提供要展示的数据，因此包含数据和行为，可以认为是
全基因组测序流程 | WGS pipeline
创建conda环境，安装必要软件 conda create -n wgs conda activate wgs conda install bioconda::bwa 下载最佳ref fasta gcloud storage cp gs://BUCKET_NAME/OBJECT_NAME SAVE_TO_LOCATION gs://gcp-public-data--br
maven--插件的管理（pluginManagement）
原文网址：maven--插件的管理（pluginManagement）_IT利刃出鞘的博客-CSDN博客 简介 说明 本文介绍maven如何使用pluginManagement来管理插件（build标签中的plugins标签）。 概述 Maven 使用 dependencyManagement 对依赖进行管理，见：这里，与之类似地，Maven 中还提供了一个
Docker入门学习
Docker学习笔记 目录Docker学习笔记1.快速入门1.1部署MySQL1.2命令解读2.Docker基础2.1常见命令2.2数据卷2.2.1什么是数据卷？2.2.2挂载本地目录或文件（推荐）2.3自定义镜像2.3.1镜像的结构2.3.2Dockerfile2.3.3构建镜像2.4网络3.项目部署3.1手动部署3.1.1部署后端项目3.1.2部署前端项目3.2Docker Compose3.
Java之泛型系列--继承父类与实现多个接口(有示例)
原文网址：Java之泛型系列--继承父类与实现多个接口(有示例)_IT利刃出鞘的博客-CSDN博客 简介 本文介绍java如何用泛型表示继承父类并实现多个接口。 用泛型表示某个类是某个类的子类或者实现了接口的方法为：<T extends A & B & C> 用法1：全都是接口。 对于本例来说：A、B、C都是接口 用法2：继承父类+实现接口
idea修改jetty代码后不用重启项目
确保是Debug模式 注意: 上面还有个是:update resources，这个配置应该是只会更新JS和JSP这些，而不会重新编译class文件， 如果选择update classes and resources会重新编译java文件和JSP，js，相当于热部署。(这个有时候会报错不能删除jar包，多切换几次上面的更新的东西，也就是上面更新静态资源和更新java
制作前端的动态3D模型
制作前端的动态3D模型可以通过不同的技术和库来实现，以下是两种常见的方法： 方法1：使用WebGL和Three.js Three.js 是一个基于JavaScript编写的库，它封装了WebGL API，使得开发者可以更方便地在浏览器中创建和展示3D内容。以下是一个基本步骤： 引入Three.js库： 创建HTML结构： 在JavaScript文件（如 your_script.js）
补基础题（贪心-1）
Problem - 2037 (hdu.edu.cn) Problem - 2570 (hdu.edu.cn) 1521 -- Entropy (poj.org) 今天之后就进入了新的一年。 去年的上半年算是糊糊涂涂过去的，六月份军训结束状态好了一些，至少心里有想去的地方了。下半年转专业到了计算机系，看了java编程思想，还
鸿蒙开发游戏（二）---大鱼吃小鱼（摇杆控制）
鸿蒙开发游戏（一）---大鱼吃小鱼（界面部署） 鸿蒙开发游戏（二）---大鱼吃小鱼（摇杆控制） 鸿蒙开发游戏（三）---大鱼吃小鱼（放置NPC） 鸿蒙开发游戏（四）---大鱼吃小鱼（互吃升级） 鸿蒙开发游戏（五）---大鱼吃小鱼（添加音效） 鸿蒙开发游戏（六）---大鱼吃小鱼（称霸海洋） 前言：上一篇介绍了鸿蒙新建项目以及界面部署，并未实现方向逻辑，上下左右控制，这篇来搞一下。首先
单机版 Xxl-Job 分布式定时任务调度的部署和使用
Xxl-Job 是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。本篇博客主要介绍如何进行单机版部署和使用，并在博客最后提供源代码下载。 Gitee 地址：https://gitee.com/xuxueli0323/xxl-job GitHub 地址：https://github.com/xuxueli/xxl-job
【Azure Function】Azure Function中使用 Java 8 的安全性问题
问题描述 使用Azure Function， 环境是Linux的Java8。目前 Oracle Java JDK8,11,17 和 OpenJDK 8/11/17 都在存在漏洞受影响版本的范围内。 OpenJDK &
大厂的供应链域数据中台设计
关注我，紧跟本系列专栏文章，咱们下篇再续！ 作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主，编程严选网创始人。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。负责： 中央/分销预订系统性能优化 活动&优惠券等营销中台建设 交易平台及数据中台等架构和开发设计 目前主攻降低软件复杂性设计、构建高可用系统方向。 参考： 编程严选网 1 前言 受
线程池工作原理和实现原理
为什么要使用线程池 不使用线程池会怎么样？当需要多线程并发执行任务时，只能不断的通过new Thread创建线程，每创建一个线程都需要在堆上分配内存空间，同时需要分配虚拟机栈、本地方法栈、程序计数器等线程私有的内存空间，当这个线程对象被可达性分析算法标记为不可用时被GC回收，这样频繁的创建和回收需要大量的额外开销。再者说，JVM的内存资源是有限的，如果系统中大量的创建线程对象，JVM
2024年2月--Mac电脑安装RedisCluster集群（非Docker模式）
前提：按照本文的指令照做之前，先在Mac电脑安装一个默认端口为6379的单节点redis server，保证后面的redis-server和redis-cli指令能够正常执行。 为什么没有在Mac的Docker里安装Redis集群？我确实在Docker里安装成功了Redis集群：《2024年2月笔记：Redis7.2.4版本在Mac电脑的Docker里安装Redis集群，但是SprintBoot连
毫秒时间位数，时而1位，时而2位，时而3位，搞得我好乱呐！
开心一刻 今天我突然顿悟了，然后跟我妈聊天 我：妈，我发现一个饿不死的办法 妈：什么办法 我：我先养个狗，再养个鸡 妈：然后了 我：我拉的狗吃，狗拉的鸡吃，鸡下的蛋我吃，如此反复，我们三都饿不死 妈：你整那么多中间商干啥，你就自己拉的自己吃得了，还省事 我又顿悟了，回到：也是啊 说句很重要的心里话：祝大家在2024年，身体健康，万事如意！ 场景重温 为了让
dremio 的InformationSchemaCatalog 服务三
以前简单写过一些关于dremio 的InformationSchemaCatalog ，也说过dremio 为了方便提供标准的INFORMATION_SCHEMA 自己开发了存储扩展，以下是关于存储扩展的创建以及刷新说明 创建 创建是在CatalogService 中处理的，具体的实现是CatalogServiceImpl 参考处理 if(roles.contains(Role