Python
Python用KShape对时间序列进行聚类和肘方法确定最优聚类数k可视化|附代码数据
全文链接：http://tecdat.cn/?p=27078 最近我们被客户要求撰写关于KShape对时间序列进行聚类的研究报告，包括一些图形和统计输出。 时序数据的聚类方法，该算法按照以下流程执行。 使用基于互相关测量的距离标度（基于形状的距离：SBD） 根据 1 计算时间序列聚类的质心。（一种新的基于质心的聚类算法，可保留时间序列的形状） 划分成每个簇的方法和一般的kmeans一样，但是在计
Apache DolphinScheduler 3.2.1 版本发布：增强功能与安全性的全面升级
近期，Apache DolphinScheduler 社区激动地宣布 3.2.1 版本的发布。此次更新不仅着力解决了前一版本（3.2.0）中遗留的问题，而且引入了一系列的功能增强和优化措施。 原先的问题主要源于部分重要代码在发布过程中未能成功合并（cherry-pick），加之这部分代码的合并过程较为复杂，因此，3.2.1 版本基于 2024年2月的 dev 分支代码，剔除了一些不兼容的特性后发
【深度学习】TensorFlow实现线性回归，代码演示。全md文档笔记（代码文档已分享）
本系列文章md笔记（已分享）主要讨论深度学习相关知识。可以让大家熟练掌握机器学习基础,如分类、回归（含代码），熟练掌握numpy,pandas,sklearn等框架使用。在算法上，掌握神经网络的数学原理，手动实现简单的神经网络结构，在应用上熟练掌握TensorFlow框架使用，掌握神经网络图像相关案例。具体包括：TensorFlow的数据流图结构，神经网络与tf.keras，卷积神经网络(CNN
python环境安装教程-20240221
1、下载安装包首先、进入官网下载安装包网址：https://www.python.org/downloads/windows/下载步骤：进入下载地址，根据自己的电脑系统选择相应的python版本 选择适配64位操作系统的版本（查看自己的电脑操作系统版本）， 点击下载安装包 也可以下载我百度云分享的安装包，版本是python 3.11.8 链接：https
Linux 系统编程从入门到进阶 学习指南
引言 大家好，我是小康 ，今天我们来学习一下 Linux 系统编程相关的知识。Linux 系统编程是连接高级语言和硬件的桥梁，它对深入理解计算机系统至关重要。无论你是打算构建高性能服务器还是开发嵌入式设备，掌握 Linux 系统编程是 C 和 C++ 开发者的基本技能。 本文旨在为初学者提供一个清晰的 Linux 系统编程入门指南，带你步入 Linux 系统编程的世界，从基本概念到实用技能，一步步
python更换国内镜像
永久更改 1.在python的命令提示符中运行以下语句，该条语句将pip的下载源永久更改为某个镜像站，这里以清华大学开源镜像站为例： pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/ 2.windows环境下，在用户目录中创建一个文件夹，该文件夹的命名为pip；在该pip文件夹中新建一个文件pi
当systemd停止父python脚本时，子进程退出
KillMode参数 contorl-group （默认） # 当前控制组里所有的子进程都会被杀掉 process ： #只杀主进程 mixed： #主进程将收到SIGTERM(终止进程)信号，子进程将收到SIGKILL（无条件终止）信号 none: # 没有进程会被杀掉，只是执行服务的stop命令 解决办法 将 KillMode 改成 process 或
BentoML：如何使用 JuiceFS 加速大模型加载
BentoML 是一个开源的大语言模型（LLM） AI 应用的开发框架和部署工具，致力于为开发者提供最简单的构建大语言模型 AI 应用的能力，其开源产品已经支持全球数千家企业和组织的核心 AI 应用。 当 BentoML 在 Serverless 环境中部署模型时，其中一个主要挑战是冷启动慢，尤其在部署大型语言模型时更为明显。由于这些模型体积庞大，启动和初始化过程耗时很长。此外，由于 Imag
day38 动态规划part1 代码随想录算法训练营 509. 斐波那契数
题目：509. 斐波那契数 我的感悟： 不要担心自己变得优秀，要勇于优秀！！！ 听课笔记： 代码示例： class Solution: def fib(self, n: int) -> int: if n == 0: return 0 # 构建dp table dp = [0] * (n+1)
图像处理讲义——模板匹配
什么是模板匹配（Template Matching） 模板匹配是指在当前图像 A 内寻找与图像 B 最相似的部分，一般将图像 A 称为输入图像， 将图像 B 称为模板图像。模板匹配的操作方法是将模板图像 B 在图像 A 上滑动，遍历所有像素以完成匹配。 举个例子：我们现在有模板图像，以及输入图像（都是灰度图像且模板图像更小），设模板图像高为(h_t)，宽为(w_t)，输入图像高为(h)，宽为(w)
Cobbler 无人值守安装操作系统
术语 PXE (preboot execute environment，预启动执行环境) 是由 Intel 公司设计的协议，它可以使计算机通过网络启动。 批量装机软件介绍 Redhat系主要有两种Kickstart和Cobbler。 Kickstart是一种无人值守的安装方式。它的工作原理是在安装过程中记录人工干预填写的各种参数，并生成一个名为ks.cfg的文件。如果在自动安装过程中出现要填写参
最新Nmap进阶技术
Nmap进阶 1．脚本介绍 Nmap的脚本默认存在于/Nmap/scripts文件夹下，如图3-71所示。 图3-71 Nmap的脚本主要分为以下几类。 — Auth：负责处理鉴权证书（绕过鉴权）的脚本。 — Broadcast：在局域网内探查更多服务器端开启情况的脚本，如DHCP、DNS、SQLServer等。 —&n
ETL快速拉取物流信息
我国作为世界第一的物流大国，但是在目前的物流信息系统还存在着几大的痛点。主要包括以下几个方面： 数据孤岛：有些物流企业各个部门之间的数据标准不一致，难以实现数据共享和协同，容易导致信息孤岛。 操作繁琐：物流信息系统的操作相对繁琐，需要大量的人力资源和时间投入，容易导致员工疲劳和工作效率低下。 缺乏可视化：物流信息系统中的数据缺乏可视化展示，难以帮助企业决策者直观地了解物流运营情况，无法及时发现问
python实战:用requests+json抓取接口
一，安装requests 1,用pip安装 (venv) liuhongdi@192 news % pip3 install requests 2,查看所安装库的版本: (venv) liuhongdi@192 news % pip3 show requests Name: requests Version: 2.31.0 Summary: Python HTTP for Humans.
【性能测试】性能测试工具LoadRunner，参数化关联。全md文档笔记（已分享文档代码）
本系列文章md笔记（已分享）主要讨论性能测试相关知识。入门阶段：认识性能测试分类-(负载测试、压力测试、并发测试、稳定性测试)，常用性能测试指标-(吞吐量、并发数、响应时间、点击数...)，性能测试工具选择。性能脚本：1. LoadRunner介绍，2. 脚本录制、运行、参数化，3. 关联、检查点、事务、集合点。性能场景：1. 场景分类、场景设计、场景运行策略，2. 资源监控、SLA、IP Wi
django分页后过滤数据，要进行补全数据的方法
项目开发中遇到一个问题: 当分页后还要进行数据处理，可能导致原本分页返回的数据不足，那么需要从另外一页进行数据补全（也要数据进行过滤）。 自己写了一个小的组件： def data_paging(queryset, page, limit, deal_func=None, *args, **kwargs): # 创建分页器对象 paginator = Paginator(query
spark实验四RDD 编程初级实践
1．spark-shell 交互式编程 请到本教程官网的“下载专区”的“数据集”中下载 chapter5-data1.txt，该数据集包含 了某大学计算机系的成绩，数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80
Nginx 生产环境下的安全配置
Nginx 生产环境下的安全配置 Linux就该这么学 2024-02-09 08:02 北京 2人听过 链接：https://blog.51cto.com/u_14249042/7633794 Nginx简介 Nginx 是开源、高性能、高可靠的 Web 和反向代理服务器，而且支持热
[976] How to install a Python Dependency on AWS Lambda
ref: How to install a Python Dependency on AWS Lambda (2023) Create a folder to save the Python depenency and right click the folder to open the terminal Install the packages with the below format,
LangChain 框架介绍及入门指南
LangChain 框架介绍及入门指南 https://github.com/langchain-ai/langchain https://zhuanlan.zhihu.com/p/620529542 http://shiyanjun.cn/archives/2613.html https://python.langchain.com/docs/get_started/introduction h
python实战:使用json序列化
一，官方文档: https://docs.python.org/zh-cn/3/library/json.html 二，json与字典的相互转化 1,字典转json字符串 1 2 3 4 5 6 7 import json # 字典转json d = dict(name='Tom', age=2, score=88) json_d = json.dumps
[设计模式]创建型模式-简单工厂模式
简介 简单工厂模式又称为静态工厂模式，属于创建型模式，但不属于GOF23设计模式。由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式的实质是由一个工厂类根据传入的参数，动态决定应该创建哪一个产品类。 简单工厂适用场景：工厂类负责创建的对象比较少；客户端只需要知道传入工厂类的参数，对于如何创建对象的逻辑并不关心。 简单工厂优缺点： 优点：只需要传入一个正确的参数，就可以获取你所需要的对象，而
大厂的数据质量中心系统设计
日常工作中，数据开发上线完一个任务后并不是就可以高枕无忧，时常因上游链路数据异常或者自身处理逻辑的 BUG 导致产出的数据结果不可信。而问题发现可经历较长周期（尤其离线场景），往往是业务方通过上层数据报表发现数据异常后 push 数据方去定位问题（对于一个较冷的报表，这个周期可能会更长）。 由于数据加工链路较长，需借助数据血缘关系逐个任务排查，也会导致问题定位难度增大，严重影响开发效率。如数据问题
[技术选型与调研] 流程引擎/工作流引擎：Activiti、Flowable、Camunda
1 概述：流程与流程引擎 低代码平台、办公自动化（OA）、BPM平台、工作流系统均需要流程引擎功能 【工作流引擎的三大功能】 1）验证当前过程状态：在给定当前状态的情况下，检查是否有效执行任务。 2）确定用户权限：检查是否允许当前用户执行任务。 3）执行条件脚本：经过前两个步骤后，工作流引擎将执行任务，如果执行成功完成，则返回成功，否则返回错误并触发并回滚更改。 工作流引擎是任务分配
chat with RTX 痛苦折腾
我的配置是12700H + 3070ti(laptop) + 32G RAM 刚好踩到了官方建议要求的边边，遂发布后不久便安装体验 截止2024年2月21日凌晨，依然没能成功地跑起来 ------------------------------------------------------------------------------------------------------------