Python
Ansible-playbook剧本进阶
剧本高级特性篇 循环 在写 playbook 的时候发现了很多 task 都要重复引用某个相同的模块，比如一次启动10个服务，或者一次拷贝10个文件，如果按照传统的写法最少要写10次，这样会显得 playbook 很臃肿。 如果使用循环的方式来编写 playbook ，这样可以减少重复编写 task 带来的臃肿。 创建多个系统用户 需求，在nfs机器组中创建5个用户test1~5，且均设置密
如何将PyTorch模型迁移到昇腾平台
https://bbs.huaweicloud.com/blogs/399602?utm_source=cnblog&utm_medium=bbs-ex&utm_campaign=other&utm_content=content 如何将PyTorch模型迁移到昇腾平台 举报 昇腾CANN 发表于 2023/04/18 09:54:50
蒙特卡洛树搜索学习笔记
目录前言蒙特卡洛树搜索的适用范围蒙特卡洛树搜索的作用算法流程前置：蒙特卡洛方法流程算法的设计思路：具体流程：简单描述：选择（算法的核心）扩展模拟回溯优化使用估价函数选择要扩展的点，而不是完全随机适当剪枝拓展总结参考文献 前言 人工智能Alphago，成为最顶尖的围棋大师，不由得让人产生探索它背后的算法的兴趣。 在搜索空间巨大的围棋问题中，Alphago是通过什么算法能在较短的时间搜索每一个局面的（
添加代码运行登录注册页，并为其添加一些样式，和调用资源文件
使用 PyQt5(PySide2)+SQLAlchemy 做一个登录注册页（二） 本文将介绍自己用 PyQt5+SQLAlchemy 做的一个登录注册页，使用邮箱接收验证码，本文介绍是前后端未分离的实现方式，后续将出一个前后端分离的，你可以将 PyQt5 改为 PySide2 以获得更宽松的开源协议 本文由于涉及到的代码较多，将会是一个系列，会有多篇文章 系列文章索引 设计登录注册页面 添加代码
Python | json文件和jsonl文件
Python | json文件和jsonl文件 JSON 文件是使用 JSON（JavaScript Object Notation）格式存储数据的文件。它是一种结构化的文本格式，使用键值对的方式表示数据。 JSON 文件通常包含一个根对象，可以包含多个嵌套的对象、数组和基本数据类型。 而 JSONL 文件（JSON Lines），则是一种每行包含一个独立的 JSON 对象的文本文件格式。 每行都
C#/.NET/.NET Core优秀项目和框架2024年1月简报
前言 公众号每月定期推广和分享的C#/.NET/.NET Core优秀项目和框架（每周至少会推荐两个优秀的项目和框架当然节假日除外），公众号推文中有项目和框架的介绍、功能特点、使用方式以及部分功能截图等（打不开或者打开GitHub很慢的同学可以优先查看公众号推文，文末一定会附带项目和框架源码地址）。注意：排名不分先后，都是十分优秀的开源项目和框架，每周定期更新分享（欢迎关注公众号：追逐时光者，第一
CentOS系统实现PPT转图片
目前主流的实现方式为先将PPT转为PDF，再将PDF转成图片。 1、安装软件 centos安装imagemagick提示找不到，先执行命令： 然后安装： 2、安装字体 创建字体目录 然后将windows下的字体文件上传到此目录，执行命令使之生效 3、安装nodejs扩展ppt2png 编写脚本： 脚本代码： 执行脚本： 脚本
MPI Library for .Net
今天整点.Net。因为在某个业余小项目中，需要尽可能榨干硬件性能，以满足尽可能大的可访问数据范围。 发现在.Net中并行计算一般使用System.Threading.Task.Parallel，但实际开发中，似乎只能处理到1G左右的数据就会溢出，机器整个状态似乎只是在摸鱼。并且拥有多台物理机器的时候并不能共享计算资源。 第一步，将多线程的程序改为多进程+多线程。输入是一个文件路径列表，是一堆pd
详解如何在数仓中搭建细粒度容灾应用
本文分享自华为云社区《GaussDB(DWS)细粒度容灾使用介绍》，作者： 天蓝蓝。 1. 前言 适用版本：【8.2.1.210及以上】 当前数仓承载的客户业务越来越多，从而导致客户对于数仓的可靠性要求不断增加。尤其在金融领域，容灾备份机制是信息系统必须提供的能力之一。本文介绍了在云上环境的双集群(不跨Region不跨VPC)后台手动部署并使用细粒度容灾的主要步骤，使得用户能快速方便得搭建起细粒度
【OpenVINO™】在 Windows 上使用 OpenVINO™ C# API 部署 Yolov8-obb 实现任意方向的目标检测
前言 Ultralytics YOLOv8 基于深度学习和计算机视觉领域的尖端技术，在速度和准确性方面具有无与伦比的性能。其流线型设计使其适用于各种应用，并可轻松适应从边缘设备到云 API 等不同硬件平台。YOLOv8 OBB 模型是YOLOv8系列模型最新推出的任意方向的目标检测模型，可以检测任意方向的对象，大大提高了物体检测的精度。同时官方发布的模型已经支持 OpenVINO™ 部署工
论文解读：Cellpose在细胞分割领域的应用
细胞分割与Cellpose 基于显微镜图像的单细胞分析是目前生命科学领域的前沿和热点问题。细胞分割能对成像图片进行批量处理，将其形态、位置、RNA 表达和蛋白质表达等信息赋予识别出的每个细胞。比如： 对于多光子钙成像分析，需要识别出单个神经元，才能提取每个神经元的钙荧光信号，进行下游的处理和分析； 对于空间转录组分析，也需要分割细胞，将 RNA 的表达量赋予单个细胞； 对于医学诊断而言，通过细胞
钩子hook，回调函数callback
摘自和参考如下资料： 钩子（回调函数）与PyTorch - 知乎 (zhihu.com) 把钩子函数传递给触发函数，就可以在触发函数内调用钩子函数了。其实就是把函数指针或者函数名传给另一个函数。只不过一般不单独这么用，配合类一起用可能就稍微麻烦了点。 class Oneday(): def __init__(self,name): self.name_
面试官：Mysql千万级大表如何进行深度分页优化？
背景 假如有一张千万级的订单表，这张表没有采用分区分表，也没有使用ES等技术，分页查询进行到一定深度分页之后（比如1000万行后）查询比较缓慢，我们该如何进行优化？ 数据准备 订单表结构如下： 其中Mysql版本为8.0。我们使用Python脚本向表中插入2000万条数据。 问题复现 导出数据时我们需要按照时间倒序。所以我们先执行以下sql查询前100条 共花费210ms。执行计划如下：
pyqt编写的走迷宫游戏环境，python语言，exe文件可以成功运行Window10系统上
PS. 要注意，这个项目使用源码安装的方式无法成功运行，显示报错，尝试过多个python版本和pyqt的版本，估计是长期没有维护的原因，因此源码是无法运行的，但是exe的可执行文件（打包后的）是可以成功运行的。 github地址： https://github.com/HeLiangHIT/magic_maze pypi地址： https://pypi.org/project/magic-ma
CVE-2010-2883漏洞
CVE-2010-2883 Adobe Reader TTF 字体SING表栈溢出漏洞 1. 漏洞描述 Adobe Reader 和 Acrobat 都是美国奥多比（Adobe）公司的产品。Adobe Reader是一款免费的 PDF 文件阅读器，Acrobat 是一款 PDF 文件编辑和转换工具。基于 Window 和 Mac OS X 的 Adobe Reader 和 Acrobat 9.
在 Python 中通过读取 .env 文件获得环境变量
在编写 Python 脚本时，我们会使用一些私密数据，如调用 API 时使用的 token。为了避免隐私泄露，这些私密数据一般不直接写入脚本文件中。而是写入一个文件，并通过读取文件的方式获取私密数据内容。这个文件就是 .env 文件。 .env 文件中以环境变量的形式存储着我们的私密数据。比如： 引入所需的包： 在 Python 脚本中读取这些环境变量：
[python]: open(file) 文件读写（二） -- 读取文件，删除换行符（\n）
[python]: open(file) 文件读写（二） -- 读取文件，删除换行符（n） 一、说明 0、 操作系统： fedora37 1、 python版本： Python 3.11.7 2、
如何使用 Shebang
什么是 Shebang? 简单来说，就是你在脚本开头看到的这个： Shebang（也称为 hash-bang、pound-bang 或者 bang）是一个作为脚本文件中的第一行的特殊注释，它告诉系统用哪个解释器来执行脚本。Shebang 后面直接跟着解释器的绝对路径。 在上面的例子中，Shebang 指示系统使用 /usr/bin/bash 作为脚本的解释器。当我们使用如下的命令运行脚本时：
用pip安装paddle-gpu的坑坑洼洼 PreconditionNotMetError: The third-party dynamic library (cudnn64_8.dll) that Paddle depends on is not configured correctly. (error code is 126)（已解决！）
我根据这篇文章从零开始安装Paddle（含CUDA安装）_paddle cuda-CSDN博客 一步一步地操作 在win11系统 python3.12.0下根据电脑的配置安装了cuda11.6，安装了对应版本的cudnn v8.4.0(paddle官网给出的对应版本) （如果没有安装cuda和cudnn，是肯定会报错的） 并将其文件复制到了cuda对应文件夹中 但最终在验证阶段Py
李宏毅《机器学习》总结 - 2022 HW4（self-attention、transformer） Strong Baseline
到目前为止最轻松的作业 大概就是给一些（600个）人说的语音，让你判断测试集中的语音是谁说的 人的语音是一个 sequence，可以用 self-attention + FC 获得类别，这不就是 transformer 的 encoder 嘛！ 代码：https://colab.research.google.com/drive/18TTUpKwubAIiI_5JTbpOXB4afscbyOHn
Python命令行参数的解析
通常，我们运行 Python 项目或者脚本采用直接执行脚本的方式，但是 Python 作为一个脚本语言，在 Linux 中经常会结合 Shell 脚本使用，这个时候执行的 Python 脚本多半需要使用命令行参数传入一些变量，以更加灵活、动态地传递一些数据。 例如，运行命令： python argv.py 1 2 3 其中1 2 3就是传递给 argv.py 的命令行参数，也就是
Python 机器学习 K-近邻算法 常用距离度量方法
K-近邻（K-Nearest Neighbors，KNN）算法中，选择合适的距离度量是非常重要的，因为它决定了如何计算数据点之间的“相似性”。不同的距离度量可能会导致不同的KNN模型性能。选择哪种距离度量取决于数据的类型和问题的性质。可以通过交叉验证来比较不同距离度量对模型性能的影响，以选择最合适的一种。 1、欧几里得距离（Euclidean Distance） 距离的度量最常用的距离度量方法
近期的感想与2024年的计划
前言 2023年是我工作的第一年，到现在工作也有半年了，在工作的过程中有很多感悟，其中有关于技术的，也有关于为人处世的。首先是技术方面，工作半年也在不断地积攒经验，自己在团队协作中也有了一定的进步，知道了如何与人共同工作，技术提升上，做工程的经验也有了一定的进步，像git工具、docker也用的越来越熟练了，作为一名程序员，对技术的执念，多少还是有的，工作中大部分时间是在理清业务，然后编写业务
盘点一个Excel数据分割和explode()实战问题
大家好，我是皮皮。 一、前言 前几天在Python白银交流群【Jethro Shen】问了一个Pandas数据处理的问题。问题如下：各位大佬这种情况我怎么处理一下啊？标记的商品内容后后面的数量是一一对应的 想把它们铺开。 下面是他自己写的代码： 不过运行结果不是他想要的。 二、实现过程 后来【瑜亮老师】给了一个提示：先对两列执行split，然后再对两列explode，df = df.explo
龙蜥8.6 源码安装python3.12
闲来无事用虚拟机安装了一下龙蜥系统。 [root@localhost home]# cat /etc/*release* Anolis OS release 8.6 NAME="Anolis OS" VERSION="8.6" ID="anolis" ID_LIKE="rhel fedora centos" VERSION_ID="8.6" PLATFORM_ID="platfo
全方位解析大数据生态圈中最基础、最重要的组件 Hadoop
大数据概述 大数据这个概念近年来算是如火如荼，那什么是大数据呢？首先从名字来看，我们可以简单地认为数据量大，而数据量大也就意味着计算量大。这样理解本身是没有任何问题的，只不过这并不能很好的定义大数据。 而业界的一家权威的机构，针对大数据做了描述，认为大数据应该具备如下特征： 1）数据量（Volume）：数据量大，可以达到 TB、PB 甚至更高。而这种规模的数据，传统的数据库已经不好处理了，所以才