Python
TFRecord文件训练速度调优
TFRecord文件训练速度调优 问题描述： 背景： tfrecord文件由spark生成： 大约有90个特征，其中有int型、string型、单值序列型、多值序列型（保存时拍平为一维列表了，读取时指定二维维度 解析时使用tfrecorddataset进行解析 训练时将使用fit()接口，将tfrecorddataset传入 tensorflow版本：2.6.0
消息队列 RabbitMQ
发布者：生产者，消息的发送方。连接：网络连接。Channel：信道，多路复用连接中的一条独立的双向数据流通道。Exchange：交换器（路由器），负责消息的路由到相应队列。类型：direct、fanout、topicBinding：队列与交换器间的关联绑定。消费者将关注的队列绑定到指定交换器上，以便Exchange能准确分发消息到指定队列。Queue：队列，消息的缓冲存储区。Virtual Hos
Python爬虫-IP隐藏技术与代理爬取
在进行爬虫程序开发和运行时，常常会遇到目标网站的反爬虫机制，最常见的就是IP封禁，这时需要使用IP隐藏技术和代理爬取。 一、IP隐藏技术 IP隐藏技术，即伪装IP地址，使得爬虫请求的IP地址不被目标网站识别为爬虫。通过IP隐藏技术，可以有效地绕过目标网站对于特定IP地址的限制。 1. 随机User-Agent User-Agent是指客户端程序请求时发送给服务器的字符串信息，通常包含当
ubuntu16.04安装cuda8.0+python3.6+pytorch1.0.0
1.安装cuda 1.1 查看ubuntu的英伟达显卡驱动 得到 驱动版本是384.130，比较老，所以需要下载旧版本的cuda 1.2 查看显卡是否支持CUDA计算 结果是支持: 可以继续 1.3 安装cuda 通过上表可得到支持安装cuda 8.0，安装如下 安装完毕后，通过如下命令查看cuda版本信息 2.安装pytorch 1.打开pytorch官网 这里只有最新的cud
Python 压缩文件夹
Python 压缩文件夹 生成测试文件夹 可以先使用该脚本生成测试文件夹，也可以直接用自己的文件夹 压缩文件夹 可以传递绝对路径和相对路径 测试环境是windows和python3.6 运行 测试目录结构 生成出的压缩包
Python3 JSON 数据解析
JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。 Python3 中可以使用 json 模块来对 JSON 数据进行编解码，它包含了两个函数： json.dumps(): 对数据进行编码。 json.loads(): 对数据进行解码。 在 json 的编解码过程中，Python 的原始类型与 json 类型会相互转换，具体的
day六-Python之路 - 面向对象学习
Python之路,Day6 - 面向对象学习 本节内容： 面向对象编程介绍 为什么要用面向对象进行开发？ 面向对象的特性：封装、继承、多态 类、方法、 引子 你现在是一家游戏公司的开发人员，现在需要你开发一款叫做<人狗大战>的游戏，你就思考呀，人狗作战，那至少需要2个角色，一个是人， 一个是狗，且人和狗都有不同的技能，比如人拿棍打狗， 狗可以咬人，怎么描述这种不同的角色和他们的功能
【GIS】栅格转面报错：ERROR 000864输入栅格: 输入不在定义的属性域内。 ERROR 000863: 无效的 GP 数据类型
问题: 栅格转面(矢量)时,ArcGIS窗口显示:ERROR 000864输入栅格: 输入不在定义的属性域内。 ERROR 000863: 无效的 GP 数据类型. 原因: 栅格转面时输入的栅格数据集的字段必须是整型. 解决办法: &n
利用WordCloud和jieba生成词云图（也叫文字云）
Python生成词云的常用库「wordcloud」。安装： pip install wordcloud wordcloud默认是为了英文文本来做词云的，如果需要制作中文文本词云，就需要先对中文进行分词。这里就需要用到中文分词库「jieba」。安装：pip install jieba 把WordCloud（）里的mask去掉，就会生成指定大小
starlette,pydantic与fastapi框架关系
Python的类型提示type hints Pydantic是一个基于Python 类型提示来定义数据验证，序列化和文档(使用JSON 模式)库 Starlette 是一种轻量级的ASGI 框架/工具包，是构建高性能Asyncio服务的理想选择 starlette 官网
day七-Python之路 - 面向对象学习编程进阶
Python之路，Day7 - 面向对象编程进阶 本节内容： 面向对象高级语法部分 经典类vs新式类 静态方法、类方法、属性方法 类的特殊方法 反射 异常处理 Socket开发基础 作业：开发一个支持多用户在线的FTP程序 面向对象高级语法部分 经典类vs新式类 把下面代码用python2 和python3都执行一下 #_*_coding:utf-8_*_ &
python3 pip3 安装python-ldap失败
pip3安装时提示 ERROR: Could not build wheels for python-ldap, uWSGI, M2Crypto, which is required to install pyproject.toml-based projects ERROR: Could not build wheels for uWSGI, which is required to insta
分布式实时通信—DDS概述
https://blog.yanjingang.com/?p=6716 分布式实时通信—DDS概述 DDS最早应用在美国海军系统，目前已广泛应用于军工、机器人、自动驾驶等领域，国际主流军工厂商、ROS2操作系统等均将DDS作为其控制系统的核心中间件，为各类战舰、机器人等提供可靠、高实时的分布式通信功能。今天就带大家一起了解一下。 目录 隐藏 一、概述 1.协议组成
Python的License授权机制
* python脚本很难应用于收费工具领域。那么如果我想对一个Python工具的使用加以限制，有没有什么方法可以实现呢？本文提供一种简易的License授权机制实现思路，它主要包括如下几部分内容： -如何生成一个加密的License文件。 -如何做License内容核验。 -如何加密Python代码。 其主要流程逻辑如下： 一、引题
【深度学习】修改jupyter记事本的内核
问题描述 在使用 juypter 记事本执行 ipynb 文件时，默认使用的内核是 Python3 如果这个环境不包含我们所使用的库，比如 pytorch 的库，当我们的代码中调用 pytorch 的一些库方法时，如下面的代码： 此时执行就会报错，会提示找不到对应的模块： 因为环境中没有torch库，所以发生了报错 要解决这个问题，我们需要往 jupyter 中添加内核，添加以后切换到对应的内
Python3 XML 解析
常见的 XML 编程接口有 DOM 和 SAX，这两种接口处理 XML 文件的方式不同，当然使用场合也不同。 Python 有三种方法解析 XML，SAX，DOM，以及 ElementTree: 1.SAX (simple API for XML ) Python 标准库包含 SAX 解析器，SAX 用事件驱动模型，通过在解析 XML 的过程中触发一个个的事件并调用用户定义的回调函数来处理 XML
《Hello算法》笔记2数据结构
逻辑结构 逻辑结构揭示了数据元素之间的逻辑关系。 线性数据结构：数组、链表、栈、队列、哈希表。 非线性数据结构：树、堆、图、哈希表。 线性结构：数组、链表、队列、栈、哈希表，元素之间是一对一的顺序关系。 树形结构：树、堆、哈希表，元素之间是一对多的关系。 网状结构：图，元素之间是多对多的关系。 物理结构 连续与离散 在算法运行过程中，相关数据都存储在内存中。系
11-ansible配置和使用
ansible配置和使用 ansible配置信息 ansible安装方式 使用yum安装 需要先安装一个epel-release包，然后再安装 ansible： 使用apt安装 见离线网页文件 ansible应用结构 安装目录如下： 配置文件目录：/etc/ansible；包括ansible.cfg、hosts等 执行文件目录：/usr/bin lib库依赖目录：/usr/lib/python2
10-ansible介绍
ansible的介绍 ansible简介 ansible是什么？ ansible是自动化运维工具，实现了系统批量配置、批量部署和批量执行命令等功能 ansible特点 部署简单，只需在主控端部署Ansible环境，被控端无需做任何操作； 默认使用SSH协议对设备进行管理； 有大量常规运维操作模块，可实现日常绝大部分操作； 配置简单、功能强大、扩展性强； 支持API及自定义模块，可通过Python
【Python】python 中 infinity(inf-无穷)
inf python中的正无穷或负无穷 无穷的表示 使用float("inf")或float("-inf")来表示。 注意： 写成：float("inf")，float("INF")或者float('Inf')都是可以的。 无穷相关的比较 当涉及 > 和 < 比较时： 所有数都比无穷小float("-inf")大，所有数都比无穷大float("inf")小。 相等
python中JSON数据处理
python和json数据类型对应关系 Python JSON dictionary object list array string string int,float number boolean(True,False) boolean(true,false) None null 需要注意的是，Python支持一些JSON不支持的数据类型，如元组（tupl
bilibili B站：从零开始学Makefile - 原作者笔记
@font-face { font-family: octicons-link; src: url("data:font/woff;charset=utf-8;base64,d09GRgABAAAAAAZwABAAAAAACFQAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABEU0lHAAAGaAAAAAgAAAAIAAAAAUdTVUIAAAZcAAAACgAAAAoAAQAAT
权限控制(ACL、RBAC)、admin后台管理
一、ACL 访问控制列表 1、ACL（访问控制列表）的权限控制：(针对互联网用户的产品) 用户表 id name password 1 zhangsan 123 权限表 id user_id 权限 1 1 评论权限 2 1 发抖音权限
bilibili B站：从零开始学Makefile - 原作者笔记Markdown风格
视频摘自B站：https://www.bilibili.com/video/BV1Bv4y1J7QT 笔记摘自：https://gitee.com/yanmu_ym/cpp
【Leetcode】解题报告Day1~Day2
解题报告 Day1 1. 2235.两数之和 给你两个整数 num1 和 num2，返回这两个整数的和。 示例 1： 示例 2： 提示： -100 <= num1, num2 <= 100 初次解 通过 2. 1929.数组串联 给你一个长度为 n 的整数数组 nums 。请你构建一个长度为 2n 的答案数组 ans ，数组下标 从 0 开始计数 ，对于所有 0 <=
《White-Box Transformers via Sparse Rate Reduction》论文学习
一、Introduction 近年来，深度学习在处理大量高维多模态数据方面取得了巨大的实证成功。其中很大一部分成功归功于对数据分布的有效学习，然后将分布转化为简洁的结构化和紧凑的表示形式，这有助于许多下游任务（例如视觉、分类、识别和分割以及生成。为此，已提出和实践了许多模型和方法，每种方法都有其优点和局限性。 在这里，我们对几种流行的方法进行简要介绍，作为我们在这项工作中寻求完整理解和统一的背景。
通过pandas读取xls文件系统提示：no engine？
大家好，我是皮皮。 一、前言 前几天在Python最强王者群【wen】问了一个Python自动化办公的问题，一起来看看吧。 通过pandas读取xls文件（pd.read_excel）系统提示：no engine for filetyppe xls，请问应该如何处理呢？ 二、实现过程 后来【隔壁😼山楂】给了一个思路，如下所示： 顺利地解决了粉丝的问题。 三、总结 大家好，我是皮皮。这篇文章主要盘
Mac 电脑 m2 在终端怎么把python3加入环境变量
首先获得python3安装路径： 然后编辑 bash_profile 文件 在insert模式下 将python3路径写入 esc,然后:wq,保存并推出。 设置python3为默认： 在命令行输入：