Python
Python | import mmap模块详解（处理大文本）
如果现在有一个需求，我们需要处理一个20G的大文件，我们会怎么处理呢？思考下，我们需要怎么实现这个功能。 我们可能会这么实现： 这样虽然能实现，但是我们处理的时候需要消耗的资源和性能不是很友好，所以我们要优化，也就是使用mmap模块。 mmap是一种虚拟内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一映射关系。它省掉了内核态
C\C++的CUDA编程
模型处理的数据比较大的时候比较耗时，是时候学习一些CUDA编程了，这里是CC++语言下的，Python的话可以借助PyTorch。 1 环境搭建 Windows10 + VisualStudio 2022 + CUDA11.5 1.1 安装与下载 第一步，安装Visual Studio 第二步，安装对应版本的CUDA 查看安装是否成功 1.2 添加变量 1.2.1 系统变量 1.2.2 系
embed版python安装与配置PIP
1、下载 python-3.6.4-embed-amd64.zip，解压。 下载地址：https://www.python.org/downloads/windows/ 2、下载 get-pip.py ，下载地址 ： https://bootstrap.pypa.io 打开： https://bootst
app之抓取https包的配置
使用charles抓取HTTPS包 安卓7以上，将证书安装在系统级别，才能抓https的包。 安卓7以下，将证书安装在用户级别，就可以抓https的包。 安卓7以下（模拟器） 安卓7以上
API接口开发教程，高效获取京东拼多多商品详情数据，参考示例调用说明
商品详情API接口的作用和重要性主要体现在以下几个方面： 提供详细信息：商品详情API接口可以获取到商品的完整详细信息，包括商品名称、价格、图片、描述、规格、库存等。这些信息对于用户来说是购买决策的重要依据，帮助他们了解商品的特性和性能。 优化用户体验：通过商品详情API接口，开发者可以在自己的应用或网站中展示商品的详细信息，提供给用户更好的浏览和购买体验。用户可以通过查看
python pytest 参数化的几种方式
在pytest框架中，可以使用多种方式进行参数化测试。以下是一些常见的参数化方式及其示例： 使用@pytest.mark.parametrize装饰器：可以使用pytest提供的@pytest.mark.parametrize装饰器来指定参数化测试的参数。下面是一个示例： 在上面的示例中，通过给@pytest.mark.parametrize装饰器传递参数列表，每个参数列表都是一个参数化测
Python 转 Byte
Python 转 Byte: 详细介绍 Python 是流行的编程语言之一，拥有广泛的用途。在 Python 中，我们经常需要将数据从一种格式转换为另一种格式。其中一个转换的方式是将 Python 对象转换为字节数据，或者反过来。这篇文章将深入介绍 Python 转换为字节数据。 什么是 Byte? 在计算机科学中，字节是指由8个二进制位组成的数据单元。字节通常用于表示一些基本数据类型，如整数、字
LangChain：一个让你的LLM变得更强大的开源框架
前言 你可能听说过，最近几个月出现了很多人工智能的应用程序。你可能也在用一些这样的应用。 比如ChatPDF和CustomGPT AI这些AI工具，它们可以帮我们省去很多麻烦，我们不用再翻来覆去地看文档，就能找到想要的答案。它们让AI为我们做了很多工作。 那么，开发这些工具的人是怎么做到的呢？其实，他
python 网络编程基础
一、软件开发架构 1、B / S ： browser 浏览器 --------〉 server 2、C / S： client 客户端 --------〉 server 二、OSI 七层协议 1、OSI的七层协议 物理层（Physical Layer）：物理层负责传输比特流（0和1）的物理介质，例如电缆、光纤和无线电频谱。它处理与物理设备之间的电压、电流和光强度等相关的细
App自动化测试工具 - AirTest
App自动化测试工具 - AirTest 本次专题分享的系列目标 AriTest简介 AirTest能做什么 AirTest搭建方式 AirTestIDE工具下载 AirTestIDE安装步骤 AirTestIDE布局 AirTestIDE链接Android设备 远程设备连接 兼容模式 AirTest图像框架API 新建脚本类型选择 区别： Tips： 运行脚本 查看报告 元素操作方法 Tou
vulnhub-Hacksudo Thor
目标IP：192.168.1.108 攻击机：macOS + kali 混搭 信息收集 开放端口扫描 扫描结果 详细信息扫描 扫描结果 获得系统立足点 首先尝试从80端口入手 http://192.168.1.108/ 通过nmap详细扫描中可以看到存在一个后台地址可以访问 http://192.168.1.108/admin_login.php 尝试识别指纹但是并无发现 登录页面
LangChain入门指南
LangChain入门指南 故里_ 已于 2023-06-08 09:26:27 修改 19474 收藏 119 文章标签： 人工智能 于 2023-04-27 19:17:07 首次发布 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https:
Ubantu docker
首先拉一个镜像： sudo docker pull ubuntu :拉一个乌班图的镜像 如何使用这个镜像： sudo docker run -i -t ubuntu /bin/bash:这样就进入了乌班图的一个终端 输入ls可以查看目录： cd home 就是进入相应的home目录 exit 就是直接退出来 sudo docker ps :查询目前正在运行的所有容器 sudo docker ps
系统 | 绝对路径和相对路径
在文件读取时，有很多地方都会用到绝对路径与相对路径。如在需要文件作为输入、指定文件作为输出，还有一些中间文件，都会用到相对路径与绝对路径。 绝对路径 绝对路径是指目录下的绝对位置，直接到达目标位置，通常是从盘符开始的路径。完整的描述文件位置的路径就是绝对路径。 1、Linux下的绝对路径 绝对路径指的是从根目录 / 开始的完整路径。例如，/home/user/file.txt 就是一个绝对路径，表
Django自身提供测试类、工具-调研
Django自身提供测试类、工具 django.test.Client 他的作用是模拟客户端。提供一系列的方法，例如get、post、delete、login等其中login是用django自身的验证，特殊之处是实例化的Client可以拿到session、cookie【Client.cookies、Client.session】 SimpleTestCase 非数据库查询的 Transact
记一次python消费kafka进程持续消耗内存问题
前提：python写了一个kafka消费的脚本，脚本中消费kafka消息并将消费到的数据放在一个线程池中进行业务代码处理，使用supervisor管理这个脚本进程 遇到问题：这个进程占用的内存会越来越大，知道将机器内存消耗完 排查：网上找了一堆内存分析工具，好像都需要预埋代码，或者重新启动一个进程，全扯淡。 解决：读取kafka消息的代码添加一个计数器，没消费一个kafka消息加1，累计处理100
python计算降水距平
上一节计算了每月的平均降水量，现在要计算降水距平，算法是把每年每个月的降水量减去每月的平均降水量 数据分为两个excel 方法是把name和month作为key，pd.merge，再新增一列，两列做差 这两张表用两个dataframe存，把原excel的两个rain区分一下，变成rainA和rainB，然后name和month作为key，pd.merge 第一步：先合并
BigCode StarCoder系列模型
StarCoderBase HF: https://huggingface.co/bigcode/starcoderbase Training dataset: The Stack v1.2 Orchestration: bigcode/Megatron-LM Neural networks: PyTorch #Paramters: 15.5B #TrainingTokens: 1T #
WakaTime Readme Stats-开源项目翻译
寻找不同语言和地区的翻译 #23 Readme中添加了功能标志的开发指标🎌 📌✨眼前一亮的Readme统计数据 你是早起的🐤还是夜间的🦉？ 你一天中什么时候工作效率最高？ 你用什么语言编写代码？ 让我们在你的个人资料中查看一下readme! Report Bug
Twisted @defer.inlineCallbacks
@defer.inlineCallbacks 是 Twisted 框架中的一个装饰器，用于定义基于协程的异步函数。 在使用 Twisted 进行异步编程时，常见的方式是使用回调函数来处理异步操作的结果。但是使用回调函数可能会导致代码复杂、难以维护和阅读。因此，Twisted 提供了 @defer.inlineCallbacks 装饰器，通过将异步函数转化为协程的方式来改善异步代码的可读性和可维护性
关于系统监控和Go语言采集代码
在生产环境，有时候需要对系统的性能进行时时采集，可以预防问题的出现，比如CPU、内存、硬盘等硬件问题导致系统崩溃，在Linux下有以下命令。 CPU监控命令之top命令 概述： top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。下面详细介绍它的使用方法。 top是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果
Mercurial vs Git
Git Mercurial 实现 因为命令和代码仓结构日期提高地复杂度，Git可能需要花团队更多的时间适应。 更简单且更符合只觉得命令，可以帮助团队更快适应和使用。 分支管理 Git允许你在任何时候增删改查任意分支，同时不影响之前的commit。 需要对仓中所有关联文件重新作出变更 历史记录管理 Rollback, Cherry-pick, Rebase 一旦提交记录，除了