Python
Python第二天学习笔记
昨日知识复习 1.什么是编程语言：编程语言是人与计算机沟通的介质 2.什么是编程：编程就是用计算机编写一大堆的文件 3.为什么要编程：奴役计算机，解放劳动力 4.计算机五大组成部分 1.CPU 1.控制器：控制硬件 2.运算器：进行逻辑运算和算术运算 2.内存 1.优点：速度快 2.缺点：断电即消失 3.外存： 1.优点：容量大，永久储存 2.缺点：
LlamaIndex中的CustomLLM（本地加载模型）
LlamaIndex 中接口基本上调用的是 OpenAI，如果想想调用自定义模型可以吗？答案当然是可以的。经过查找找到了自定义大语言模型的简单抽象基类 class CustomLLM(LLM)。 一.CustomLLM(LLM) 源码 只要子类必须实现 __init__、_complete、_stream_complete 和 metadata 方法即可。 class Custo
LlamaIndex中的CustomLLM（在线加载模型）
一.使用 Flask 将模型封装为 REST 接口 主要是将 complete()和 stream_complete()方法封装为 REST 接口，如下所示： from flask import Flask, request, jsonifyfrom transformers import AutoTokenize
PyTorch中的nn.LeakyReLU()、nn.Module和nn.ModuleList
一.nn.LeakyReLU()函数 在 PyTorch 中，nn.LeakyReLU() 是一个激活函数，用于引入非线性性到神经网络中。Leaky ReLU 是修正线性单元（ReLU）的一种变体，它在输入为负数时不是完全置零，而是引入一个小的负斜率。nn.LeakyReLU() 的初始化参数如下： negative_slope（默认为 0.01）：负斜率，指定当输入为负数时的斜率值。通常设
LLM模型的generate和chat函数区别
在 Hugging Face 的 transformers 库中，GPT（Generative Pre-trained Transformer）类的模型有两个常用的生成文本的方法：generate 和 chat。这两个方法在使用上有一些区别。通常公司发布的 LLM 模型会有一个基础版本，还会有一个 Chat 版本。比如，Qwen-7B（基础版本）和 Qwen-7B-Chat（Chat 版本）。
18.Mock 工具与定制化
Mitmproxy 简介 mitmproxy：交互式的命令行工具 注意：不支持 windows mitmweb：基于浏览器的界面交互工具 mitmdump：简单的终端输出，可以编写强大的插件和脚本 官方网站：https://mitmproxy.org/ https://docs.mitmproxy.org/stable/ Mitmproxy 安装  
PyTorch中的Eager模式
在 PyTorch 中，"Eager Execution"（即即时执行模式）是指一种动态图计算模式，其中每个操作都立即被执行，而不是被先放入计算图中。这与静态图计算框架（如 TensorFlow 的早期版本）的工作方式不同。在即时执行模式中，你可以像使用 NumPy 一样进行操作，逐步构建计算图，方便调试和交互。 一. Eager Execution 基本概念 1. 即时计算 在 Eage
TorchDynamo 原理和示例
TorchDynamo 是一个设计用于加速未修改的 PyTorch 程序的 Python 级即时（JIT）编译器。它通过 Python Frame Evaluation Hooks（Python 框架评估钩子）来实现这一目标，以便在运行时动态地生成和优化代码。这使得 TorchDynamo 可以有效地处理各种 Python 代码，包括包含控制流（如循环和条件语句）的代码，而无需进行任何修改。
FX图中的节点代表什么操作
在 FX 图中，每个节点代表一个操作。这些操作可以是函数调用、方法调用、模块实例调用，也可以是 torch.nn.Module 实例的调用。每个节点都对应一个调用站点，如运算符、方法和模块。 一.节点操作 下面是一些节点可能代表的操作： 1. 函数调用 例如，torch.add(x, y)会被表示为一个调用torch.add函数的节点。 2. 方法调用 例如，x.add(y)会被表
PyTorch中的FX图
一.FX 图介绍 FX 图是 PyTorch 中的一个主要数据结构，用于在 FX 中间表示（Intermediate Representation，IR）中表示程序。FX 图由一系列节点组成，每个节点代表调用站点（比如运算符、方法和模块）。 FX 图的主要目标是提供一种方式来转换和优化 PyTorch 模型。通过将模型表示为 FX 图，用户可以更轻松地进行各种转换，例如设备移动（例如，将模
PyTorch中的AOTAutograd、PrimTorch和TorchInductor
一.PyTorch 中的 AOTAutograd 在 PyTorch 中，AOTAutograd 是一个先进的功能，它是 Ahead-Of-Time (AOT) Autograd 的缩写。这是一种新的自动微分方法，它在编译时而不是运行时计算梯度。这使得它可以更有效地处理大型计算图。以下是一些关于 AOTAutograd 的论文： "TorchProbe: Fuzzing Dynamic De
python面向对象之单例模式的使用
单例模式 单例模式(Singleton Pattern)是一种常用的软件设计模式,该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中，某个类只能出现一个实例时，单例对象就能派上用场。 比如，某个程序的配置信息存放在一个文件中，客户端通过一个Appconfig 的类来读取配置文件的信息。如果在程序运行期间，有很多地方都在使用配置文件的内容，也就说，很多地方都需要创建Appc
1.7 - 命名空间与作用域
1.7.1 命名空间 命名空间（NameSpace）是一个从名称到对象的映射。大部分命名空间由 字典 实现，内置命名空间由 builtins 模块实现。命名空间之间是独立的，避免了命名冲突。 1.7.2 命名空间的分类 1）内置命名空间 包含所有Python内置对象的名称，在 解释器启动时 创建，持续到解释器终止。被所有的Python文件
使用 pytorch-lightning
在用 PyTorch 训练不同模型时，需要编写很多重复的逻辑。一个工程的代码无可避免地变得越来越长，难以管理。PyTorch Lightning 作为一个对 PyTorch 二次封装的框架，能让训练逻辑的编写像堆积木一样秩序井然。 虽然叫做 lightning，这个库的学习成本并低。好在一但熟悉，就能享受到很多便利。 安装 使用类似下面的指令安装 PyTorch Lightning。 完成后就可
Django 源码(三)-应用 & 中间件 & 配置文件
Django 源码(三)-应用 & 中间件 & 配置文件 本部分主要是在为程序启动时候加载应用以及中间件的信息； 1. 应用的加载 在程序启动的部分，我们分析到程序执行的时候都会执行一个setup()函数，相关的内容可以看之前的章节的部分； 1.1 源码逐步分析 下面我们将逐步分析函数populate 被调用的 create 函数 app_config_class 为每个子
SciTech-BigDataAIML-NLP- 分词之 BPE | WordPiece | Unigram | SentencePiece 以及 sentencepiece原理与实践
BERT，XLNET分词方法bpe，wordpiece, unigram, sentencepiece 等介绍 https://blog.csdn.net/ganxiwu9686/article/details/111463211 先给结论： BERT使用的是wordpiece的 分词方法，XLNET和transformer-xl使用的是sentencepiece的切分方法。 NLP分词的形式越来
python面向对象之类的内置方法
【引入】 Python的Class机制内置了很多特殊的方法来帮助使用者高度定制自己的类 这些内置方法都是以双下划线开头和结尾的，会在满足某种条件时自动触发 【一】__init__()和__new__() __new__方法是真正的类构造方法，用于产生实例化对象（空属性）。重写__new__方法可以控制对象的产生过程。 __init__方法是初始化方法，负责对实例化对象进行属性值初始化，此
fastapi项目 08-持久化APScheduler
前言 在上一篇的中，我们写到可以根据APScheduler第三方库，创建定时任务，但是主程序直接创建完后，定时任务只是存在内存中，如果重启启动主程序，那么我们创建的任务就会消失，需要重新创建，这显然是不行的。我们需要的是不管程序是否启动，我们创建的任务都存在，而不会被删除。于是我们就引入了持久化APScheduler。 1. 持久化APScheduler APScheduler 有四种组件，分别是
在VS code 中执行python文件查询路径是上级目录的问题
在VS code 中执行python文件查询路径是上级目录的问题 问题描述： 获取当前目录： 输出的是当前目录的父目录。 解决方法: python插件设置。 run code插件设置。 第一步，python插件 打开设置Python插件的运行，搜索 python.terminal.executeInFileDir 打勾。 参考： https://blog.csdn.net/aoeryul
flask session 伪造
flask session 伪造 一、session的作用 由于http协议是一个无状态的协议，也就是说同一个用户第一次请求和第二次请求是完全没有关系的，但是现在的网站基本上有登录使用的功能，这就要求必须实现有状态，而session机制实现的就是这个功能。用户第一次请求后，将产生的状态信息保存在session中，这时可以把session当做一个容器，它保存了正在使用的所有用户的状态信息；这段状态
【动手学深度学习_李沐】笔记：(四）深度学习计算
【四、深度学习计算】笔记 1. 层和块 速度极快的 GPU 可能要等到 CPU 运⾏ Python 代码后才能运⾏另⼀个作业，提⾼ Python 速度的最好⽅法是完全避免使⽤ Python。Gluon 允许混合式编程（hybridization），Python 解释器在第⼀次调⽤块时执⾏它，Gluon 运⾏时记录正在发⽣的事情，以及下⼀次它将对 Python 调⽤加速，从而加快速度，但需要注意控
《痞子衡嵌入式半月刊》 第 89 期
痞子衡嵌入式半月刊： 第 89 期 这里分享嵌入式领域有用有趣的项目/工具以及一些热点新闻，农历年分二十四节气，希望在每个交节之日准时发布一期。 本期刊是开源项目（GitHub: JayHeng/pzh-mcu-bi-weekly），欢迎提交 issue，投稿或推荐你知道的嵌入式那些事儿。 上期回顾 ：《痞子衡嵌入式半月刊： 第 88 期》 唠两句 历史上的今天：1982年1月14日，中国成功完
ICMP流量—CTFGHUB技能树
简介 ICMP（ Internet Control Message Protocol）互联网控制消息协议，和IP一层，但ICMP使用时必须增加IP报头。属于网络层协议，它用于TCP/IP 网络中发送控制消息，用于在IP主机、路由器之间传递控制消息。控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。这些控制消息虽然并不传输用户数据，但是对于用户数据的传递起着重要的作用。通过这些信息
java中数组和字符串
数组 数组的简单声明并且赋值 字符串 字符串里面就是一个一个的字符； 字符又是一个一个的字节 字符串里面就是一个一个的字符； 如何表示双引号 -需要使用转义 字符串拼接 判断字符串是否相等 equals 判断两个字符串内容是否相等忽略大小写 字符串的比较 字符串比较大小实际上是比较：ASCII编码 字符串是怎么比较的 字符串的截取 - substring[) 将字符串
使用 Python 和 Pygame 制作游戏：第一章到第五章
第一章：安装 Python 和 Pygame 原文：inventwithpython.com/pygame/chapter1.html 译者：飞龙 协议：CC BY-NC-SA 4.0 开始之前您应该知道的事情 在阅读本书之前，如果您了解一些 Python 编程知识（或者知道如何使用 Python 之外的其他语言进行编程），可能会有所帮助；但是即使您没有，您仍然可以阅读本书。编程并不像人们想象
使用 Python 和 Pygame 制作游戏：第六章到第八章
第六章：贪吃虫 原文：inventwithpython.com/pygame/chapter6.html 译者：飞龙 协议：CC BY-NC-SA 4.0 如何玩贪吃虫 贪吃虫是 Nibbles 的克隆。玩家开始控制一个不断在屏幕上移动的短蠕虫。玩家无法停止或减慢蠕虫，但他们可以控制它转向的方向。红苹果随机出现在屏幕上，玩家必须移动蠕虫以使其
使用 Python 和 Pygame 制作游戏：第九章到第十章
第九章：推星星 原文：inventwithpython.com/pygame/chapter9.html 译者：飞龙 协议：CC BY-NC-SA 4.0 如何玩推星星 推星星是 Sokoban 或“箱子推动者”的克隆。玩家位于一个房间，里面有几颗星星。房间中的一些瓷砖精灵上有星星标