Python
京东商品信息爬虫程序：策略与实践
京东探索 京东案例 目标：爬取京东前三页商品数据，利用协程 思路： 爬取动态网站，首先分析接口链接，对比什么参数该变，什么参数可以不变。 原则：尽量与原链接相同，即使不加某个参数能访问，但也尽量能加上就加上，因为服务器可能会识别出来进行投毒（不封禁IP，而是将错误数据给你） 构建headers 常用的有refer（源网址）、origin（源网址）、authority（身份标识）、Cook
QT中调用python中的函数
1. 创建py文件例如 名为“python_script.py”的python文件： 2. Qt的pro文件中包含python 的头文件和库 3. 包含<Python.h>头文件调用相关函数调用 4.运行结果： 需要注意的几点： 1. 编译时会报slots冲突，将python头文件中对应的slots名
python C API常用函数介绍
Python C API 提供了一组函数和宏，允许开发者在C或C++代码中与Python解释器进行交互。以下是一些常用的 Python C API 函数和宏： 1. **初始化和结束 Python 解释器**： - `Py_Initialize()`：初始化 Python 解释器。 - `Py_Finalize()`：结束 Python 解释器。 -`Py_SetProgramNam(co
Linux应急响应——知攻善防应急靶场-Linux(1)
目录查看history历史指令查看开机自启动项异常连接和端口异常进程定时任务异常服务日志分析账户排查总结 靶场出处是知攻善防 Linux应急响应靶机 1 前景需要： 小王急匆匆地找到小张，小王说"李哥，我dev服务器被黑了",快救救我！！ 挑战内容： 黑客的IP地址 遗留下的三个flag 开机后桌面找到题解脚本，终端运行起来即可。 题目如下： 按照自己的思路看能找到多少个flag 查看his
生成扩散模型漫谈（二）：DDPM = 自回归式VAE
在文章《生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼》中，我们为生成扩散模型DDPM构建了“拆楼-建楼”的通俗类比，并且借助该类比完整地推导了生成扩散模型DDPM的理论形式。在该文章中，我们还指出DDPM本质上已经不是传统的扩散模型了，它更多的是一个变分自编码器VAE，实际上DDPM的原论文中也是将它按照VAE的思路进行推导的。 所以，本文就从VAE的角度来重新介绍一版DDPM，同时分享一
数字化时代的数据管理：多样化数据库选型指南
非常感谢Kevin和张健对本文提供的建议和指导。 1. 概述 在数字化时代，数据是企业最宝贵的资产之一。随着技术的进步和数据量的爆炸性增长，如何有效地存储、管理和分析这些数据成为每个企业面临的重大挑战。数据库作为数据管理的核心技术，其选型对于系统至关重要。传统的关系型数据库（RDBMS）以其严格的ACID事务、优秀的一致性和安全性在企业应用中占据了长久的统治地位。然而，随着互联网、大数据和云计算的
python使用flask框架生成excle返回前端（包含图片、表格、表头灰色、表格加边框）
python使用flask框架生成excle文档，文档中包含图片和表格，其中表格要包含图片、表格、表头灰色、表格加边框，照片和表格不重叠。 逻辑：获得图片的高度，根据高度计算表格从第几行开始插入。 效果图： 代码： import openpyxl from openpyxl.styles import PatternFill from openpyxl.drawing.image impo
AMS 326 - Numerical Analysis
AMS 326 - Numerical Analysis Summer 2024 Course Description: This course provides a comprehensive introduction to numerical a
大模型如何提升训练效率
一、问题背景 随着AIGC领域的兴起，各大厂商都在训练和推出自研的大模型结构，并结合业务进行落地和推广。在大模型分布式训练场景中，主流的主要是基于英伟达GPU进行训练（如A100），如何有效地压榨GPU的计算能力，提升训练效率，降低训练成本，是一个非常重要的实践优化问题。 1.1 直接目标 最直接地目标就是提升GPU使用率，充分发挥GPU的计算潜力，以加快模型训练。包括调整 Batch 大小以提供
Open-Sora1.2环境搭建&推理测试
引子 前阵子写了一篇Open-Sora1.0环境搭建&推理测试（Open-Sora1.0环境搭建&推理测试_自己搭建sora服务-CSDN博客，感兴趣的童鞋，请移步）。Open-Sora1.1发布的时候，撇了一眼新闻。后面一转头，忘记这个事情了。无意间翻到其开源网站上，发现2024.6.17发布1.2版本了，那还是过来看看有什么长足的进步吧，呦呵，现在支持720P 高清视频，质量
python+anaconda环境搭建
一：下载安装 1、安装anaconda anaconda官网 2、安装pycharm pycharm官网 二：配置环境 1、找到anaconda安装位置 在系统环境变量中添加如下信息 打开DOS框，输入conda --version,出现如下信息说明配置成功 三：创建虚拟环境 1、打开DOS框；输入（name表示自己虚拟环境的名称；version表示需要安装的python版本） cond
bulldog_1 提权
一、环境 攻击机（kali） 靶机（ubuntu） 二、信息打点 1、确认目标机器以及端口收集 使用fscan工具进行测试 ./fscan -h 192.168.2.0/24 发现目标开放了80和8080端口，然后就是正常的去访问一下 打开之后都是这个页面，然后对这个页面的功能点进行点击，发现没啥有用的信息 2、尝试目录扫描 三、渗透测试 发现存在登陆的接口，一个一个尝试访问，看看有没有什么
turtle绘制五星红旗
import turtle #背景色 turtle.bgcolor('red') turtle.color('yellow') #画笔颜色 turtle.fillcolor('yellow') #填充色 turtle.up() turtle.goto(-600,180) turtle.down() #主星 turtle.begin_fill() #开始着色 for i in range(5
2024春秋杯 stdout
考点：文件，setvbuf缓冲区，ret2syscall，ret2csu 题目给了libc文件。 main函数和vlun函数存在明显的栈溢出 解1 直接从main跳到vuln，然后写了got地址、libc地址，ret2libc收工。 然后老是泄露不出来。。。 原因是setvbuf设置了stdout全缓冲： setvbuf函数，它有三种mode： 也就是说，要想使缓冲区的got地址打印出来，
调用智谱清言的图像识别接口
github地址：https://github.com/LLM-Red-Team/glm-free-api 1.docker 来取镜像并部署 拉取镜像 docker部署 查看服务实时日志 重启服务 停止服务 Docker-compose部署 2.接口调用 demo 代码（图像识别 ）  
利用Python进行数据分析PDF下载经典数据分享推荐
本书由Python pandas项目创始人Wes McKinney亲笔撰写，详细介绍利用Python进行操作、处理、清洗和规整数据等方面的具体细节和基本要点。第2版针对Python 3.6进行全面修订和更新，涵盖新版的pandas、NumPy、IPython和Jupyter，并增加大量实际案例，可以帮助你高效解决一系列数据分析问题。 利用Python进行数据分析PDF下载 文章主要介绍了Pytho
pypi 私有源搭建
背景 搭建流程，使用k8s 方式来部署集群 Dockerfile (官方python:3.9-slim 基础镜像即可，CMD命令即是无账号密码访问私有源) deployment 配置文件 service 配置文件 ingress 配置文件准备
Python Pycharm
1.Ubuntu安装报错 ModuleNotFoundError: No module named 'distutils.util' 解决: sudo apt install python3.9-distutils
变分自编码器（四）：一步到位的聚类方案
由于VAE中既有编码器又有解码器（生成器），同时隐变量分布又被近似编码为标准正态分布，因此VAE既是一个生成模型，又是一个特征提取器。在图像领域中，由于VAE生成的图片偏模糊，因此大家通常更关心VAE作为图像特征提取器的作用。提取特征都是为了下一步的任务准备的，而下一步的任务可能有很多，比如分类、聚类等。本文来关心“聚类”这个任务。 一般来说，用AE或者VAE做聚类都是分步来进行的，即先训练一个普
细水长flow之f-VAEs：Glow与VAEs的联姻
这篇文章是我们前几天挂到arxiv上的论文的中文版。在这篇论文中，我们给出了结合流模型（如前面介绍的Glow）和变分自编码器的一种思路，称之为f-VAEs。理论可以证明f-VAEs是囊括流模型和变分自编码器的更一般的框架，而实验表明相比于原始的Glow模型，f-VAEs收敛更快，并且能在更小的网络规模下达到同样的生成效果。原文地址：《f-VAEs: Improve VAEs with Condi
从变分编码、信息瓶颈到正态分布：论遗忘的重要性
这是一篇“散文”，我们来谈一下有着千丝万缕联系的三个东西：变分自编码器、信息瓶颈、正态分布。 众所周知，变分自编码器是一个很经典的生成模型，但实际上它有着超越生成模型的含义；而对于信息瓶颈，大家也许相对陌生一些，然而事实上信息瓶颈在去年也热闹了一阵子；至于正态分布，那就不用说了，它几乎跟所有机器学习领域都有或多或少的联系。 那么，当它们三个碰撞在一块时，又有什么样的故事可说呢？它们跟“遗忘”又有什
变分自编码器（五）：VAE + BN = 更好的VAE
本文我们继续之前的变分自编码器系列，分析一下如何防止NLP中的VAE模型出现“KL散度消失（KL Vanishing）”现象。本文受到参考文献是ACL 2020的论文《A Batch Normalized Inference Network Keeps the KL Vanishing Away》的启发，并自行做了进一步的完善。 值得一提的是，本文最后得到的方案还是颇为简洁的——只需往编码输出加入
变分自编码器（七）：球面上的VAE（vMF-VAE）
在《变分自编码器（五）：VAE + BN = 更好的VAE》中，我们讲到了NLP中训练VAE时常见的KL散度消失现象，并且提到了通过BN来使得KL散度项有一个正的下界，从而保证KL散度项不会消失。事实上，早在2018年的时候，就有类似思想的工作就被提出了，它们是通过在VAE中改用新的先验分布和后验分布，来使得KL散度项有一个正的下界。 该思路出现在2018年的两篇相近的论文中，分别是《Hypers
python logger 使用技巧集锦
1. 简单使用 2. 为所有 logger 设置 level 2.1. 使用 disable 2.2. 使用 root 设置 root 的 logger 会影响到所有继承的 logger（基本代表了所有的 logger）。 2.3. 参考 Set global minimum logging level across all loggers in Python/Django - Sta
Jenkins：批量自动将 Maven 类型 Job 迁移到自由风格类型
为什么要迁移？ 近期进行 Jenkins 从 1.X 到 2.X 的升级演练Jenkins2 最新版本只能在 JDK8 或 JDK11 版本下运行，我所使用的 JDK 版本为 JDK8在构建 Maven Job，Job 配置的 JDK 版本为 JDK7 时，构建报错 $ /usr/local/java/bin/java -cp /data/jenkins/maven31-agent.jar:/us
AI Agent技术的最新进展与改变世界的典型项目巡礼
AI Agent技术的最新进展与改变世界的典型项目巡礼 1. AI Agent 技术发展以及典型项目 1.0 前 AI Agent 时代 在学术探索的浩瀚星空中，机器人技术领域的璀璨明珠莫过于Agent技术的深入研究，这一领域历来是创新与突破的温床。回溯至大模型浪潮兴起之前，Agent技术的辉煌篇章便已悄然铺展，诸如Alphago这样的里程碑式案例，以其卓越的环境感知、精准决策与高效行动能力，生
doc转docx（java-python）
本文功能借助 python实现的doc转docx,调研了一下开源的工具或者类库转换效果不理想，所以选择python 1. /resources/convert.py(py文件放到resources下) 2. java相关代码-installPythonPackage 3. java相关代码-convertDocToDocx 4. Doc2