Python
flink状态和容错
flink状态与容错 容错:在服务器出现问题的情况下，还可以保证数据不丢失(在出错误的情况下，还能保证一个数据只被处理一次) checkpoint 为了保证flink的容错，需要为状态添加checkpoint(检查点)。checkpoint使得flink能够恢复状态和在流中的位置，从而向应用提供和无故障执行时一样的语义。 前提条件 Flink的checkpoint机制会和持久化存储进行交互，读写流
【爬虫软件】2024小红书对标账号作品批量采集！
一、背景介绍 1.1 爬取目标 用python开发的爬虫采集软件，可自动按指定博主抓取该博主已发布笔记。 为什么有了源码还开发界面软件呢？方便不懂编程代码的小白用户使用，无需安装python，无需改代码，双击打开即用！ 软件界面截图: 爬取结果截图： 结果截图1: 结果截图2: 结果截图3: 以上。 1.2 演示视频 软件使用演示： 见原文 1.3 软件说明 几点重要说明： 以上。 二、代
初探富文本之基于虚拟滚动的大型文档性能优化方案
初探富文本之基于虚拟滚动的大型文档性能优化方案 虚拟滚动是一种优化长列表性能的技术，其通过按需渲染列表项来提高浏览器运行效率。具体来说，虚拟滚动只渲染用户浏览器视口部分的文档数据，而不是整个文档结构，其核心实现根据可见区域高度和容器的滚动位置计算出需要渲染的列表项，同时不渲染额外的视图内容。虚拟滚动的优势在于可以大大减少DOM操作，从而降低渲染时间和内存占用，解决页面加载慢、卡顿等问题，改善用户体
pycharm 连接服务器
三个主要关系：本地文件，远程文件，远程解释器 pycharm 连接服务器为了什么：使用linux环境，和服务器资源 step0：建立ssh连接 通过Tools -> Deployment -> Configuration来配置SSH连接 勾选sftp，否则后期传不上去文件 step1：配置解释器 steeing -> Project
【安全性测试】突破sign签名校验实现请求重放
对于安全性较高的网站，通常会用到sign签名来实现多重验证，常见的有： sign对加密密钥验证（后面会介绍）通过sign对请求重放验证（该文章重点介绍sign请求重放验证）在渗透测试中，重放数据包是非常重要的测试条件，大多数功能都需要通过重放来测试，像爆破、sql注入、篡改参数实现越权等等；而开发者通常采用的限制方法就是禁止请求重放 有些网站每次请求通过增加随机nonce请求头来校验
Udacity Self-Driving Car Engineer Nanodegree model-predictive-control 构建和运行
拉取代码 使用git拉取代码git clone https://gitcode.com/DhruvaKumar/model-predictive-control.git 安装部分依赖 更新软件源，安装依赖库、执行清理依赖项 安装uWebSockets 执行model-predictive-control里的install-ubuntu.sh安装uWebSockets 安装Ipopt and Cp
100页2秒？我们为什么需要这样的文档解析速度
近期，TextIn通用文档解析完成最新一版产品迭代，将100页文档解析速度提升至最快2秒以内。 P50（百页） P90（百页） P95（百页） P99（百页） 平均（单页） TextIn 1.46s 1.75s 2.07s 2.62s 0.015s 表格中“P50”
python对excel文件中指定表格的指定列数据进行去重复操作。
import pandas as pd # 读取Excel文件 df_all = pd.read_excel('域名管理系统.xlsx', sheet_name=None, engine='openpyxl') # 确保'01流水'表存在 if '01流水' in df_all: # 提取第1列第2行至第1000行的数据并去重 df_two = df_all['01流水']
做软件测试需要懂代码吗？
随着大数据、机器学习时代的到来，不少人有了“测试不需要懂代码，那我就试试”的想法。这就引发了一系列疑问：不懂代码可以做测试吗？测试人员到底需不需要懂代码？测试人员需要写代码吗？ 其实，在软件测试初级阶段，测试人员确实不需要懂代码。但如果想要追求月薪20k、30k，接口、自动化等是避免不了的，这就必然涉及到了代码层面。 正如《mob编程指南》的作者Llewellyn Falco回应“QA工程师应该学
DASCTF X HDCTF 2024 公开赛｜生而无畏战_pwn部分wp
剩下一个不会写。😭等复现了。 来签个到吧 分析 程序很简单，给了一个栈地址，然后是格式化字符串漏洞，不过是向数据段输入，随后立即exit。 执行完printf后，程序是调用了_exit，它不会触发io相关的函数，直接syscall退出。 思路 改_exit的got表为main函数地址，可以达到多次格式化字符串的目的，之后便随便打了，我选择的改prinrtf的got表为one_gadget。
BUUCTF-Misc(91-100)
[MRCTF2020]CyberPunk 运行一下，他说2020.9.17才开始 然后改一下系统时间 就拿到flag [安洵杯 2019]Attack 找到了一个 formost分离一下，在压缩包找到了 然后在导出对象发现了 lsass是windows系统的一个进程，用于本地安全和登陆策略 然后用mimikatz去获取这个密码 拿到密码解压 [UTCTF2020]basic
史上最全Docker教程，从容器发展史到实操演练(一）
前言：今天我们所说的容器是一种 IT 技术。容器其实是一种沙盒技术。顾名思义，沙盒就是能够像一个集装箱一样，把你的应用装起来。这样，应用与应用之间就有了边界而不会相互干扰;同时装在沙盒里面的应用，也可以很方便的被搬来搬去，这也是 PaaS 想要的最理想的状态(可移植性,标准化,隔离性)。容器是软件工业上的集装箱的技术，装箱的标准化，减少了包装成本，大大提高货物运输和装卸效率，是传统运输行业的重大变
编译欧拉系统失败——报错完整代码
apple@ubuntu: /home/apple/test/demo $ oebuild update 2024-06-02 19:28:09,965 - INFO - Fetching into /home/apple/test/demo/src/yocto-meta-openeuler ... 2024-06-02 19:28:11,662 - INFO - Fetching into
fastapi 实现HTTP访问
1.概述 在使用python 时，我如何发布一个接口给外部访问, python 有 FASTAPI 和 uvicorn 实现,fastapi 是定义 api接口，uvicorn 运行服务器。 2.安装依赖 3.定义接口 3.1 快速上手 3.2 get 定义参数 其中 Query(None) 表示参数可以不填，Query(...) 表示参数必填 3.3 post form 参数 这种是 p
【Python】生成html文档-使用dominate
dominate 简介 dominate是一个使用优雅的DOM API创建和操作HTML文档的Python库。使用它能非常简洁地编写纯Python的HTML页面，这消除了学习另一种模板语言的需要，利用Python更强大的特性。 首先安装依赖： 1个简单的小例： 生成的Html 源码 如下： 效果： 分解： dominat
[ Python ] 常用运算符对应的魔法方法
Python中的运算符丰富多样，它们可以分为多个类别，包括算术运算符、比较运算符、逻辑运算符、位运算符、身份运算符、成员运算符等。每个运算符都有其对应的魔法方法（也称为特殊方法或dunder方法，即双下划线方法），这些方法在特定情况下会被Python调用来实现运算符的行为。下面是一些常见运算符及其对应的魔法方法： 算术运算符 + 加法：__add__(self, other) - 减法：__s
2024年6月--发奋图强
是什么让我有了学习的动力,一个是我不想打王者了,一个是最近时间比较多,其实就是时间变多了 最近时间,工作上确实没有比较硬的骨头,不必像以前一样啃VB,啃C#,找很多代码来看,很怀念以前的这种模式:找各种代码过来学习,每次看到一个新的功能就会如获致宝,觉得自己进步了,而最近一年,除了解决一些工作问题,基本没有自主学习. 最近身体好像也在走下坡路,腿跑一会就会酸,吃了饭总有痰想咳嗽,感觉应
python 执行js 代码 一些库
在 Python 中执行 JavaScript 代码，有几种常见的方法和库可以使用： PyExecJS: 这是一个直接在 Python 中执行 JavaScript 代码的库。它支持多个 JavaScript 运行时（如 Node.js、PhantomJS、JScript 等）。 PyNode: 这是一个更专门用于集成 Node.js 与 Python 的库。 Subprocess
牛客周赛 Round 3
D 游游的矩阵权值 题目描述 游游定义一个矩阵权值为：每一对相邻元素之和的总和。 例如，对于矩阵： 1 2 3 4 它的权值是(1+2)+(1+3)+(2+4)+(3+4)=3+4+6+7=20。 游游希望你构造一个(n*n)的矩阵，矩阵中的元素为1到(n^2)且每个数恰好出现一次。她希望最终矩阵的权值尽可能大。你能帮帮她吗？由于矩阵可能过大，你不需要输出最终的矩阵，只需要输出这个最大权值即可。答
.NET程序对接 OpenTelemetry logs
OpenTelemetry 简介 OpenTelemetry 是一个由 CNCF（Cloud Native Computing Foundation）托管的开源项目，旨在为观察性（Observability）提供一套全面的工具，包括度量（Metrics）、日志（Logs）和追踪（Traces）。它的目标是为所有类型的遥测数据提供一种标准化的方法。 OpenTelemetry 提供了一套 API
matplotlib 绘图 笔记
中文乱码问题 解决中文乱码的参考链接, 有可能需要改一些配置文件 https://blog.csdn.net/weixin_44424296/article/details/115433307 ### 常用参数#### 常见颜色参数:(color) 基础颜色: 蓝-'b' 青-'c' 黑-'k' 绿-'g' 紫-'m' 白-'w' 红-'r' 黄-'y' 也可以使用RGB色, 如
LitCTF 2024 -- WP
Team 队伍名：青春ctf少年想要爱上密码公主 成员：miaoaixuan mumu666 H1mW1ll nyyyddddn 解题情况： Misc 涐贪恋和伱、甾―⑺dé毎兮毎秒 你说得对，但__ 二维码分离出压缩包，压缩包里的二维码碎片拼图得到flag 原铁，启动！ 参考 flag{good_gamer} Everywhere We Go 盯帧珍珠
下载Android源码
下载Android源码做Android有5、6年了，最近才明白要多学习、多积累、多总结、多记录，不积跬步无以至千里，不积小流无以成江海，只有始终走在前沿，才不会被淘汰Android源码下载并不难，网上很多资料，如如上是我结合网上资料和实践找到的两个比较靠谱和正式的教程网站，本来使用AOSP网站中的步骤也是可以的，但目前如果无法FQ的话无法访问相关链接，因此使用AOSP镜像网站进行源码下载因为只是下
信号量（Semaphore），事件Event(了解)，队列补充，进程池和线程池（重点），协程理论，Greenlet，Gevent模块，asynico模块
Ⅰ 信号量（Semaphore） 【一】什么是信号量 信号量Semahpore（同线程一样） 互斥锁 ： 允许在同一时刻只能有一个线程或进程同资源进行修改 信号量 ： 允许指定数量的进程或线程对资源进行修改 【二】例子 比如厕所有3个坑，那最多只允许3个人上厕所，后面的人只能等里面有人出来了才能再进去 互斥锁 对整个厕所进行加锁，对一个坑进行加锁 ---> 每一次只能一个人用 信号量
pwn学习-ret2libc
昨天学习了re2syscall，该方法主要是系统中没有system()函数，也没有/bin/sh字符串，一般该二进制程序使用static link静态链接，可以找到很多的gadget，我们可以利用这些gadget进行系统调用 但是在动态链接时，gadget就变少了，也是同样的没有system()函数，这时我们需要在函数动态绑定的libc中找，例如经常使用的system、/bin/sh字符串，简单的
nero linux install soft
sudo apt install build-essential cmake gdb git vim binutils-doc cpp-doc gcc-11-locales gcc-11-doc manpages-dev autoconf autoconf-doc automake libtool libtool-doc bison bison-doc gcc-doc gdb-doc gdbser
复现CISCN Reverse的收获
androidso_ez 静态分析 1、当有时候代码很长的时候，想自己猜猜加密含义时，可喂给chatgpt一试 2、Rot13，以前也经常见，可就是没有仔细看看，虽然很简单，但可以了解了解偏移量，喂给Cyberchef会更省事些 Rot13，顾名思义一般情况下偏移13，如下 当代码块中的13改为16，即为偏移16，对于偏移13:chrot13(rot13(ch))而对于偏移16:chrot16
Aqua 专为自动化测试打造的IDE
JetBrains是一家全球知名的软件开发公司，他们公司推出的IDE几乎是编程语言的首选，IntelliJ IDEA 之于Java，PyCharm之于Python，以及GoLand之于go等。 5月24号JetBrains官方宣布Aqua正式公开发布，这是一款专门针对自动化测试打造的IDE。 对于一名自动化测试的工程师，对于这些语言和工具再并不陌生。 Aqua下载地址：https://www.j