Python
绕过TLS:akamai指纹护盾
1. 前言 在之前的项目中，发现一些网站使用不同的客户端会得到不同的结果，比如使用浏览器访问正常没问题，但使用python写脚本或者curl请求就会被拦截，当时也尝试数据包1:1还原，但还是不能解决。 测试指纹拦截站点：https://ascii2d.net 最近拜读了师傅的文章《绕过 Cloudflare 指纹护盾》，很有感触，感觉之前遇到的应该就是这个问题；之前写爬虫遇到类似这种指纹护盾（反爬
Python asyncore socket客户端开发基本使用
导读 asyncore库是python的一个标准库，提供了以异步的方式写入套接字服务的客户端和服务器的基础结构，这篇文章主要介绍了Python asyncore socket客户端开发基本使用,需要的朋友可以参考下 介绍 asyncore库是python的一个标准库，提供了以异步的方式写入套接字服务的客户端和服务器的基础结构。操作网络的时候可以直接使用socket等底层的库，但是asy
SSH客户端常用工具SecureCRT操作
1.1 SecureCRT工具介绍 SecureCRT是一款支持SSH（SSH1和SSH2）协议的终端仿真软件，常被用来运行于Windows下远程登录UNIX或Linux服务器。 SecureCRT软件功能强大，不仅仅支持SSH协议，同时还支持Telnet、RLogin、Serial和TAPI等协议，它有非常多的功能，这里就不一一介绍了，常用功能可见下文介绍。 与SecureCRT类似功能的SSH
Python多线程爬虫简单模板
多线程爬虫的流程可以大致分为： （1）获取种子URL：从初始URL中抓取起始页面，解析其中的URL，并将这些URL添加到未访问的URL队列中； （2）解析下载的网页：从URL队列中取出一个URL，下载其内容，解析其中的链接，并把新的链接放入未访问的URL队列中； （3）存储爬取的数据：从URL队列中取出未访问的URL，把其中的内容存储在本地或者数据库中。 多线程爬虫的优点有： （1）抓取速度快，可
Linux下搭建Python2.7环境
Python(英语发音:/ˈpaɪθən/), 是一种面向对象、解释型计算机程序设计语言，由1989年底发明。python具有简单、易学、免费、开源、可移植性、解释性、可嵌入性等特点，是一种不受局限、跨平台的开源编程语言，它功能强大且简单易学，因而得到了广泛应用和支持。 1.Python下载 Python下载 地址: http://www.python.org/getit/ 版本: P
【Python】Beautiful Soup
简介 Beautiful Soup 对象 我全部使用soup表示； Beautiful Soup 简介： 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。 1、创建Beautiful Soup 对象 1.1 soup.prettify() 该方法是将html进行格式化，输出的内容就是格式化后的html代码。 1.2 soup.标签名 1.3 s
Python爬虫如何实现HTTP网络请求
1、通过urllib.requests模块实现发送请求并读取网页内容的简单示例如下： #导入模块 import urllib.request #打开需要爬取的网页 response = urllib.request.urlopen('http://www.baidu.com') #读取网页代码 html = response.read() #打印读取的内容 print(html) 结果： b
python 创建虚拟环境以及数据迁移和.Django创建app
一.python创建虚拟环境 1.1首先要确认在那个位置创建虚拟环境 创建命令 二.python数据迁移 三.Django创建app python manage.py startapp APP名称 创建app的条件,在文件目录下面必须要有manage.py文件.
(亲自实践）python OpenCV已经安装但是import cv2的方法不能用
最近在学习验证码图片识别，安装完pip install opencv-python之后，发现导入的方法命令有底纹,也就是不能使用 解决方案如下： 找到安装python的路径，安装完opencv-python后，在site-packages下会有cv2的文件夹， 将cv2文件夹下后缀名pyd的文件复制到site-packages下，复制复制复制
ERROR: Could not find a version that satisfies the requirement cv2 (from versions: none)
现象 导入cv2时，报如下的错误 解决方案 win+R打开命令行，输入 pip install opencv-python ，下载opencv，等待下载完成即可。下载有点慢，耐心等待一下。 出来混总是要还的
TVM 中的 Profiler 设计
一、基本用法 首先看 Profiler 的用法： 二、前端接口设计 其中 Profiler 类的设计是绑定和映射到了 C++ 端的接口上。Profile 提供了 Context 语义，支持 with 语句。 其中 enter 调用时会执行 ProfilerEnterWithScope 其负责往一个 Stack 式的结构中添加一个 Profiler 对象： 在退出 with 语句时，调用 ex
爬虫JS逆向其实挺简单
JS逆向爬虫是指通过分析网站的JavaScript代码，模拟浏览器行为，从而获取网站数据的一种方式。下面是一个JS逆向爬虫的案例： 1、分析目标网站的JavaScript代码，找到数据请求的URL和参数。 2、使用Python的Requests库发送模拟的HTTP请求，携带必要的参数。 3、解析返回的数据，提取需要的信息。 4、如果需要模拟登录，可以使用Selenium模拟浏览器登录，然后再进行数
不同的编程语言中使用管道pipe(或者说链式调用)
目录终端语言(如bash,zsh)一般有管道符|pythonjavascriptrubymathematicac#c++scala 3 终端语言(如bash,zsh)一般有管道符| python javascript ruby TIO mathematica TIO c# TIO c++ TIO scala 3 ATO
Vulhub 漏洞学习之：Gitlab
Vulhub 漏洞学习之：Gitlab 目录Vulhub 漏洞学习之：Gitlab1 GitLab 任意文件读取漏洞（CVE-2016-9086）1.1 环境安装1.2 漏洞利用过程2 GitLab 远程命令执行漏洞（CVE-2021-22205）2.1 环境安装2.2 漏洞利用过程2.2.1 脚本复现2.2.2 手动复现 1 GitLab 任意文件读取漏洞（CVE-2016-9086） GitL
Python爬虫零基础教学第一天
Python爬虫高级开发/大数据抓取/从入门到精通/商业项目实战（1） 开始时间2023-05-05 22:02:26 结束时间2023-05-06 01:09:52 一、DNS DNS 域名系统（英文：Domain Name System，缩写：DNS）是互联网的一项服务。它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便地访问互
四、文件属性，用户管理，权限体系，正则式
1.文件属性 1.1文件属性概述 ls -lhi 每一列的含义 1.2 inode与block cat oldboy.txt 与lnode block 一个非空的文件 inode：文件的属性信息 block：文件的内容（文件是实体） 概念 说明 特点 inode（索引节点） 存放文件的属性信息（大小，权限，时间，连接数），存放文件block的位
SOPHONSDK3.0.0 使用
1.开发环境 VMware安装教程：https://www.cnblogs.com/fuzongle/p/12760193.html 相关镜像下载：https://mirrors.bfsu.edu.cn/# 2.材料准备： (X86环境) SDK：SOPHONSDK 3.0.0（https://developer.sophgo.com/site/index/material/22/all.htm
docker安装openldap
项目地址 https://github.com/osixia/docker-openldap 服务器安装 获取相关镜像 部署 -v /data/openldap/ldap:/var/lib/ldap：将数据持久化到本地 其中 -p 389:389 TCP/IP访问端口，-p 636:636 SSL连接端口。 –name your_ldap 自行设置容器名称 –network brid
python异步爬虫
异步爬虫 基础知识 阻塞 阻塞状态指程序未得到所需计算资源时被挂起的状态。程序在等待某个操作完成期间，自身无法继续干别的事情，则该程序在操作上是阻塞的。 常见的阻塞形式有：网络I/O阻塞、磁盘I/O阻塞、用户输入阻塞等。阻塞是无处不在的，包括在CPU切换上下文时，所有进程都无法真正干事情，它们也会被阻塞。在多核CPU的情况下，正在执行上下文切换操作的核不可被利用 非阻塞 程序在等
小D-新版接口自动化教程- http 请求 Requests 实战
# -*- coding: UTF-8 -*- import requests response = requests.get("https://www.baidu.com") print(response.text)
numpy.empty—返回给定形状和类型的未初始化新数组
语法格式 numpy.empty(shape, dtype=float, order='C', *, like=None) 参数解释： shape: 空数组的形状 dtype: 数据类型 order: 在内存中以行("C")或列("F")顺序存储多维数据，默认为"C" 返回未初始化(任意)数据给定形状，dtype，和顺序的数组 注意：与numpy.zer
Rabbitmq 介绍 、安装、基于Queue实现生产者消费者模型、基本使用、消息安全之ack、durable持久化、利用闲置消费、发布订阅、发布订阅高级之Royting(按关键字匹配)、Topic关键字模糊匹配、基于rabbitmq实现rpc
师承老刘llnb 一、消息队列介绍 1.1介绍 消息队列就是基础数据结构中的“先进先出”的一种数据机构。想一下，生活中买东西，需要排队，先排的人先买消费，就是典型的“先进先出” 1.2MQ解决什么问题 MQ是一直存在，不过随着微服务架构的流行，成了解决微服务之间问题的常用工具。 应用解耦 以电商应用为例，应用中有订单系统、库存系统、物流系统、支付系统。用户创建订单后，如果耦合调用库存系统、物流系
opencv简单使用
.blogpost-body h2 { font-size: 28px; font-weight: bold; height: 37px; border-bottom: 3px solid rgba(0, 0, 0, 1); padding-top: 0.3cm } h3 { background: linear-gradient(90deg, rgba(42, 92, 170, 1) 0, rg
cryptohack wp day(3)
第二节模运算----第一题（ GCD ） 在做这道题前，了解下欧几里得算法： 欧几里得算法，也叫辗转相除法，用于求解两个非负整数a和b的最大公约数（Greatest Common Divisor, GCD），即能够同时整除它们的最大正整数。 算法的基本思想是，通过不断求解a和b的余数的最大公约数，最终可以得到a和b的最大公约数。 具体地，设r为a除以b的余数，则有： a = bq + r 其中，
解决烦人的Mac设定
关闭macOS的系统完整性保护（SIP） 进入恢复模式(Recovery)（按住Command+R然后开机）里面的终端（上方工具栏-实用工具-终端） 输入 csrutil disable 重启进入macOS 允许所有来源的开发者 sudo spctl --master-disable 关闭系统更新提醒红点 在终端输入 defaul