Python

爬虫实战:从HTTP请求获取数据解析社区

在过去的实践中,我们通常通过爬取HTML网页来解析并提取所需数据,然而这只是一种方法。另一种更为直接的方式是通过发送HTTP请求来获取数据。考虑到大多数常见服务商的数据都是通过HTTP接口封装的,因此我们今天的讨论主题是如何通过调用接口来获取所需数据。 目前来看,大多数的http接口数据都采用restful风格,通常使用JSON格式来发送和接收数据。对于那些对此不太了解的零基础学者,建议先学习相关

python 循环语句

真值表 | 对象/常量 | 值 | |-----------|----------| | True | True | | False | False | | 0 | False | | 0.0 | False | | None | False | | [] | False | |

090_Numpy-Python的科学计算库

目录什么是NumpyN维数组-ndarrayndarray与Python原生list运算效率对比生成数组正态分布和均匀分布切片和形状修改类型修改和数组去重ndarray运算矩阵和向量矩阵向量加法和标量乘法矩阵向量乘法矩阵乘法矩阵乘法的性质逆、转置数组间运算 什么是Numpy N维数组-ndarray ndarray与Python原生list运算效率对比 生成数组 正态分布和均匀分布

TCP基本语法

TCP基础程序 Client Sever TCP循环发消息 Client Sever

Scoket层

Scoket层 Scoket层在应用层和传输层之间 一、什么是socket Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口 在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面 对用户来说,一组简单的接口就是全部,让Socket去组织数据,以符合指定的协议。 二、套接字发展史及分类 套接字起源于 20 世

商汤xtuner微调教程(搬运工,在官方文档讲述的很好)

怎么说呢,祝大家炼丹愉快吧~ 😙 1 概述 1.1 XTuner 一个大语言模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。 1.2 支持的开源LLM (2023.11.01) InternLM ✅ Llama,Llama2 ChatGLM2,ChatGLM3 Qwen Baichuan,Baichuan2 ...... Zephyr 1.3 特色 🤓 傻瓜化: 以

Thrift安装

本文演示ubuntu20.04下安装Thrift并配置CPP和Python3的使用环境 官方教程链接: Ubuntu/Debian https://thrift.apache.org/docs/install/debian.html install,Building From Source https://thrift.apache.org/docs/BuildingFromSource 安装好

Python爬虫实战系列4:天眼查公司工商信息采集

Python爬虫实战系列1:博客园cnblogs热门新闻采集 Python爬虫实战系列2:虎嗅网24小时热门新闻采集 Python爬虫实战系列3:今日BBNews编程新闻采集 Python爬虫实战系列4:天眼查公司工商信息采集 一、分析页面 打开天眼查网址 https://www.tianyancha.com/ ,随便搜索一个公司【比亚迪】 查看地址栏URL变化,由https://www.tia

在.NET程序中整合微软的Playwright,用于自动化 Web 浏览器的测试和操作

Playwright 是一个由 Microsoft 开发的开源工具,用于自动化 Web 浏览器的测试和操作。它提供了一种跨浏览器、跨平台的自动化解决方案,可以在 Chromium、Firefox 和 WebKit(Safari)等多种浏览器上进行测试和操作。本篇随笔介绍Playwright的一些特点,以及能够完成的工作,并总结一些使用 Playwright 的最佳实践和技巧供参考。 1)使用 P

LeetCode 1028. Recover a Tree From Preorder Traversal

原题链接在这里:https://leetcode.com/problems/recover-a-tree-from-preorder-traversal/description/ 题目: We run a preorder depth-first search (DFS) on the root of a binary tree. At each node

【GUI界面软件】快手评论区采集:自动采集10000多条,含二级评论、展开评论!

目录一、背景说明1.1 效果演示1.2 演示视频1.3 软件说明二、代码讲解2.1 爬虫采集模块2.2 软件界面模块2.3 日志模块三、获取源码及软件 一、背景说明 1.1 效果演示 您好!我是@马哥python说,一名10年程序猿。 我用python开发了一个爬虫采集软件,可自动抓取快手评论数据,并且含二级评论! 为什么有了源码还开发界面软件呢?方便不懂编程代码的小白用户使用,无需安装pytho

python从列表中随机取多个值

python从列表中随机取多个值 import random​my_list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]s_list = random.sample(my_list, 3)​# 上面的示例表示从my_list中随机取三个值,并形成列表。# 需要注意的是,取值数量大于列表长度或列表为空时,sample() 方法会抛出 ValueError 异常。  

安全沙箱的资料

Java 官方文档 JavaSE platform security architecture 类 BasicPermission 类 AudioPermission 类 AWTPermission 类 AuthPermission 类 SSLPermission 类 SerializablePermission 类 SQLPermission 类 RuntimePermission 类 Net

2024-03-20:用go语言,自 01背包问世之后,小 A 对此深感兴趣。 一天,小 A 去远游,却发现他的背包不同于 01 背包,他的物品大致可分为 k 组。 每组中的物品只能选择1件,现在他想

2024-03-20:用go语言,自 01背包问世之后,小 A 对此深感兴趣。 一天,小 A 去远游,却发现他的背包不同于 01 背包,他的物品大致可分为 k 组。 每组中的物品只能选择1件,现在他想知道最大的利用价值是多少? 答案2024-03-20: 来自左程云。 灵捷3.5 大体步骤如下: 1.定义常量 MAXN 和 MAXM,分别表示物品数量和背包容量的最大值。 2.声明一个二维数组 ar

iLogtail 2.0 来了;通义灵码下载量破百万丨阿里云云原生 2 月产品月报

云原生月度动态 云原生是企业数字创新的最短路径。 《阿里云云原生每月动态》,从趋势热点、产品新功能、服务客户、开源与开发者动态等方面,为企业提供数字化的路径与指南。 趋势热点 🥇 云原生可观测团队获选「InfoQ 年度技术内容贡献奖」 近期,知名技术媒体 InfoQ 结合广大开发者和技术社群的实际反馈,评选出「InfoQ 年度技术内容贡献奖」,以表彰推动业界知识分享的卓越贡献者。其中,「

DataFrame数据转为IO文件流

用于网页后端导出excel时,响应数据类型设置为stream pandas Writing Excel files to memory

aardio教程三) 元表、元方法

前言 还有个迭代器,基础语法基本已经说完了,后面想到啥再补充,之后的教程会从以下方面来讲: 基础库的使用,比如string、table等 基础控件的使用,比如listview、tab等 aardio和Python交互,比如给Python写个界面 自带的范例程序 我写的一些小程序 当然,我的理解也是很基础的,特别是在界面设计上,我都是用的默认控件的默认设置,不会去自定义控件内容。要想做出特别炫酷

博客园博客批量备份/转移到个人网站

鉴于有些小伙伴在寻找博客园迁移到个人博客的方案,本人针对博客园实现了一个自动备份脚本,可以快速将博客园中自己的文章备份成Markdown格式的独立文件,备份后的md文件可以直接放入到hexo博客中,快速生成自己的站点,而不需要自己逐篇文章迁移,提高了备份文章的效率。 首先第一步将博客园主题替换为codinglife默认主题,第二步登录到自己的博客园后台,然后选择博客备份,备份所有的随笔文章,

Python基于Excel生成矢量图层及属性表信息:ArcPy

  本文介绍基于Python中ArcPy模块,读取Excel表格数据并生成带有属性表的矢量要素图层,同时配置该图层的坐标系的方法。 1 任务需求   首先,我们来明确一下本文所需实现的需求。   现有一个记录北京市部分PM2.5浓度监测站点信息的Excel表格数据,格式为.xls;文件内包含站点编号、X与Y坐标、站点名称等四列数据,部分数据如下所示。   我们需要将该表格文件中所记录的全部站点信

Python函数每日一讲10 - int()

引言 在Python编程中,经常需要将数据从一种类型转换为另一种类型。int()函数是Python中用于将其他数据类型转换为整数类型的内置函数之一。通过本文的介绍,你将了解int()函数的基本用法和常见应用场景,帮助你更好地处理数据类型转换的需求。 语句概览 int()函数用于将指定的值转换为整数类型。其基本语法如下: x参数是需要转换为整数的值,可以是数字、字符串或其他可转换为整数的对象。

快速上手App自动化测试利器,Toast原理解析及操作实例

简介 Toast 是一种轻量级的消息提示,常常以小弹框的形式出现,一般出现 1 到 2 秒会自动消失,可以出现在屏幕上中下任意位置。 Toast具有如下的特点: 无法被点击,不同于 Dialog,永远不会获得焦点。 Toast 显示的时间有限,Toast 会根据用户设置的显示时间后自动消失 是系统级别的控件,属于系统 settings Toast 的思想:尽可能不引人注意,同时还向用户显示信息

webui自动化框架-playwright

playwright中文文档 Playwright 为现代 web 应用提供了跨浏览器、快速且可靠的端到端的测试能力。 | Playwright 中文文档 | Playwright 中文网 (bootcss.com) playwright安装 pip install playwright playwright-浏览器安装 playwright的nohead模式需要在本地安装浏览器的内核 playw

Python配置文件使用教程

在 Python 应用程序开发过程中,配置文件扮演着重要的角色。配置文件可以用来存储应用程序的各种设置、选项和参数,使得程序更加灵活和可配置。本文将介绍 Python 中如何使用配置文件,并提供一些常见的配置文件处理方法。 一、配置文件格式 常见的配置文件格式有多种,包括 INI 格式、JSON 格式、YAML 格式等。其中,INI 格式是一种简单且易于阅读和编辑的格式,通常用于存储简单的配置信

如何在Docker容器启动时自动运行脚本

本文分享自华为云社区《如何在Docker容器启动时自动运行脚本》,作者: 皮牙子抓饭。 如何在Docker容器启动时自动运行脚本 在使用Docker构建应用程序时,有时我们希望在启动Docker容器时自动执行一些脚本,以初始化应用程序或执行一些必要的操作。本文将介绍如何在Docker容器启动时自动运行脚本的方法。 1. 创建启动脚本 首先,我们需要编写一个启动脚本,该脚本包含我们想要在容器启动时执

Python打包成可执行文件(.exe)教程

在 Python 开发中,将 Python 脚本打包成可执行文件(.exe)是一种常见的需求。将 Python 代码打包成可执行文件可以使得程序在没有安装 Python 解释器的环境下运行,也方便程序的发布和分发。本文将介绍几种常见的方法来将 Python 代码打包成可执行文件。 一、pyinstaller pyinstaller 是一个流行的 Python 打包工具,可以将 Python 脚本

Python任务调度

在实际的软件开发过程中,经常会遇到需要定时执行某些任务的情况,例如定时备份数据、定时发送邮件等。Python 提供了多种方式来实现任务调度,本文将介绍几种常见的任务调度方法。 一、使用 sched 模块 Python 标准库中的 sched 模块提供了一个简单的任务调度器,可以用来在指定的时间执行任务。 二、使用 threading 模块 threading 模块可以用来创建线程,在线程中执行定

大模型推理框架 vLLM

vLLM是一个开源的大模型推理加速框架,通过PagedAttention高效地管理attention中缓存的张量,实现了比HuggingFace Transformers高14-24倍的吞吐量,就像在操作系统中管理CPU虚拟内存一样 NVIDIA FasterTransformer (FT) 是一个用于实现基于Transformer的神经网络推理的加速引擎。它包含Transformer块的高度优

做题是真快乐呀-【异或】136. 只出现一次的数字

题目:136. 只出现一次的数字 我的思路: 遍历一遍,做哈希映射。 再遍历一遍,找到结果为1的那个,就是答案 我的代码: class Solution: def singleNumber(self, nums: List[int]) -> int: dic = {} for i in nums: dic[i] = dic.

如何自己写一个Python库

一文搞懂如何自己写一个Python库 你是否有过疑问,通过pip安装的库都是如何编写的? 你是否曾想过为自己的Python项目编写一个库,以便在不同项目中重复使用代码?并且能在PyPI仓库中发布,并通过pip install 库名来安装使用 1.png   编写Python库可能看起来有些复杂,但实际上并非如此。本文将为你提供一份简明的指南,带你逐步了解如何编写自己的Python库。

<<  <  264  265  266  267  268  269  270  271  272  273  274  >  >>