Python

使用python插入5000w数据到mysql

应用场景,数据库数据达到千万以后,做数据分析执行脚本开始变慢,所以用到clickhouse,先插入5000w数据测试 先安装pip支持mysql.connector,我安装的python3.11 pip3 install mysql-connector-python 再使用pip3 list查看是否安装成功 以下是mysql创建表语句 python代码如下:

转:设计模式之美

转自:https://juejin.cn/post/7123029355365662734 1. 概述 1.1 学习导读 本文是极客时间专栏《设计模式之美》的学习笔记,详情请看原文。 学习算法:是为了写出 高效 的代码; 学习设计模式:是为了写出 高质量 (可扩展、可读、可维护)的代码; 1.2 为什么学习设计模式 应对面试,算法、设计模式之类问题是常问题,有备无患。 告别烂代码,代码能力是一个

VulnHub-Bob: 1.0.1

靶机地址:https://www.vulnhub.com/entry/bob-101,226/ 目标:Your Goal is to get the flag in / 提示:Remember to look for hidden info/files 一、信息收集 1、主机及服务发现 1.1 主机扫描 使用arp-scan确定目标靶机(192.168.0.10) arp-scan -l

My First CRUD App With Fast API

Image by author It’s the day before my fast API live stream. I decided to create a guide for the stream and turn it into a blog post. So, here it is. Stream structure: Fast API vs Django Ins

vscode设置

更改插件安装模式: 用Portable 模式就是免安装模式,在和bin同级的目录下新建一个目录data,所有的配置文件和插件都会在这个目录里 如果不用portable模式,由于code默认只能找到c盘的插件位置,所以即使把插件位置改了也不行所以:可以这样:所以用Windows链接来解决  管理员权限打开cmd,利用mklink来创建目录符号链接把C:Users{username}.vsc

N77-Linux第二周作业

完成一个shell脚本,脚本的作用 1. 运行脚本可以显示出本机的ip地址 (1)脚本 (2)运行结果 2. 如果ip地址中有3这个数字,那么就打印出当前的系统时间 (1)脚本 (2) 运行结果 3.如果ip地址中不含3这个数字,就批量建立用户magedu_00, magedu_01, ... magedu_100并且所有用户同属于magedu组 (1)脚本 (2) 运行结果 4. 打

Python潮流周刊#6:Python 3.12 有我贡献的代码!

你好,我是猫哥。这里记录每周值得分享的 Python 及通用技术内容,部分为英文,已在小标题注明。(标题取自其中一则分享,不代表全部内容都是该主题,特此声明。) 首发于我的博客,https://pythoncat.top/posts/2023-06-10-weekly6 🦄文章&教程 1、CPython 贡献日记:Python 3.12 有什么? 文章出自群友@孙孟越,介绍了 Python

从 sum 求和谈 axis=1 or 0

二维数组 axis=0:表示从上往下 axis=1:表示从左往右 三维数组

第十四届蓝桥杯大赛软件赛国赛 C/C++ 大学 A 组

Preface 蓝桥杯战俘闪总出列! 逆天比赛早上9点要赶到六七公里外的其它学校,因此早上7点就起来了 然后坐公交颠着颠着就到了成都工业学院的门口,还刚好看到了lyy佬,就一起溜去考场了 到了考场看了一圈好多熟悉的面孔,应该都是集训队的学长啥的,但好多名字还是叫不出来 然后好像8点半就能进场了,坐定后一看好家伙俊哥就坐我前面,这下多少得沾点欧气了 一看系统好家伙经典Win7,瞬间梦回二中机房,而且

大变局:国产数据库的机遇与挑战|深度研报

大变局:国产数据库的机遇与挑战|深度研报 光锥智能关注 2022-03-30 5 评论4459 浏览12 收藏58 分钟 2023数字化产品经理大会 6月10-11日开幕!14位资深产品专家汇聚深圳,让未来产品经理之路越走越宽 >>>     释放双眼,带上耳机,听听看~! 00:00   00:00 编辑导语:在

解决 ModuleNotFoundError: No module named 'pip'

Traceback (most recent call last): File "d:environmentpython3librunpy.py", line 194, in _run_module_as_main return _run_code(code, main_globals, None, File "d:environmentpython3librunpy.py", line

flask中如何处理文件上传下载

flask中处理文件的上传下载很简单。 基础配置: 在post请求下用于调用 upload() 函数处理上传过程,在'/download/<filename>'请求下可以通过文件名下载对应提交文件 以下是 Flask 应用程序的 Python 代码 上传:   1.secure_filename()函数来处理文件名,可以更加安全;   2.通过reque

Pytest - Fixture(12) - 配置文件pytest.ini

Pytest - 配置文件 pytest.ini 前言 pytest.ini 配置文件可以改变pytest的运行方式,它是一个固定的文件pytest.ini文件,读取配置信息,按指定的方式去运行。 作用:可以改变 pytest 的默认行为; 位置:一般放在项目的根目录(即当前项目的顶级文件夹下); 命名:pytest.ini,不能使用任何中文符号,包括汉字、空格、引号、冒号等等; 注意:格式一般

esp8266制作太空人天气时钟

背景 简单来说,就是最近太闲了,然后下班也无所事事,在B站上刷着一众up们的diy视频,一次又一次地激起了我应该做点啥的想法,于是在这一阵又一阵的激励下,我再次燃起了对diy硬件的兴趣,于是我便又一次把自己年前买到的一些硬件翻出来,开始自己的新一轮arduino之旅。 材料准备 本次项目的总成本不到30RMB,esp8266开发板的成本13RMB,1.3寸IPS屏幕成本15RMB esp826

django 中存储手机号的字段, 使用 Django 库 pip install django-phonenumber-field[phonenumbers]

原文参见: https://www.delftstack.com/zh/howto/django/django-phone-number-field/ 使用第三方 Django 应用程序的 PhoneNumberField 存储电话号码 要存储电话号码,我们可以使用实现此字段的第三方 Django 应用程序或库:PhoneNumberField。 你可以在此处找到此库或应用程序

基于python-统计所有AWS-EC2的Events-事件信息-并进行邮件通知

关于AWS的EC2,我们可以有时间会收到一些官方邮件,提示让在指定的时间之前在console界面stop一次,或者重启一次,完成底层维护 其实这些Events事件,在Console的EC2服务界面左侧菜单的Events下也可以看到的,如下图所示 其中Event status 为Completed 就是我们已经完成了的,Scheduled的为计划中,如果在Start time时间之前,我们没有完成

淘宝评论抓取

淘宝评论接口sign参数逆向 1.接口速览 多次请求发现,t为时间戳,sign为加密参数,盲猜和data、t有关,sign为32位,盲猜是字符串的32位的MD5 2.搜索js代码 这里为搜索的是appKey,就找到了sign,然后看上面的加密函数,很像MD5,于是进入调试,看看是不是原生的MD5 3.js调试 调试时,发现传入MD5(假设就是)的参数是几个参数进行了拼接 我们把上面的拼接后

python3的数据类型

赋值 python 中没有声明变量,只有赋值变量,每个变量在使用前都需要赋值,变量只有被赋值了才会被创建 多个变量赋值 a=b=c=1 a, b, c = 1, 2, 3 标准的数据类型 常见的数据类型有 number (数字) string(字符串) dictionary(字典) tuple(元组) list(列表) set(集合) 不可变类型:number(数字)、string(

python3的运算符

算数运算符 + - *:两个数相乘或者返回若个重复的字符串 / %: 取模,返回除法的余数 ** :幂运算,返回次方 //:取证除,往小的方向取整 比较(关系)运算符 == :等于 !=:不等于 >:大于 <:小于 >=:大于等于 <=:小于等于 赋值运算符 = :赋值 += :加法赋值 -=:减法赋值 *=* :乘法赋值 /= :除法赋值 %=:取模赋值

字典

字典是以键值对的形式存在的 key:value,键是不可变的唯一的,值不是 dict():创建一个空子典 a = {}:也是创建一个空子典 dict_object={} dict_object. clear ():清空字典 del dict_object:删除字典 字典的特性 字典的值可以是任何 python 对象,也可以是标准对象,也可以是用户定义的,但是键不行 两个重要的特性 同一个键不

条件判断

if else if elif match ... case python 3.10 增加了 match ... case 的条件判断,不需要再使用一串 if-else 来判断了 match 后的对象会一次匹配 case 后面的内容,如果匹配成功,则执行匹配到的表达式,否则直接跳过,_ 可以匹配一切 语法格式: case_ :类似于 c 和 java 中的 defalut:,当其他 ca

推导式

python 推导式是一种独特的处理方式,可以从一个数据序列构建另一个新的数据序列的结构体 python 支持的数据结构推导式: 列表 元组 字典 集合 列表推导式 out_exp_res: 列表生成元素表达式,可以是有返回值的函数 for out_exp_res in input_list:迭代 input_list 将 out_exp 传入到 out_exp_res 表达式中 if

while循环

while 循环 while ... else 语句的使用 如果 while 后面的条件为 false 则执行 else for ... else for ... else 用于在 for 循环结束后在执行一段代码 当循环结束后,会执行 else 语句,如果在循环过程中遇到 break 语句会退出循环,不会执行else

python爬虫——深圳市租房信息数据分析

一、选题背景 因为深圳经济非常不错,想必想要去深圳工作的人也不少。衣食住行是生活的基本需求。衣和食好解决,不喜欢的衣服可以买新的,不好吃的食物可以换一家吃。可是在住宿上,买房和租房的置换成本都相对较高,因此房源选择尤为慎重。作为目前买不起房的人自然是以租房为主,但是租房我们一般是通过中介或者是网站来实现租房的需求。以我通过python以行政区为单位,对比分析各行政区房源数量分布情况的爬起,就可以可

python爬虫——爬取前程无忧网站招聘信息

项目概要   项目架构上首先进行数据爬取,将数据存储到excel表中,接着进行数据清洗并将数据存入mongodb数据库,最后将数据进行分析并可视化。   项目实现 数据展示(以数据工程师为例) 爬取页面展示  html页面解析   数据爬取       代码开始时导入所需的库。这包括Selenium库用于模拟浏

Jmeter接口自动化01_Jmeter简介与环境安装

配套项目介绍 本着光学不练,一干就废的痛点。本文不单有Jmeter接口自动化从入门到实战的系统技术内容,还搭配给各位免费练手的实战项目(含有完整接口文档)的那种! 那这次带来的项目叫shopxo 官方访问地址:https://www.shopxo.net/ 是一个主流的电商项目地址。 这里我们主要是结合它的前端项目进行接口自动化的演练,前端项目的访问地址 https://d2.shopxo.vip

4.30学习总结之初见tkinter

  Tkinter 是 Python 的标准 GUI 库。Python 使用 Tkinter 可以快速的创建 GUI 应用程序。 由于 Tkinter 是内置到 python 的安装包中、只要安装好 Python 之后就能 import Tkinter 库,对简单图形界面的实现十分简单。 在引入"import tkinter"后即可使用,以下两行即可运行出窗口, 但我们的需求肯定不

ubuntu安装miniconda及其可能出现的问题

什么是miniconda Miniconda是一个轻量级的Conda发行版,它是Anaconda的一个精简版本。Anaconda是一个流行的Python发行版,内置了Python解释器以及大量科学计算和数据科学相关的软件包。 Miniconda的目标是提供一个更精简和灵活的发行版,它只包含了Conda包管理器和Python解释器,没有预安装的软件包。这使得用户可以根据自己的需要自定义安装软件包,并

第四周周测题

第四周测试 1.异常捕获完整语法结构 在 Python 中,我们可以使用 try…except…语句来捕捉和处理异常。 其完整语法结构如下: 以上是 try…except 的完整语法结构。 try 块: ​ 包含可能抛出异常的代码块。 except 块: ​ 当 try 块中抛出异常时,会寻找相应的 except 块进行处理。可以指定多个 except 块来处理不同的异常信息。

5.26日学习总结之网络编程socket

Python socket编程在网络上的教程较少,菜鸟中也只是给出了一小段描述,在此我推荐白羽黑夜socket编程 | 白月黑羽 (byhy.net)其中的描写非常详细,本人也是在此学习的。 socket又被称作套接字,可以简单的看作是两个地址(ip,port地址)之间通过socket的函数来进行传递数据。 socket在客户端的定义: socket在服务器端的定义,与服务器端类似:

<<  <  746  747  748  749  750  751  752  753  754  755  756  >  >>