github上有趣的项目(值得star) 类似 selenuium 的网页自动化工具 这是一款基于 Python 的网页自动化工具,支持 Chrome 和 Edge 等 Chromium 内核的浏览器。它将控制浏览器和收发请求两大功能合二为一,并提供了统一、简洁的接口,简单易用十分容易上手。该项目 v3.x 版本推出了 WebPage 摆脱对 selenium 的依赖,重新开发了底层逻辑,具有速度快、不易被网站识别、无需为不同版本浏览 2024-03-28 Git #github git
feapder爬虫框架之轻量AirSpider用法示例 安装精简版 1pip install feapder 浏览器渲染版: 1pip install "feapder[render]" 完整版: 1pip install "feapder[all]" 三个版本区别: 精简版:不支持浏览器渲染、不支持基于内存去重、不支持入库mongo 浏览器渲染版:不支持基于内存去重、不支持入库mongo 完整版:支 2024-03-27 爬虫 #爬虫
feapder爬虫框架之任务TaskSpider用法示例 安装精简版 1pip install feapder 浏览器渲染版: 1pip install "feapder[render]" 完整版: 1pip install "feapder[all]" 三个版本区别: 精简版:不支持浏览器渲染、不支持基于内存去重、不支持入库mongo 浏览器渲染版:不支持基于内存去重、不支持入库mongo 完整版:支 2024-03-27 爬虫 #爬虫
爬虫利器 pyppeteer 使用技巧 一、拦截器简单用法拦截器作用于单个Page,即浏览器中的一个标签页。每初始化一个Page都要添加一下拦截器。拦截器实际上是 通过给各种事件添加回调函数来实现的。 事件列表可参见:pyppeteer.page.Page.Events 常用拦截器: request:发出网络请求时触发 response:收到网络响应时触发 dialog:页面有弹窗时触发 使用request拦截器修改请求: 12 2022-08-22 爬虫 #爬虫
用pandas生成excel文件示例,并调整excel的格式或样式 用pandas生成excel 当我们有特殊的需求时,比如要修改excel的行宽列宽,还有字体样式等等 需求示例 代码实现123456789101112131415161718192021222324252627282930313233343536# -*- coding: utf-8 -*-import pandas as pdfrom datetime import datetime, 2022-06-27 python加油鸭 #pandas python 数据分析
Python 时间戳转换出错 当我们想将时间戳转换成特定格式的时间字符串,比如带有年月日,以下写法可能会出现报错 1datetime.strftime(datetime.fromtimestamp(1655481600), '%Y年%m月%d日 %H:%M:%S') UnicodeEncodeError: ‘locale’ codec can’t encode character ‘\u5e74 2022-06-20 python加油鸭 #python
Python try...except...时捕获异常时具体文件和行数 1234567891011121314def try_exception_test(): try: a = 0 b = 1/a print(b) except Exception as e: print(e) # 发生异常所在的文件 print(e.__traceback__.tb_frame.f_ 2021-07-08 python加油鸭 #python debug
python 列表List转换成树形结构 原始数据:list中嵌套dict的数据格式 转换结果:数结构的数据,children字段嵌套的形式,适用于前端树形结构的渲染 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071 2021-06-22 python加油鸭 #python
关于MySQL的优化思路 SQL 优化步骤当面对一个需要优化的 SQL 时,我们有哪几种排查思路呢? 通过 show status 命令了解 SQL 执行次数首先,我们可以使用 show status 命令查看服务器状态信息。show status 命令会显示每个服务器变量 variable_name 和 value,状态变量是只读的。如果使用 SQL 命令,可以使用 like 或者 where 条件来限制结果。lik 2021-06-11 SQL #mysql
Dockerfile 最佳实践(Dockerfile指令的使用及建议) 目录 Dockerfile 最佳实践 一般性的指南和建议 容器应该是短暂的 使用 .dockerignore 文件 使用多阶段构建 避免安装不必要的包 一个容器只运行一个进程 镜像层数尽可能少 将多行参数排序 构建缓存 Dockerfile 指令 FROM LABEL RUN CMD EXPOSE ENV ADD 和 COPY ENTRYPOINT VOLUME USER WORKDIR 官 2020-12-14 Docker #docker linux