最近更新

使用selenium获取网址所加载所有资源url列表信息

使用selenium获取网址所加载所有资源url列表信息

抓取数据时，经常遇到有的数据是通过ajax异步调取的，如何通过selenium获取网址所加载的全部请求url地址了，即我们打开开发者工具里面network中记录的请求url列表，可以参考下面代码# -*- coding=utf-8 -*- import json import time from selenium import webdriver from selenium.webdriver.chrome.
python开发 2021年01月07日
mysql中索引类型Btree和Hash的区别以及使用场景

mysql中索引类型Btree和Hash的区别以及使用场景

mysql中支持两种索引类型，一种是btree类型，一种是hash类型。为什么我们添加索引的时候没有要求设置索引类型了，因为有默认值。Innodb和MyISAM默认的索引是Btree索引；而Mermory默认的索引是Hash索引。1、BTree类型BTree索引是最常用的mysql数据库索引算法，因为它不仅可以被用在=,>,>=,<,<=和between这些比较操作符上，而且还可以用于like操作符，只要它的查询条件是一个不以通配符开头的常量，例如：select * from us
mysql学习 2020年11月16日
selenium在Centos服务器下环境搭建

selenium在Centos服务器下环境搭建

之前很早就用过selenium来模拟抓取些网页，之前在windows电脑上配置的，一直以为selenium需要在图形界面才能使用。最近有个项目需要用到selenium，服务器用的centos，所以研究了下。发现linux命令行模式下也可以安装及使用selenium，并不需要图形相关软件安装。1、安装python3及包管理工具pip32、安装seleniumpip3 install selenium3、下载安装 chrome浏览器yum install https://dl.google.com/
python开发 2020年11月04日
线上服务器搭建git服务，本地代码上传实现自动同步到线上服务器指定web目录

线上服务器搭建git服务，本地代码上传实现自动同步到线上服务器指定web目录

最新公司有个项目代码需要规范化，可以查看历史记录及··可以·回滚操作，所以考虑使用在服务器上搭建git服务器，并设置钩子，当我们上传代码后自动同步到服务器代码目录下。下面为具体步骤1、服务器上安装git程序yum install git2、在服务器上创建 裸版本库git init --bare demo.git//参数 --bare 是代表创建裸仓库3、本地Clone远程的代码仓库到本地git clone git@39.99.204.74:/home/git/demo.git本地更新代码后，推送到远端gi
Linux学习 2020年11月01日
记一次crontab定时任务不执行问题分析与解决

记一次crontab定时任务不执行问题分析与解决

之前用python+selenium写了一个抓取网页的脚本，直接执行脚本都是正常的，放到crontab下，利用任务计划来执行，但是没有正确执行到脚本内容。通过查看任务计划日志 /var/log/cron，发现对应时间点有执行脚本。这种情况只能是脚本执行过程中有异常情况中断了，然后记录 脚本执行的日志及错误日志。通过查看错误日志，提示“'chromedriver' executable needs to be in PATH.”。命令行下 whereis chromedriver，能找到对应
Linux学习 2020年10月28日
命令环境变量PATH设置方法

命令环境变量PATH设置方法

经常遇到执行命令找不到的问题，这是因为没有加入到PATH中的问题，如 chrome命令地址为 /opt/google/chrome/chrome，临时性可以执行下面命令export PATH="$PATH":/opt/google/chrome/如果需要永久有效，即重启后还有效，需要在配置文件里面修改。在文件 /etc/bashrc 文件末尾添加export PATH=$PATH:/opt/google/chrome保存即可。立即生效，也可以在修改后执行命令source /etc/ba
Linux学习 2020年10月25日
详解mysql中的严格模式和非严格模式

详解mysql中的严格模式和非严格模式

今天在排查一个程序bug中发现，有一个sql写入的数据跟数据库中记录的不一致。通过排查，突然想起来可能是数值类型的问题，果真如此。字段设置的为tinyint(4)，当写入超过127的数值后，数据库中都为记录为127。帮这个字段改为int(10)类型。改为之后，我思考，超过数值范围的提示错误或记录错误就可以避免这种问题了。通过搜索知道了mysql中有严格模式与非严格模式。下面详细介绍。何为MySQL的严格模式，简单来说就是MySQL自身对数据进行严格的校验（格式、长度、类型等），比如一个整型字段我们写入一个
mysql学习 2020年10月09日
linux查看添加删除swap分区详解

linux查看添加删除swap分区详解

一般情况为内存不够，或者临时部分情况下，内存不足。可以设置虚拟内存，一般设置不超过真实内存的2倍。对于内存很充裕的情况下，设置虚拟内存作用不大。虚拟内存与真实内存性能上还是存在一定的差距，如果内存确实缺的比较多，建议还是升级硬件的好。1、查看当前swap情况free -m 或 swapon -s 命令2、添加swap分区步骤（1）、使用dd命令创建swap交换文件dd if=/dev/zero of=/var/swapfile bs=1M count=2048if(即输入文件,input file)，of
Linux学习 2020年10月08日
解决php中each函数在7.2版本提示deprecated错误问题

解决php中each函数在7.2版本提示deprecated错误问题

今天有个thinkphp5.0版本的项目切换到php7.2版本，有个页面一直报错，打开调试代码。发现错误提示“The each() function is deprecated. This message will be suppressed on further calls”。说明php不建议继续使用each函数了，那如何修改代码了，下面介绍两种方法：1、改成 key()、current()函数来组装 $arr=['name'=>'phper163','year
php疑难问题 2020年10月06日
使用php代码导出表格方法（四）PhpSpreadsheet库使用

使用php代码导出表格方法（四）PhpSpreadsheet库使用

由于PHPExcel已经不再维护，PhpSpreadsheet是PHPExcel的下一个版本。PhpSpreadsheet是一个用纯PHP编写的库，并引入了命名空间，PSR规范等。这里使用PhpSpreadsheet库来实现导出表格的方法。这里表格导出实现了 单元格合并，居中、单元格宽度等设置。
php进阶开发 2020年08月29日
加载更多