PHP 代码分享
MongoDB 教程
正则表达式
jQuery 教程
JavaScript 代码片段
PHP7 教程
一.问题描述 这是在工作中遇到的一段代码，原理大概和下面类似(判断某一个元素是否符合要求，不符合删除该元素，最后得到符合要求的列表)：a=[1,2,3,4,5,6,7,8]foriina:ifi>5:passelse:a.remove(i)print(a)运行结果：二.问题分析因为删除元素后，整个列表的元素会往前移动，而i却是在最初就已经确定了，是不断增大的，所以并不能得到想要的结果。三.解决方法1.遍历在新的列表操作，删除是在原来的列表操...
继续阅读 >
sklearn生成多项式importnumpyasnpfromsklearn.preprocessingimportPolynomialFeatures#这哥用于生成多项式x=np.arange(6).reshape(3,2)#生成三行二列数组reg=PolynomialFeatures(degree=3)#这个3看下面的解释reg.fit_transform(x)x是下面这样：我们发现规律如下：Python生成多项式编写实现函数如下：defmulti_feature(x,n):c=np.empty((x.shape[0],0))#np.empty((3,1))并不会生成一个3行1列的空数组,np.empty((...
继续阅读 >
1环境操作系统：Windows10Python版本：3.9.0GoogleChrome 87.0.4280.88ChromeDriver 87.0.4280.88PyCharm2020.2.3x642需求分析&前期准备2.0需求分析目标是秒杀京东的订单，这里面有几个关键点，首先需要登录京东，其次你需要准备好订单，最后要在指定时间快速提交订单。登录京东，这里就要用到一个爬虫利器Selenium，它是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉...
继续阅读 >
you-get是github上python的一个开源库(https://github.com/soimort/you-get)，使用you-get你只需要取得视频所在网页链接地址就可以很轻松的下载下来，目前you-get所支持的网站包含国内外几十个网站(youtube、twitter、腾讯、爱奇艺、优酷、bilibili等)，基本上可以满足你的需求。1.you-get可以直接通过命令行使用前提是你要先安装you-get：pipinstallyou-get下载命令：you-get your-urll例如：you-gethttps://www.bilibil...
继续阅读 >
目标：由于之前和朋友聊到抖音评论的爬虫，demo做出来之后一直没整理，最近时间充裕后，在这里做个笔记。提示：大体思路通过fiddle+app模拟器进行抖音抓包，使用python进行数据整理安装需要的工具：python3下载fiddle安装及配置手机模拟器下载抖音部分：模拟器下载好之后,打开模拟器在应用市场下载抖音对抖音进行fiddle配置，配置成功后就可以当手机一样使用了一、工具配置及抓包：我们随便打开一个视频之后，fiddle就会刷新...
继续阅读 >
相信玩过爬虫的朋友都知道selenium，一个自动化测试的神器工具。写个Python自动化脚本解放双手基本上是常规的操作了，爬虫爬不了的，就用自动化测试凑一凑。虽然selenium有完备的文档，但也需要一定的学习成本，对于一个纯小白来讲还是有些门槛的。最近，微软开源了一个项目叫「playwright-python」，简直碉堡了！这个项目是针对Python语言的纯自动化工具，连代码都不用写，就能实现自动化功能。可能你会觉得有点不可思议，但它就...
继续阅读 >
需求：该接口，含两个参数，一个是file，一个是paperName。其中file为上传的文件。content-type为form-data。根据python中的request源代码，可知，发送一个request，可以传递的参数有很多。而我们这次主要用到的就是files，当然method、url、headers、及data/json也是每次发送request必备的。主要的实现方式：#用二进制的方式打开需上传的文件。f=open(filename,"rb")file=[("file",(filename,f,"file/xlsx"))#此...
继续阅读 >
相信大家在爬虫中都设置过请求头user-agent这个参数吧？在请求的时候，加入这个参数，就可以一定程度的伪装成浏览器，就不会被服务器直接识别为spider.demo.code，据我了解的，我很多读者每次都是直接从network中去复制user-agent然后把他粘贴到代码中，这样获取的user-agent没有错，可以用，但是如果网站反爬措施强一点，用固定的请求头可能就有点问题，所以我们就需要设置一个随机请求头，在这里，我分享一下我自己一...
继续阅读 >