分类：数据处理

2021
04-27

利用python做表格数据处理

技术背景数据处理是一个当下非常热门的研究方向，通过对于大型实际场景中的数据进行建模，可以用于预测下一阶段可能出现的情况。比如我们有过去的2002年-2018年的黄金价格的数据：该数据来源于Gitee上的一个开源项目。其中包含有：时间、开盘价、收盘价、最高价、最低价、交易数以及成交额这么几个参数。假如我们使用一个机器学习的模型去分析这个数据，也许我们可以预测在这个数据中并不存在的金价数据。如果预测的契合度较好，那... 继续阅读 >
2021
03-19

pandas数据处理之 标签列字符转数字的实现

pandas数据处理之 标签列字符转数字的实现 机器学习中，当我们在进行数据预处理的时候，对于标签列非字符的数据，我们往往需要将其转换成字符，因为有的算法可能不支持非数字类型来做特征。那么怎么快捷地来着这个转换呢，请看我的示例：1.构建测试数据importpandasaspdarray=['good','bad','well','bad','good','good','well','good']2.数据转换下，并获取标签列的字典df=pd.DataFrame(array,columns=['status'])status_dict=df['status'].unique().tolist()3.使... 继续阅读 >
2021
03-12

如何用pandas处理hdf5文件

什么是HDF5HDF5：HierarchicalDataFormatVersion5，对于存储大规模、具有相同类型的数据，HDF5是一种非常不错的存储格式，文件后缀名为h5。这种格式的文件的存储和读取速度非常快，并且我们可以把HDF5文件看成是一个"目录"，它是分层次的，我们来看看如何操作。创建和读取HDF5文件importpandasaspdimportnumpyasnphdf5=pd.HDFStore("hello.h5",mode="w",complevel=9)"""path:文件路径mode:和python的open函数中的m... 继续阅读 >
2020
12-07

Spring MVC数据处理和乱码问题详解

Spring MVC数据处理和乱码问题详解 一、数据处理1.1处理提交数据1.1.1提交的域名称和处理方法的参数名一致提交数据：http://localhost:8080/hello?name=test处理方法：@RequestMapping("/hello")publicStringhello(Stringname){System.out.println(name);return"hello";}后台输出test1.1.2提交的域名称和处理方法的参数名不一致提交数据：http://localhost:8080/hello?username=test处理方法：//@RequestParam("username"):username提交的域的名... 继续阅读 >
2020
12-02

js前端对于大量数据的展示方式及处理方法

最近暂时脱离了演示项目，开始了公司内比较常见的以表单和列表为主的项目。干一个，爱一个了。从开始的觉得自己都做了炫酷的演示项目了，这对我来说就是个小意思，慢慢也开始踩坑，有了些经验总结可谈。现下不得不说是个数据的时代，有数据就必定有前端来展示。杂乱的数据通过数据分析（未碰到的点，不讲请搜），提炼出业务相关的数据维度，而前端所做的就是把这些一个个数据通过不同维度（key-value）的描述来展示到页面上。除去... 继续阅读 >
2020
11-22

接口自动化多层嵌套json数据处理代码实例

接口自动化多层嵌套json数据处理代码实例 最近在做接口自动化测试，响应的内容大多数是多层嵌套的json数据，在对响应数据进行校验的时候，可以通过（key1.key2.key3）形式获取嵌套字典值的方法获取响应值，再和预期值比较keys_list=keys.split('.')#以“.”为间隔，将字符串分裂为多个字符串，其实字符串为字典的键，保存在列表keys_list里ifisinstance(date,dict):#如果传入的数据为字典dictionary=dict(date)#初始化字典foriinkeys_list:... 继续阅读 >
2020
10-08

Python xpath表达式如何实现数据处理

xpath表达式1.xpath语法<bookstore><book><titlelang="eng">HarryPotter</title><price>999</price></book><book><titlelang="eng">LearningXML</title><price>888</price></book></bookstore>1.1选取节点XPath使用路径表达式来选取XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。使用chrome插件选择标签时候，选中时，选中的标签会添加属性class="xh-highlight"下面... 继续阅读 >