分类：数据

2020
09-28

Pytorch数据拼接与拆分操作实现图解

Pytorch数据拼接与拆分操作实现图解 1、cat：拼接直接合并数据2、stack拼接：与cat不同的是，stack创建了一个新的维度，在拼接的同时，给数据增加了类别。并且stack的所有数据维度必须一致。3、split拆分：通过数据长度进行拆分4、chunk拆分：与split不同的是：chunk是指定拆分的个数，将数据拆分为指定个数。以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持自学编程网。... 继续阅读 >
2020
09-27

PHP 实现 JSON 数据的编码和解码操作详解

本文实例讲述了PHP实现JSON数据的编码和解码操作。分享给大家供大家参考，具体如下：JSON的使用场景：数据表一个字段需要记录多个信息，如记录关于用户的其他信息数据传输，如：API接口返回值、Ajax中实现异步加载配置文件，如composer.json包管理配置文件在PHP中使用JSON：JSON使用最频繁的两个操作就是编码和解析数据，PHP官方提供了以下2个函数实现这两个操作：json_encode()json_decode()Encodingand... 继续阅读 >
2020
09-27

Python数据正态性检验实现过程

Python数据正态性检验实现过程 在做数据分析或者统计的时候，经常需要进行数据正态性的检验，因为很多假设都是基于正态分布的基础之上的，例如：T检验。在Python中，主要有以下检验正态性的方法：1.scipy.stats.shapiro——Shapiro-Wilktest，属于专门用来做正态性检验的模块，其原假设：样本数据符合正态分布。注：适用于小样本。其函数定位为：defshapiro(x):"""PerformtheShapiro-Wilktestfornormality.TheShapiro-Wilktestteststhenullh... 继续阅读 >
2020
09-27

使用 Python 读取电子表格中的数据实例详解

Python是最流行、功能最强大的编程语言之一。由于它是自由开源的，因此每个人都可以使用。大多数Fedora系统都已安装了该语言。Python可用于多种任务，其中包括处理逗号分隔值（CSV）数据。CSV文件一开始往往是以表格或电子表格的形式出现。本文介绍了如何在Python3中处理CSV数据。CSV数据正如其名。CSV文件按行放置数据，数值之间用逗号分隔。每行由相同的字段定义。简短的CSV文件通常易于阅读和理解。但是较长的数据... 继续阅读 >
2020
09-27

使用Jupyter notebooks上传文件夹或大量数据到服务器

我们都知道如何上传单个文件，但如果有大量文件或大量数据，这就扎心了，可能会变得单调。因此目前想到一种办法，将文件压缩成zip包，然后再解压到工作目录解压缩文件importzipfileimportosfiles=zipfile.ZipFile('homework.zip','r')files.extractall(os.getcwd())files.close()打包成zip但是，有时可能还需要从笔记本中下载多个文件。有几种方法可以做到这一点，但最简单的方法是压缩目录并下载zip文件：importshutilshut... 继续阅读 >
2020
09-25

Struts2返回json格式数据代码实例

最近由于工作原因，没时间更新，开始吧~~关于json的返回需要用到一个工具包来将书转换为json格式，在此用到的jar包为： importnet.sf.json.JSONArray;//将数据转换为JSON数组 importnet.sf.json.JSONObject;//将数据转换为JSON对象dao层的代码publicclassProInfomaDaoextendsHibernateDaoSupport{privateLoggerlogger=Logger.getLogger(ProInfomaDao.class);/***查询所有数据*@return... 继续阅读 >
2020
09-25

python传到前端的数据,双引号被转义的问题

python传到前端的数据,双引号被转义的问题 python部分defmallTemplateConfig(request):gameRole_edit=request.session.get('gameRole_edit',[])#获取json串returnrender(request,"operationGL/mallTemplateConfig.html",{'gameRole_edit':json.dumps(gameRole_edit)})html部分这样写显示正常，没有问题<label>{{gameRole_edit}}</label>js部分这样写json串中的双引号，会被转义成&quot;console.log("{{gameRole_edit}}")用下面... 继续阅读 >
2020
09-24

Pyspark获取并处理RDD数据代码实例

弹性分布式数据集（RDD）是一组不可变的JVM对象的分布集，可以用于执行高速运算，它是ApacheSpark的核心。在pyspark中获取和处理RDD数据集的方法如下：1.首先是导入库和环境配置（本测试在linux的pycharm上完成）importosfrompysparkimportSparkContext,SparkConffrompyspark.sql.sessionimportSparkSessionos.environ["PYSPARK_PYTHON"]="/usr/bin/python3"conf=SparkConf().setAppName('test_rdd')sc=SparkContext... 继续阅读 >
2020
09-24

Python爬虫爬取、解析数据操作示例

本文实例讲述了Python爬虫爬取、解析数据操作。分享给大家供大家参考，具体如下：爬虫当当网http://search.dangdang.com/?key=python&act=input&page_index=1获取书籍相关信息面向对象思想利用不同解析方式和存储方式引用相关库importrequestsimportreimportcsvimportpymysqlfrombs4importBeautifulSoupfromlxmlimportetreeimportlxmlfromlxmlimporthtml类代码实现部分classDDSpider(object):#对象属... 继续阅读 >
2020
09-24

Python爬虫爬取电影票房数据及图表展示操作示例

Python爬虫爬取电影票房数据及图表展示操作示例 本文实例讲述了Python爬虫爬取电影票房数据及图表展示操作。分享给大家供大家参考，具体如下：爬虫电影历史票房排行榜http://www.cbooo.cn/BoxOffice/getInland?pIndex=1&t=0Python爬取历史电影票房纪录解析Json数据横向条形图展示面向对象思想导入相关库importrequestsimportrefrommatplotlibimportpyplotaspltfrommatplotlibimportfont_managerimportjson类代码部分classDYOrder(object):#初始化def... 继续阅读 >
2020
09-24

Pyspark读取parquet数据过程解析

Pyspark读取parquet数据过程解析 parquet数据：列式存储结构，由Twitter和Cloudera合作开发，相比于行式存储，其特点是：可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量；压缩编码可以降低磁盘存储空间，使用更高效的压缩编码节约存储空间；只读取需要的列，支持向量运算，能够获取更好的扫描性能。那么我们怎么在pyspark中读取和使用parquet数据呢？我以local模式，linux下的pycharm执行作说明。首先，导入库文件和配置环境：importosfrompysparki... 继续阅读 >
2020
09-24

JAVA如何转换树结构数据代码实例

在实战开发中经常有需要处理树形菜单、树形目录等等等业务需求。而对于这种产品，在设计数据库时也建议使用id<----->parentId的结构来做。但是最终前端显示多用hightChart或者Echart插件来实现。所以在给前端数据时，最好的做法就是把数据库结构话的数据处理成treeJson格式。第一步：引入fastjson<dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>${fastjson.version}</version></depe... 继续阅读 >
2020
09-24

Spring mvc如何实现数据处理

处理提交数据1、提交的域名称和处理方法的参数名一致提交数据:http://localhost:8080/hello?name=xiaohua处理方法:@RequestMapping("/hello")publicStringhello(Stringname){System.out.println(name);return"hello";}后台输出:xiaohua2、提交的域名称和处理方法的参数名不一致提交数据:http://localhost:8080/hello?username=xiaohua处理方法://@RequestParam("username"):username提交的域的名称.@Re... 继续阅读 >
2020
09-24

Python通过4种方式实现进程数据通信

python提供了4种方式来满足进程间的数据通信1.使用multiprocessing.Queue可以在进程间通信,但不能在Pool池创建的进程间进行通信2.使用multiprocessing.Manager.Queue可以在Pool进程池创建的进程间进行通信3.通过Pipe进行线程间的通信,pipe进程间通信的性能高于Queue,但是它只能在两个进程间进行通信4.使用Manager类提供的数据结构可以进行进程间的通信frommultiprocessingimportProcess,Queue,Pool,Manager,Pipe#注意... 继续阅读 >
2020
09-24

Python如何存储数据到json文件

Python如何存储数据到json文件 1前言很多程序都要求用户输入某种信息，程序一般将信息存储在列表和字典等数据结构中。用户关闭程序时，就需要将信息进行保存，一种简单的方式是使用模块json来存储数据。模块json让你能够将简单的Python数据结构转存到文件中，并在程序再次运行时加载该文件中的数据。还可以使用json在Python程序之间分享数据，更重要的是，JSON（JavaScriptObjectNotation，最初由JavaScript开发）格式的数据文件能被很多编程语言兼容。2使用... 继续阅读 >