分类：大文件

2021
07-22

详解PHP如何读取大文件

目录衡量成功我们有什么选择？逐行读取文件文件之间的管道其他流过滤器自定义流创建自定义协议和过滤器总结衡量成功唯一能确认我们对代码所做改进是否有效的方式是：衡量一个糟糕的情况，然后对比我们已经应用改进后的衡量情况。换言之，除非我们知道“解决方案”能帮我们到什么程度(如果有的话)，否则我们并不知道它是否是一个解决方案。我们可以关注两个指标。首先是CPU使用率。我们要处理的过程运行得有多快或多慢？其次是... 继续阅读 >

2020
12-10

PHP大文件分割分片上传实现代码

服务端为什么不能直接传大文件？跟php.ini里面的几个配置有关upload_max_filesize=2M//PHP最大能接受的文件大小post_max_size=8M//PHP能收到的最大POST值'memory_limit=128M//内存上限max_execution_time=30//最大执行时间当然不能简单粗暴的把上面几个值调大，否则服务器内存资源吃光是迟早的问题。解决思路好在HTML5开放了新的FILEAPI，也可以直接操作二进制对象，我们可以直接在浏览器端实现文件切割，按照以前的... 继续阅读 >

2020
10-09

PHP大文件及断点续传下载实现代码

一般来说浏览器要同时下载几个文件，比如pdf文件，会在服务器端把几个文件压缩成一个文件。但是导致的问题就是会消耗服务器的cpu和io资源。那有没有办法，用户点了几个文件，在客户端同时下载呢？支持html5的浏览器是可以的，html的a标签有一个属性download<adownload="下载的1.pdf"href="1.pdf"rel="externalnofollow"rel="externalnofollow">单个文件下载</a>,经过测试在edge浏览器，firefox和chrome都支持。但是遗憾的... 继续阅读 >

2020
10-09

基于JavaScript实现大文件上传后端代码实例

这里只写后端的代码，基本的思想就是，前端将文件分片，然后每次访问上传接口的时候，向后端传入参数：当前为第几块文件，和分片总数下面直接贴代码吧，一些难懂的我大部分都加上注释了：上传文件实体类：看得出来，实体类中已经有很多我们需要的功能了，还有实用的属性。如MD5秒传的信息。首先是文件数据接收逻辑，负责接收控件上传的文件块数据，然后写到服务器的文件中。控件已经提供了块的索引，大小，MD5和长度信息，我们可以... 继续阅读 >

2020
09-28

linux下如何实现快速拷贝大文件

拷贝数据远程拷贝数据的时候，我们一般使用rsync命令，但是如果拷贝大量的小文件，会导致rsync的传输速度慢。使用tarpvlz4打包压缩传输，可以解决这问题，使用这个方法，等同于使用scp、rsync传输大文件。实测，使用rsync传输1200G，单个文件大小为几十KB~2GB,千兆网卡，需要同时跑6个rsync才能把带宽跑满，每个速度20MB左右，速度波动大。每分钟可以拷贝4.5GB左右。但是，使用tarpvlz4，跑一个就可以了，而且速度波动小。每分... 继续阅读 >

2015
04-15

PHP文件上传问题总结——文件大小检测以及大文件上传处理

由于涉及到本地和服务器两方面的安全问题，所以基于inputtype="file"形式的页面文件上传一直处于一个很尴尬的位置。一方面，用户不希望隐私泄露，所以浏览器无法对用户在上传时选择的文件做有效的判断。另一方面，为了服务器端的安全，减轻传输负担，系统又希望能在用户开始上传之前就将非法的文件拒之门外。一来一去，基于原始input方式的上传，成为网络存储网站避之唯恐不及的遗留性问题，也造就了现在千奇百怪的插件、上传客... 继续阅读 >