分类：buffer

2022
04-20

Golang Protocol Buffer案例详解

GolangProtocolBuffer教程本文介绍如何在Go应用中利用ProtocolBuffer数据格式。主要包括什么是ProtocolBuffer数据格式，其超越传统数据格式XML或JSON的优势是什么。1.ProtocolBuffer数据格式ProtocolBuffer，本质就是一种数据格式，和JSON或XML一样，不同的语言用于结构化数据序列化或反序列化。该数据格式的优势是较xml或json更小，源于Google。假如我们有一个对象，我们用三种数据结构进行表示：<person><name>Elliot</... 继续阅读 >
2021
08-31

再次探讨go实现无限 buffer 的 channel方法

目录前言实现接口的设计内部实现测试一下优化再测试一下补充遗憾前言总所周知，go里面只有两种channel，一种是unbufferedchannel,其声明方式为ch:=make(chaninterface{})另一种是bufferedchannel，其声明方式为bufferSize:=5ch:=make(chaninterface{},bufferSize)对于一个bufferedchannel，无论它的buffer有多大，它终究是有极限的。这个极限就是该channel最初被make时，所指定的bufferSize。jojo,buffer... 继续阅读 >
2021
07-30

Pytorch模型中的parameter与buffer用法

Parameter和bufferIfyouhaveparametersinyourmodel,whichshouldbesavedandrestoredinthestate_dict,butnottrainedbytheoptimizer,youshouldregisterthemasbuffers.Bufferswon'tbereturnedinmodel.parameters(),sothattheoptimizerwon'thaveachangetoupdatethem.模型中需要保存下来的参数包括两种一种是反向传播需要被optimizer更新的，称之为parameter一种是反向传播不需要被optimi... 继续阅读 >
2021
06-19

浅谈JS的二进制家族

概述Blob:前端的一个专门用于支持文件操作的二进制对象ArrayBuffer：前端的一个通用的二进制缓冲区，类似数组，但在API和特性上却有诸多不同Buffer：Node.js提供的一个二进制缓冲区，常用来处理I/O操作Blob我们首先来介绍Blob，Blob是用来支持文件操作的。简单的说：在JS中，有两个构造函数File和Blob,而File继承了所有Blob的属性。所以在我们看来，File对象可以看作一种特殊的Blob对象。在前端工程中，我们在哪些操作中可以... 继续阅读 >
2021
06-04

MySQL的join buffer原理

一、MySQL的joinbuffer在MySQL对于join操作的处理过程中，joinbuffer是一个重要的概念，也是MySQL对于tablejoin的一个重要的优化手段。虽然这个概念实现并不复杂，但是这个是实现MySQLjoin连接优化的一个重要方法，在"暴力"连接的时候可以极大提高join查询的效率。关于这个概念的权威说明当然是来自MySQL文档中对于这个概念的说明，说明的文字不多，但是言简意赅，说明了这个优化的主要实现思想：Assumeyouhavethefollowin... 继续阅读 >
2021
05-02

PostgreSQL将数据加载到buffer cache中操作方法

我们都知道数据在缓存中访问远比在磁盘中访问速度要快，那么我们怎么在pg中将指定的数据加载到缓存中呢，这有点类似于Oracle的in-memory。当然要注意并不是把数据加载到内存中就一定是好的，因为相较于磁盘，内存总是有限的，所以一帮我们只是在特殊场合下将需要的数据加载到内存中来加快访问的速度。我们可以使用pg_prewarm插件来将指定的表加载到OSBuffer或者pgsharedbuffer中。安装：bill=#createextensionpg_prewarm;CR... 继续阅读 >
2021
04-25

MySQL Innodb关键特性之插入缓冲(insert buffer)

什么是insertbuffer？  插入缓冲，也称之为insertbuffer，它是innodb存储引擎的关键特性之一，我们经常会理解插入缓冲时缓冲池的一个部分，这样的理解是片面的，insertbuffer的信息一部分在内存中，另外一部分像数据页一样，存在于物理页中。   在innodb中，我们知道，如果一个表有自增主键，那么对于这个表的默认插入是非常快的，注意，这里的主键是自增的，如果不是自增的，那么这个插入将会变成... 继续阅读 >
2021
01-13

详解MySQL中的缓冲池（buffer pool）

Mysql中数据是要落盘的，这点大家都知道。读写磁盘速度是很慢的，尤其和内存比起来更是没的说。但是，我们平时在执行SQL时，无论写操作还是读操作都能很快得到结果，并没有预想中的那么慢。可能你会说我有索引啊，有索引当然快了。但是铁子，索引文件也是存储在磁盘上的，查找过程会产生磁盘I/O。如果同时对某行数据进行多次操作，那岂不是要重复产生很多次磁盘IO吗？可能你想到了，那我把数据存在内存里不就可以了吗？内存... 继续阅读 >
2020
11-29

MySQL的查询缓存和Buffer Pool

一、Caches-查询缓存下图是MySQL官网给出的：MySQL架构体系图。人们常说的查询缓存就是下图中的Cache部分。如果将MySQL分成Server层和存储引擎层两大部分，那么Caches位于Server层。另外你还得知道：当一个SQL打向MySQLServer之后，MySQLServer首选会从查询缓存中查看是否曾经执行过这个SQL，如果曾经执行过的话，之前执行的查询结果会以Key-Value的形式保存在查询缓存中。key是SQL语句，value是查询结果。我们将这个过程称为... 继续阅读 >
2020
11-11

NodeJS模块Buffer原理及使用方法解析

Buffer作为nodejs中重要的概念和功能，为开发者提供了操作二进制的能力。本文记录了几个问题，来加深对Buffer的理解和使用：认识缓冲器如何申请堆外内存如何计算字节长度如何计算字节长度如何转换字符编码理解共享内存与拷贝内存认识Buffer（缓冲器）Buffer是nodejs核心API，它提供我们处理二进制数据流的功能。Buffer的使用和ES2017的Uint8Array非常相似，但由于node的特性，专门提供了更深入的a... 继续阅读 >
2020
10-08

详细了解JAVA NIO之Buffer（缓冲区）

当我们需要与NIOChannel进行交互时,我们就需要使用到NIOBuffer,即数据从Buffer读取到Channel中,并且从Channel中写入到Buffer中。缓冲区本质上是一块可以写入数据，然后可以从中读取数据的内存。这块内存被包装成NIOBuffer对象，并提供了一组方法，用来方便的访问该块内存。缓冲区基础Buffer类型有:缓冲区是包在一个对象内的基础数据的数组，Buffer类相比一般简单数组而言其优点是将数据的内容和相关信息放在一个... 继续阅读 >
2020
10-08

详细了解JAVA NIO之Buffer（缓冲区）

当我们需要与NIOChannel进行交互时,我们就需要使用到NIOBuffer,即数据从Buffer读取到Channel中,并且从Channel中写入到Buffer中。缓冲区本质上是一块可以写入数据，然后可以从中读取数据的内存。这块内存被包装成NIOBuffer对象，并提供了一组方法，用来方便的访问该块内存。缓冲区基础Buffer类型有:缓冲区是包在一个对象内的基础数据的数组，Buffer类相比一般简单数组而言其优点是将数据的内容和相关信息放在一个... 继续阅读 >