分类：Mongodb

2021
06-05

MongoDB使用profile分析慢查询的步骤

   在MongoDB中，如果发生了慢查询，我们如何得到这些慢查询的语句，并优化呢？今天来看这块儿的一些心得。01如何收集慢查询？  在MongoDB中，通常可以开启profile来收集慢日志，查看当前profile状态的语句如下：test1:PRIMARY> db.getProfilingStatus(){        "was" : 2,        "slowms"&nbs... 继续阅读 >
2021
05-02

MongoDB的chunk详解

  MongoDB中，在使用到分片的时候，常常会用到chunk的概念，chunk是指一个集合数据中的子集，也可以简单理解成一个数据块，每个chunk都是基于片键的范围取值，区间是左闭右开。例如，我们的片键是姓名的第二个字母，包含了A-Z这26中可能，理想情况下，划分为26个chunk，其中每个字母开头的姓名记录即为一个chunk。  在数据写入的时候，mongos根据片键shardkey的值来写入对应的chunk中，chunk可以表示的最... 继续阅读 >
2021
05-02

详解MongoDB中的日志模块

  今天简单研究了一下MongoDB里面的日志模块，写篇文章记录下。01MongoDB日志组件种类及日志等级  每种数据库都有自己的日志模块，MongoDB也不例外，通常情况下，一个数据库的日志中，记录的是数据库的连接信息、存储信息、网络信息、索引信息以及查询信息等。从MongoDB3.0版本开始，MongoDB在日志中引入了日志等级和日志组件的概念，作为DBA来讲，关注的最多的应该是慢查询日志和连接日志。  ... 继续阅读 >
2021
04-07

java操作mongodb之多表联查的实现($lookup)

最近在开发的过程中，一个列表的查询，涉及到了多表的关联查询，由于持久层使用的是mongodb，对这个非关系型数据使用的不是很多，所以在实现此功能的过程中出现了不少问题，现在此做记录，一为加深自己的理解，以后遇到此类问题可以快速的解决，二为遇到同样问题的小伙伴提供一点小小的帮助。全文分为两部分：使用robo3t编写多表关系的查询语句将编写的查询语句整合到java项目多表联查的查询语句：此处使用的为mongodb的robo3t... 继续阅读 >
2021
03-30

MongoDB 用户相关操作

  在我们第一次启动MongoDB的时候，仅仅是制定了data数据目录和log日志目录，并没有指定--auth选项，也就是并不需要认证。[root@VM-0-14-centosmongo_27017]#mongoMongoDBshellversionv4.0.6connectingto:mongodb://127.0.0.1:27017/?gssapiServiceName=mongodbImplicitsession:session{"id":UUID("61c35b47-f43b-48fc-a43e-066f56987e9a")}MongoDBserverversion:4.0.6>dbtest>showdbs;admin... 继续阅读 >
2021
03-30

MongoDB 常用的数据类型和基本操作

NO.1MongoDB的常用数据类型   MongoDB中的文档类似json，我们知道，在json中，最常用的数据类型有null、bool、数组、字符串、数据、json对象等等。相对比较少，比如对于时间类型的数据，json是无法表示的，而MongoDB中对json进行了简单的优化，像json，但是又不是json。下面我们慢慢说    MongoDB的常用数据类型和MySQL比较像，你可以对比着看。它的常用数据类型有：1、null用于表示空值或... 继续阅读 >
2021
03-30

MongoDB 简单入门教程(安装、基本概念、创建用户)

   工作方向上的原因，不得不接触部分MongoDB的运维工作，之前有接触过一些MongoDB的内容，基本的运维操作没有什么问题，包括MongoDB的集群搭建、数据分片功能等都测试过。但是时间久了，很多东西不用就忘记了，最近准备出一个系列的MongoDB的运维操作文章，希望把这块儿内容重新拾起来。网上查了查，MongDB讲得好的书也就是<MongoDB权威指南>这本了，但是它引用的MongoDB版本比较旧，所以最好结合着官方文档看，... 继续阅读 >
2021
03-30

MongoDB 主分片(primary shard)相关总结

01主分片是什么？ 分片集群中的每一个数据库都有一个主分片，这个主分片上保存了当前数据库中没有被分片的集合的数据，主分片(primaryshard)和主节点(primary)之间没有任何关联。  主分片是由mongos选择出来的，选择的依据是每当创建新数据库的时候，mongos会从集群中选择包含数据最少的分片作为新数据库的主分片。具体的选择方式是：选择listDatabase命令返回的totalSize字段作为选择的准则。如下：mongos>db... 继续阅读 >
2021
03-30

详解MongoDB的角色管理

NO.1MongoDB内建角色内建角色的种类和特点？想要了解内建角色，还是少不了下面这张图，在MongoDB中，用户的权限是通过角色绑定的方法来分配的。把某个角色绑定在某个用户上，那么这个用户就有这个角色对应的权限了。MongoDB4.0中的内建角色类型如下：这里对上面的内建角色所拥有的权限做以说明：数据库用户角色：read：用于读取所有非系统集合，以及下面三个系统集合：system.indexes、system.js以及system.namespreadWrite:拥有... 继续阅读 >
2021
03-30

MongoDB 监控工具mongostat和mongotop的使用

   MongoDB中自带两个监控的工具，分别是mongostat和mongotop，今天我们看看这两个工具的使用方法。mongostatmongostat工具提供了mongod和mongos的运行状态和数据，可以从mongostat工具的执行结果中获取如下信息：[root@VM-0-14-centos~]#mongostat--port=27018-u"yeyz"--authenticationDatabase"admin"-p"123456"insertqueryupdatedeletegetmorecommanddirtyusedflushesvsizeresqrwarwnet... 继续阅读 >
2021
03-30

MongoDB 副本集的搭建过程

  今天的内容说下副本集的搭建过程吧。  下面的例子，是我自己在一台腾讯云服务器上搭建的过程，每个操作步骤都有，写出来大家看看。   本次操作是搭建一主，一从、一仲裁的三节点副本集，具体的过程如下：1、创建节点目录mkdir -p /data/mongo_28018/{data,log}mkdir -p /data/mongo_28019/{data,log}mkdir -p /data/mongo_28020/{data,log}2、创建配置... 继续阅读 >
2021
03-29

如何为MongoDB添加分片副本集

  背景是这样的：线上一个MongoDB集群保存了很多历史数据，这些历史数据是按照时间字段进行分片的，最近到了2021年，有些分片的截止时间要到了，为了能容纳更多的数据，需要在当前分片的基础上增加相应的分片。  线上环境中，每个分片本身也是一个3副本的副本集，所以添加的时候有些特定的流程需要注意，我再测试环境中简单测了一下这个过程，记录下来。   整个过程大概的流程是：1、新建分... 继续阅读 >
2021
03-29

MongoDB的备份与恢复

   任何数据库都离不开日常的备份与恢复，这二者是数据库安全的前提，MongoDB的备份与恢复方法一般而言都采用自带的工具来进行。    在开始讲述备份之前，需要首先了解两个概念，一个是恢复点目标、一个叫恢复时间目标,下面我们分别来看：恢复点目标：（也叫RPO，recoverypointobjective）也就是数据可以恢复到哪个时间点，可以承受多少损失。恢复时间目标：(也叫RTO，recovertimeob... 继续阅读 >
2021
03-29

MongoDB 内存管理相关总结

MongoDB的内存用在哪儿？  在MongoDB中，加载各种依赖的lib到内存、管理客户端请求、元数据管理存储等工作都需要占用内存，但其实内存使用的大部分还是在存储引擎和客户端连接请求处理方面。  一方面是存储引擎的cache，通常情况下，我们可以使用参数cacheSizeGB参数(下面会讲到)来控制内存使用率，一旦超过这个内存使用率，则MongoDB的存储引擎会淘汰掉部分内存中的数据页。  正常运行的MongoDB... 继续阅读 >
2021
03-24

MongoDB mongoexport工具的使用简介

01 基本介绍  mongoexport是一个数据导出的工具，使用的时候类似mysql中的selectintooutfile语法，可以将某个数据库中的数据以json或者csv的格式导出来。我们可以通过直接连接mongos或者连接mongod来导出数据。如果你的集群是分片集群，连接mongos会导出所有分片上这个集合的相关数据。02 常用参数-h:指明数据库宿主机的IP-u:指明数据库的用户名-p:指明数据库的密码-d:指明数据库的名字-c:指明collection... 继续阅读 >
2021
03-24

详解MongoDB范围片键和哈希片键

01片键   MongoDB的片键决定了集合中存储的数据在集合中的分布情况，具体的方法是使用片键值的范围来对集合中的数据进行分区。举个例子：假如我们以年龄age来作为片键，那么age的范围理论上是0~80，此时，MongoDB会为我们定义age的四个范围区间，他们分别是：0~20,20~40,40~60，60~80，每个范围都是一个chunk，这样我们写入数据之后，数据里面的数据块就有：chunk1: age 0~20chunk2: age ... 继续阅读 >