性能优化

服务器状态

• 在 shell 中，可用 mongostat、mongostop 命令查看 mongod 的状态。
• 在 mongo 客户端中，可以用以下命令查看 mongod 的状态：

  db.serverStatus()               // 查看服务器的状态信息
  db.serverStatus().connections   // 查看客户端连接数
  
  db.currentOp()                  // 查看数据库正在执行的所有操作
  db.currentOp({op: "query", active: true}) // 查看 query 类型的活跃操作
  db.currentOp(<opid>)            // 终止一个操作
  

内存

• mongod 占用内存的因素包括：

  • mongod 的程序文件
    • mongod 刚启动时会加载程序文件，此时只占用 100MB 内存，其中 WiredTiger Cache 几乎为 0 。等之后读写数据，才会占用更多内存。
  • collection、index 的元数据
  • 客户端连接
    • mongod 不限制客户端连接数，为每个连接创建一个最多占用 1MB 栈内存的线程。还会因为 Socket 占用内核内存。
  • WiredTiger Cache
    • mongod 需要读取某条文档时，先找到磁盘中的数据文件 collection-xx.wt ，读取包含目标数据的那个文件块，经过 Page Cache（外部缓存），然后解压并载入 WiredTiger Cache（内部缓存），最后根据 _id 在 B+ tree 结构中找到那条数据。
    • 查询一个集合时，可能读取其 index 的部分或全部内容，载入内部缓存。写入文档时，也会更新 index 。
    • 内部缓存不包括构建索引时占用的内存。在单个集合上构建索引时最多占用内存为 maxIndexBuildMemoryUsageMegabytes（默认 500MB ）。
  • Page Cache
    • WiredTiger 读写磁盘文件时，不使用 MMAP 技术，而是依赖操作系统的文件缓存。默认将 50% 的主机内存用作内部缓存，剩下的 50% 用作 Page Cache ，从而加速读写磁盘。
    • Page Cache 不是 mongod 进程主动申请的内存，而是被操作系统自动分配的。减少 Page Cache 不会停止 mongod 进程，只是可能减慢读写磁盘的速度。

• WiredTiger 会跟踪内部缓存中 clean pages 和 dirty pages 的体积。

  • 内部缓存达到 cacheSizeGB 的 eviction_target（默认 80% ）时，后台的 evict 线程会开始驱逐内存中较少使用的 clean pages ，腾出内存空间。
  • 内部缓存达到 eviction_trigger（默认 95% ）时，前台线程也开始驱逐 clean pages ，导致读写操作变慢。
  • 内部缓存达到 100% 时，会停止数据库的读写操作。
  • dirty pages 达到 eviction_dirty_target（默认 5% ）时，后台的 evict 线程会开始驱逐 dirty pages ，导致丢失数据。
  • dirty pages 达到 eviction_dirty_trigger（默认 20% ）时，前台线程也开始驱逐 dirty pages ，导致读写操作变慢。
  • 如果占用内存长时间超过驱逐阈值，则说明 mongod 的内存不足。

• 例：查看服务器的内存开销

  > db.serverStatus().tcmalloc.tcmalloc.formattedString
  ------------------------------------------------
  MALLOC:    29943407472 (28556.3 MiB) Bytes in use by application        // mongod 进程正在使用的内存，用于存放文档、索引等数据
  MALLOC: +   6028980224 ( 5749.7 MiB) Bytes in page heap freelist        // 堆内存中的空闲空间
  MALLOC: +   1164940264 ( 1111.0 MiB) Bytes in central cache freelist
  MALLOC: +            0 (    0.0 MiB) Bytes in transfer cache freelist   // transfer cache 用于在 central cache 与 thread cache 之间传输数据
  MALLOC: +    788441256 (  751.9 MiB) Bytes in thread cache freelists
  MALLOC: +    220553472 (  210.3 MiB) Bytes in malloc metadata
  MALLOC:   ------------
  MALLOC: =  38146322688 (36379.2 MiB) Actual memory used (physical + swap) // mongod 进程在操作系统中占用的内存，等于上面几项内存之和
  MALLOC: +   1304309760 ( 1243.9 MiB) Bytes released to OS (aka unmapped)
  MALLOC:   ------------
  MALLOC: =  39450632448 (37623.1 MiB) Virtual address space used
  MALLOC:
  MALLOC:        2613472              Spans in use
  MALLOC:           4708              Thread heaps in use
  MALLOC:           4096              Tcmalloc page size
  

  • mongod 默认采用 tcmalloc 内存分配器，会将空闲内存释放给操作系统，但可能不会立即释放。

• 查看数据体积：

  db.stats().dataSize         // 数据库中全部文档的体积，单位 bytes 。这是读取到内存时的体积，没有压缩
  db.stats().storageSize      // 全部文档占用的磁盘空间。可能比 dataSize 小，因为 WiredTiger 存储引擎默认进行压缩。也可能比 dataSize 大，因为删除的文档不会释放磁盘空间
  db.stats().indexSize        // 全部索引占用的磁盘空间
  db.stats().totalSize        // 等于 storageSize + indexSize ，包括已分配但尚未使用的空闲磁盘空间
  db.stats().freeStorageSize      // 文档已分配但尚未使用的空闲磁盘空间。这是 Mongo v5.0 新增的监控指标
  db.stats().indexFreeStorageSize // 索引已分配但尚未使用的空闲磁盘空间
  
  db.<collection>.stats().wiredTiger["block-manager"]["file size in bytes"]             // 集合占用的磁盘空间
  db.<collection>.stats().wiredTiger["block-manager"]["file bytes available for reuse"] // 集合占用的磁盘空间中，标记为 deleted 的空间
  db.<collection>.stats().wiredTiger["cache"]["bytes currently in the cache"]           // 集合占用的内存体积
  db.<collection>.stats().wiredTiger["cache"]["bytes read into cache"]                  // 累计从磁盘读取到内存的数据体积
  db.<collection>.stats().wiredTiger["cache"]["bytes written from cache"]               // 累计从内存写入磁盘的数据体积
  db.<collection>.stats().wiredTiger["cache"]["tracked dirty bytes in the cache"]       // 内存中的脏页数
  
  db.serverStatus().wiredTiger["cache"]["pages requested from the cache"]     // 累计从内存读取的数据量。如果查询的数据在内存中不存在，则需要从磁盘读取
  db.serverStatus().wiredTiger["cache"]["pages read into cache"]              // 累计从磁盘读入内存的数据量
  db.serverStatus().metrics.query.planCacheTotalSizeEstimateBytes             // planCache 占用的内存
  

explain

• 在 mongo 客户端执行命令时，可加上 explain() 方法，显示统计信息。
• explain() 有多种工作模式：

  queryPlanner        // 显示当前操作的执行计划，不会实际执行操作
  executionStats      // 执行当前操作，然后显示统计信息
  allPlansExecution   // 先显示执行计划，然后执行当前操作、显示统计信息
  

• 可通过以下格式调用 explain() 方法：

  db.<collection>.<method>.explain()    // 默认采用 queryPlanner 模式
  db.<collection>.explain().<method>
  

  例：

  > db.books.find({"group": "art"}).explain('allPlansExecution')
  {
      "queryPlanner": {
          "plannerVersion": 1,
          "namespace": "test.books",      // 当前位于的 db.collection
          "indexFilterSet": false,
          "parsedQuery": {                // 将查询语句解析成基础指令
              "group": {
                  "$eq": "art"
              }
          },
          "winningPlan": {                // 准备了多个执行计划，从中选出效率最高的一个计划来执行，其它计划记录到 rejectedPlans 字段
              "stage": "FETCH",           // FETCH 表示根据索引去获取集合中的文档。IXSCAN 表示读取索引。COLLSCAN 表示全表扫描，不使用索引。IDHACK 表示根据 _id 直接获取文档，不使用索引
              "filter": {},               // 在 inputStage 之后，筛选文档
              "inputStage": {             // 输入数据的阶段，负责查询文档
                  "stage": "IXSCAN",
                  "keyPattern": {         // 该索引包含哪些字段
                      "group": 1
                  },
                  "indexName": "group_1", // 使用的索引名
                  "indexBounds": {        // 根据 parsedQuery 中哪些字段的取值上下边界，来读取索引
                      "group": [
                          "[\"art\", \"art\"]"
                      ],
                  }
              }
          },
          "rejectedPlans": []
      },
      "executionStats": {
          "executionSuccess": true,       // 操作是否执行成功
          "nReturned": 829330,            // 返回的文档数
          "executionTimeMillis": 4825,    // 操作的执行耗时
          "totalKeysExamined": 829330,    // 在索引中读取了多少条目。如果为 0 ，说明没有使用索引，或在索引中没有查询到匹配的文档
          "totalDocsExamined": 829330,    // 在集合中读取了多少文档。这里 totalDocsExamined 等于 nReturned ，说明成功用索引提高了查询效率，没有读取无关的文档
          "executionStages": {
              ...
          },
          "allPlansExecution": []
      },
      "serverInfo": {
          "host": "c442af87b30b",
          "port": 27017,
          "version": "4.4.17",
          "gitVersion": "85de0cc83f4dc64dbbac7fe028a4866228c1b5d1"
      },
      "ok": 1
  }