聚合管道优化_MonogDB 中文网

参考 > 聚合 > 聚集管道 > 聚合管道优化

在本页面

投影优化
管道顺序优化
管道合并优化
例

聚合管道操作具有优化阶段，该阶段尝试重塑管道以提高性能。

要查看优化器如何转换特定的聚合管道，请explain在db.collection.aggregate()方法中包括该选项。

优化可能会在版本之间进行更改。

投影优化¶

聚合管道可以确定是否仅需要文档中字段的子集即可获得结果。如果是这样，管道将仅使用那些必填字段，从而减少了通过管道的数据量。

管道序列优化¶

（`$project`或`$unset`或`$addFields`或`$set`）+ `$match`序列优化¶

对于包含投影阶段（$project或$unset或 $addFields或 $set）后接一个 $match阶段的聚合管道，MongoDB会将$match阶段中不需要过滤阶段中计算出的值的所有过滤器移动到投影$match之前的新阶段。

如果聚合管道包含多个投影和/或 $match阶段，则MongoDB将为每个$match阶段执行此优化，将每个$match过滤器移到该过滤器不依赖的所有投影阶段之前。

考虑以下阶段的管道：

复制

{ $addFields: {
    maxTime: { $max: "$times" },
    minTime: { $min: "$times" }
} },
{ $project: {
    _id: 1, name: 1, times: 1, maxTime: 1, minTime: 1,
    avgTime: { $avg: ["$maxTime", "$minTime"] }
} },
{ $match: {
    name: "Joe Schmoe",
    maxTime: { $lt: 20 },
    minTime: { $gt: 5 },
    avgTime: { $gt: 7 }
} }

优化器将$match阶段分为四个单独的过滤器，一个用于$match查询文档中的每个关键字。然后，优化器将每个滤波器移到尽可能多的投影阶段之前，$match根据需要创建新阶段。给定此示例，优化器将产生以下优化管道：

复制

{ $match: { name: "Joe Schmoe" } },
{ $addFields: {
    maxTime: { $max: "$times" },
    minTime: { $min: "$times" }
} },
{ $match: { maxTime: { $lt: 20 }, minTime: { $gt: 5 } } },
{ $project: {
    _id: 1, name: 1, times: 1, maxTime: 1, minTime: 1,
    avgTime: { $avg: ["$maxTime", "$minTime"] }
} },
{ $match: { avgTime: { $gt: 7 } } }

该$match过滤器依赖于舞台计算领域。该阶段是此管道中的最后一个投影阶段，因此无法移动打开的滤镜。{ avgTime: { $gt: 7 } }$projectavgTime$project$matchavgTime

该maxTime和minTime字段计算的 $addFields阶段，但对不依赖 $project阶段。优化$match器为这些字段上的过滤器创建了一个新阶段，并将其放置在该$project阶段之前。

该$match过滤器不使用在任一所计算的任何值或所以它被转移到一个新的阶段都在投影阶段之前的阶段。{ name: "Joe Schmoe" }$project$addFields$match

注意

优化后，过滤器是一个在流水线的开始阶段。这具有额外的好处，即允许聚合在最初查询集合时在字段上使用索引。有关更多信息，请参见管道运算符和索引。{ name: "Joe Schmoe" }$matchname

`$sort`+ `$match`序列优化¶

当您有一个序列$sort后跟一个时 $match，请在$match之前移动， $sort以最大程度地减少要排序的对象的数量。例如，如果管道包括以下阶段：

复制

{ $sort: { age : -1 } },
{ $match: { status: 'A' } }

在优化阶段，优化器将序列转换为以下内容：

复制

{ $match: { status: 'A' } },
{ $sort: { age : -1 } }

`$redact`+ `$match`序列优化¶

如果可能，当管道在$redact阶段之后紧跟着$match阶段时，聚合有时可以在$match阶段之前添加阶段的一部分$redact。如果添加的$match阶段是在管道的开始，则聚合可以使用索引以及查询集合以限制进入管道的文档数。有关更多信息，请参见管道运算符和索引。

例如，如果管道包括以下阶段：

复制

{ $redact: { $cond: { if: { $eq: [ "$level", 5 ] }, then: "$$PRUNE", else: "$$DESCEND" } } },
{ $match: { year: 2014, category: { $ne: "Z" } } }

优化器可以在$match阶段之前添加相同的 $redact阶段：

复制

{ $match: { year: 2014 } },
{ $redact: { $cond: { if: { $eq: [ "$level", 5 ] }, then: "$$PRUNE", else: "$$DESCEND" } } },
{ $match: { year: 2014, category: { $ne: "Z" } } }

`$project`/ `$unset`+ `$skip`序列优化¶

3.2版中的新功能。

当您有一个序列，其后跟$project或时，将前移。例如，如果管道包括以下阶段：$unset$skip$skip$project

复制

{ $sort: { age : -1 } },
{ $project: { status: 1, name: 1 } },
{ $skip: 5 }

在优化阶段，优化器将序列转换为以下内容：

复制

{ $sort: { age : -1 } },
{ $skip: 5 },
{ $project: { status: 1, name: 1 } }

管道聚结优化¶

如果可能，优化阶段将流水线阶段合并到其前身。通常，合并发生在任何序列重新排序优化之后。

`$sort`+ `$limit`合并¶

在版本4.0中更改。

当一个$sort先于$limit，优化器可以聚结$limit到$sort，如果没有中间阶段的修改文件（例如，使用数$unwind，$group）。如果有管道阶段会更改和阶段之间的文档数，则MongoDB将不会合并$limit到。$sort$sort$limit

例如，如果管道包括以下阶段：

复制

{ $sort : { age : -1 } },
{ $project : { age : 1, status : 1, name : 1 } },
{ $limit: 5 }

在优化阶段，优化器将序列合并为以下内容：

复制

{
    "$sort" : {
       "sortKey" : {
          "age" : -1
       },
       "limit" : NumberLong(5)
    }
},
{ "$project" : {
         "age" : 1,
         "status" : 1,
         "name" : 1
  }
}

这样，排序操作就可以仅在执行过程中保持最高n结果，这n是指定的限制，而MongoDB仅需要将n项目存储在内存中 [1]。有关更多信息，请参见$ sort运算符和内存。

用$ skip进行序列优化

如果$skip在$sort 和$limit阶段之间有一个阶段，MongoDB将合并 $limit到该$sort阶段并增加该 $limit值$skip。有关示例，请参见 $ sort + $ skip + $ limit序列。

[1]	当优化仍将适用 `allowDiskUse`是`true`与`n`项目超过聚集内存限制。

`$limit`+ `$limit`合并¶

当$limit紧接在另一个之后 $limit，两个阶段可以合并为一个阶段 $limit，其中限制量为两个初始限制量中的较小者。例如，管道包含以下序列：

复制

{ $limit: 100 },
{ $limit: 10 }

然后第二$limit阶段可以合并到第一 $limit阶段并产生一个单一$limit 阶段，其中极限量10是两个初始极限100和的最小值10。

复制

{ $limit: 10 }

`$skip`+ `$skip`合并¶

当$skip紧跟另一个$skip，这两个阶段可合并成一个单一的$skip，其中跳过量为总和的两个初始跳过量。例如，管道包含以下序列：

复制

{ $skip: 5 },
{ $skip: 2 }

然后，第二$skip阶段可以合并到第一 $skip阶段，并导致单个$skip 阶段，其中跳过量7是两个初始限制5和的总和2。

复制

{ $skip: 7 }

`$match`+ `$match`合并¶

当一个$match紧随另一个紧随其后时 $match，这两个阶段可以合并为一个$match条件和一个条件的单个步骤 $and。例如，管道包含以下序列：

复制

{ $match: { year: 2014 } },
{ $match: { status: "A" } }

然后，第二$match阶段可以合并到第一 $match阶段，从而形成一个$match 阶段

复制

{ $match: { $and: [ { "year" : 2014 }, { "status" : "A" } ] } }

`$lookup`+ `$unwind`合并¶

3.2版中的新功能。

当a $unwind立即紧随其后 $lookup，并且在领域$unwind运行时，优化程序可以将其合并到阶段中。这样可以避免创建较大的中间文档。as$lookup$unwind$lookup

例如，管道包含以下序列：

复制

{
  $lookup: {
    from: "otherCollection",
    as: "resultingArray",
    localField: "x",
    foreignField: "y"
  }
},
{ $unwind: "$resultingArray"}

优化器可以将$unwind阶段合并为 $lookup阶段。如果使用explain 选项运行聚合，则explain输出将显示合并阶段：

复制

{
  $lookup: {
    from: "otherCollection",
    as: "resultingArray",
    localField: "x",
    foreignField: "y",
    unwinding: { preserveNullAndEmptyArrays: false }
  }
}

例子¶

`$sort`+ `$skip`+ `$limit`序列¶

管道包含一个序列，$sort其后是一个， $skip然后是一个$limit：

复制

{ $sort: { age : -1 } },
{ $skip: 10 },
{ $limit: 5 }

优化程序执行$ sort + $ limit合并以将序列转换为以下内容：

复制

{
   "$sort" : {
      "sortKey" : {
         "age" : -1
      },
      "limit" : NumberLong(15)
   }
},
{
   "$skip" : NumberLong(10)
}

MongoDB $limit通过重新排序增加数量。

也可以看看

explain 中的选项 db.collection.aggregate()

MongoDB 中文手册

聚合管道优化

投影优化¶

管道序列优化¶

（$project或$unset或$addFields或$set）+ $match序列优化¶

$sort+ $match序列优化¶

$redact+ $match序列优化¶

$project/ $unset+ $skip序列优化¶

管道聚结优化¶

$sort+ $limit合并¶

$limit+ $limit合并¶

$skip+ $skip合并¶

$match+ $match合并¶

$lookup+ $unwind合并¶

例子¶

$sort+ $skip+ $limit序列¶

（`$project`或`$unset`或`$addFields`或`$set`）+ `$match`序列优化¶

`$sort`+ `$match`序列优化¶

`$redact`+ `$match`序列优化¶

`$project`/ `$unset`+ `$skip`序列优化¶

`$sort`+ `$limit`合并¶

`$limit`+ `$limit`合并¶

`$skip`+ `$skip`合并¶

`$match`+ `$match`合并¶

`$lookup`+ `$unwind`合并¶

`$sort`+ `$skip`+ `$limit`序列¶