从MongoDB读取_MonogDB 中文网

MongoDB工具 >MongoDB Spark连接器 >Spark Connector Scala指南 > 从MongoDB读取

使用该MongoSpark.load方法创建代表集合的RDD。

以下示例加载在中指定的集合 SparkConf：

val rdd = MongoSpark.load(sc)

println(rdd.count)
println(rdd.first.toJson)

要指定其他集合，数据库和其他读取配置设置，请将传递ReadConfig给 MongoSpark.load()。

用一个 `ReadConfig`

MongoSpark.load()可以接受ReadConfig指定各种读取配置设置的对象，例如集合或读取首选项。

以下示例spark以secondaryPreferred优先级从集合中读取：

复制

import com.mongodb.spark.config._

val readConfig = ReadConfig(Map("collection" -> "spark", "readPreference.name" -> "secondaryPreferred"), Some(ReadConfig(sc)))
val customRdd = MongoSpark.load(sc, readConfig)

println(customRdd.count)
println(customRdd.first.toJson)

SparkContext加载助手方法

SparkContext有一个隐式的辅助方法loadFromMongoDB()，用于从MongoDB加载数据。

例如，使用loadFromMongoDB()不带任何参数的方法来加载在中指定的集合SparkConf：

复制

sc.loadFromMongoDB() // Uses the SparkConf for configuration

调用loadFromMongoDB()一个ReadConfig对象以指定其他MongoDB服务器地址，数据库和集合。请参阅输入配置设置以获取可用设置：

复制

sc.loadFromMongoDB(ReadConfig(Map("uri" -> "mongodb://example.com/database.collection"))) // Uses the ReadConfig

MongoDB 工具

从MongoDB读取

用一个 ReadConfig

SparkContext加载助手方法

用一个 `ReadConfig`