Spark Connector R指南

sparkR 贝壳

本教程使用sparkRShell，但是代码示例与独立的R应用程序同样有效。

启动sparkR外壳程序时，可以指定：

• --packages下载MongoDB Spark Connector软件包的选项。提供以下软件包：

  • mongo-spark-connector_2.11 用于Scala 2.11.x

• --conf用于配置MongoDB Spark Connnector 的选项。这些设置配置SparkConf对象。

  注意

  通过指定连接器配置时SparkConf，您必须在设置之前添加适当的前缀。有关详细信息和其他可用的MongoDB Spark Connector选项，请参阅“ 配置选项”。

例如，

./bin/sparkR  --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" \
              --conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection" \
              --packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.1

• 该spark.mongodb.input.uri指定MongoDB服务器地址（127.0.0.1），数据库连接（test），和收集（myCollection）从中读取数据，读偏好。
• 该spark.mongodb.output.uri指定MongoDB服务器地址（127.0.0.1），数据库连接（test），和收集（myCollection）要写入的数据。27017默认情况下连接到端口。
• 该packages选项以格式指定Spark Connector的Maven坐标groupId:artifactId:version。

创建一个SparkSession对象

如果在启动时指定spark.mongodb.input.uri 和spark.mongodb.output.uri配置选项sparkR，则默认SparkSession对象将使用它们。如果您想SparkSession从中创建自己的对象 sparkR，则可以使用sparkr.session()并指定不同的配置选项。

my_spark <- sparkR.session(
 master="local[*]",
 sparkConfig=list(),
 appName="my_app"
)

您可以使用SparkSession对象将数据写入MongoDB，从MongoDB读取数据，创建DataFrame以及执行SQL操作。