写入MongoDB_MonogDB 中文网

MongoDB工具 >MongoDB Spark连接器 >Spark Connector Python指南 > 写入MongoDB

要创建一个DataFrame，首先创建一个SparkSession对象，然后使用该对象的createDataFrame()功能。在以下示例中，createDataFrame()获取包含名称和年龄的元组列表以及列名称列表：

people = spark.createDataFrame([("Bilbo Baggins",  50), ("Gandalf", 1000), ("Thorin", 195), ("Balin", 178), ("Kili", 77),
   ("Dwalin", 169), ("Oin", 167), ("Gloin", 158), ("Fili", 82), ("Bombur", None)], ["name", "age"])

写people数据框在指定的MongoDB的数据库和收集spark.mongodb.output.uri通过选项write方法：

复制

people.write.format("mongo").mode("append").save()

当您连接到Shell 时，上述操作将写入spark.mongodb.output.uri选项中指定的MongoDB数据库和集合pyspark。

若要读取DataFrame的内容，请使用show()方法。

复制

people.show()

在pyspark外壳程序中，该操作将输出以下输出：

复制

+-------------+----+
|         name| age|
+-------------+----+
|Bilbo Baggins|  50|
|      Gandalf|1000|
|       Thorin| 195|
|        Balin| 178|
|         Kili|  77|
|       Dwalin| 169|
|          Oin| 167|
|        Gloin| 158|
|         Fili|  82|
|       Bombur|null|
+-------------+----+

该printSchema()方法打印出DataFrame的架构：

复制

people.printSchema()

在pyspark外壳程序中，该操作将输出以下输出：

复制

root
 |-- _id: struct (nullable = true)
 |    |-- oid: string (nullable = true)
 |-- age: long (nullable = true)
 |-- name: string (nullable = true)

如果您需要写入其他MongoDB集合，请将该.option()方法与结合使用.write()。

要写入名为contacts的数据库中称为的集合people，请people.contacts在输出URI选项中指定。

复制

people.write.format("mongo").mode("append").option("database",
"people").option("collection", "contacts").save()

MongoDB 工具

写入MongoDB