本文目录一览：
MongoDB入门实操《一》
1、MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
2、我会在一个虚拟机实例上配置好所需的环境，然后将它克隆到其他的虚拟机实例上。因此，选择一个名为 master 的虚拟机，执行以下安装过程。
3、MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。
4、从那时开始，重视开发者社区作为一个传统一直到了今天。市面上有一些书也很好，比如《MongoDB权威指南》，不过书很容易过时。
如何将json数据导入到Hive中
首先，将mysql数据库中的wp-posts表导出，一回偷懒了，直接用phpmyadmin的导出功能，选择csv格式导出，并选中了“删除字段中的换行符”以及“将字段名放在第一行”，保存文件名为csser.csv。
通过HiveQL加载数据：Hive可以通过HiveQL语句来加载数据，无论是结构化数据（如CSV、JSON）还是非结构化数据（如文本文件）。使用HiveQL加载数据相对简单，适用于较小规模的数据集。
用法：get_json_object（string json_string， string path） 前面我们介绍过如何查看函数的用法 desc function get_json_object 返回值：String 说明：解析json的字符串json_string，返回path指定的内容。
DeltaStreamer工具。使用Hudi自带的DeltaStreamer工具写数据到Hudi，开启enablehivesync即可同步数据到hive表。DeltaStreamer实用工具支持json、avro或自定义记录类型的传入数据，支持自定义转换操作。
get_json_object（string json_string， string path）返回值： string 说明：解析json的字符串json_string，返回path指定的内容。如果输入的json字符串无效，那么返回NULL。
mongodb查询速度慢是什么原因
你查看一下，如果数据文件大于系统内存，查询速度会下降几个数量级，因为mongodb是内存数据库。我以前测试过，1000万数据的时候没有索引情况下查询可能会几秒钟甚至更久。
这个原因很多，可以从查询优化和硬件优化入手，比如建立索引，合理的数据结构，增加机器内存，使用SSD硬盘等都可以提高查询效率。
数量过小。几个大型数据库的写入速度都很快的，性能主要看并发量的吧，比如100w的数据写入要多少秒，mongodb在数据量大的时候，并发还是杠杠的，比mysql要强，不过mongodb在数据统计上面还是有些缺陷的，没有mysql好用。
在MongoDB中我们将与主键没有直接关系的图书单独提取到另一个集合，用存储主键的方式进行关联查询。当我们要查询文章和评论时需要先查询到所需的文章，再从文章中获取评论id，最后用获得的完整的文章及其评论。
然后我们将全部的 MongoManager 关闭，业务的慢操作完全消失了。找出元凶经过前面的问题定位，我们已经能确定是MongoManager的定时器搞的鬼了。
在使用场合下，千万级别的文档对象，近10G的数据，对有索引的ID的查询不会比mysql慢，而对非索引字段的查询，则是全面胜出。 mysql实际无法胜任大数据量下任意字段的查询，而mongodb的查询性能实在让我惊讶。
Mongodb的MapReduce很慢,有没有办法提高性能
1、基本上没有机会在RAM中进行reduce，相反，它将不得不通过一个临时collection来将数据写回磁盘，然后按顺序读取并进行reduce。使用多线程 MongoDB对单独的MR作业并不使用多线程——它仅仅对多作业使用多线程。
2、reduce。相反，它将不得不把所有文章写入一个临时收集的磁盘，然后按顺序读取并reduce。
3、我们需要做的是把输入分成几块，通过各个块来加速一个MR作业。
4、MongoDB能够使用BSON，并将BSON作为数据的存储存放在磁盘中。当Client端要将写入文档，使用查询等等操作时，需要将文档编码为BSON格式，然后再发送给Server端。同样，Server端的返回结果也是编码为BSON格式再放回给Client端的。
