本文目录一览：
北大青鸟java培训:学习Java应该了解的大数据和框架?
数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。
大数据运维师只需了解Hadoop、Spark、Storm等主流大数据平台的核心框架，熟悉Hadoop的核心组件：HDFS、MapReduce、Yarn；具备大数据集群环境的资源配置，如网络要求、硬件配置、系统搭建。
学习前的准备工作java语言一般用于大型的服务器程序开发，所有有必要了解如下内容：Unix开发环境Unix系统原理、Unix开发环境、Unix常用命令。熟练掌握Unix常用命令；熟练构建下的Java开发环境。
MongoDB分页获取数据排序阶段缓存溢出问题
1、同时由于 oplog 的并行写入，存在尾部乱序和空洞现象，具体来说就是oplog里面的数据顺序可能是和实际数据顺序不一致，并且存在时间的不连续问题。
2、环境：Springboot8 请先阅读：Reactor响应式编程（Flux、Mono）基本用法 Spring WebFlux入门实例并整合数据库实现基本的增删改查 MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。
3、这里只举例了简单的链接与简单的MongoDB操作，可见其操作的容易性。使用驱动时是基于TCP套接字与MongoDB进行通信的，如果查询结果较多，恰好无法全部放进第一服务器中，将会向服务器发送一个getmore指令获取下一批查询结果。
限制MongoDB使用的内存
1、归结于MongoDB使用的内存映射文件，32位版本只支持2G数据的存储。对于标准的Replica Set，MongoDB只拥有单一的处理策略 —— mongod。如果你想在未来储存2G以上的数据，请使用64位版本的MongoDB。
2、默认情况下，MongoDB 的每个数据库的命名空间保存在一个 16MB 的 .ns 文件中，平均每个命名占用约 628 字节，也即整个数据库的命名空间的上限约为 24000。
3、const int BSONObjMaxUserSize = 16 * 1024 * 1024；到你需要的大小，然后重新编译mongodb。但不要改的太大，因为每一个BSON Object都是要全部读进内存里的。
4、MongoDB 的数据文件比较大，通常会超过默认的 500M。这样看来，缓存用了 58G，这还差不多。Resident Pages 左侧的数字是页的数量，页的数量乘以文件系统页大小才是内存使用量。
如何限制MongoDB的最大占用内存
1、总结：使用64位版本或者理解32位版本的限制。
2、在启动数据库时可以选择noprealloc参数，禁止数据库预分配空间，但会影响到插入效率。也可以设置每次预分配空间的大小，这样可以一定程度减小mongodb对空间的占用，当数据量增大后效果会变的不明显。
3、内存倒是占得差不多了，基本都是 cached ，也就是文件系统缓存。MongoDB 是通过 mmap 方式让操作系统来处理持久化和缓存的。每个数据文件都直接映射到某个虚拟内存地址。
4、在MongoDB中我们将与主键没有直接关系的图书单独提取到另一个集合，用存储主键的方式进行关联查询。当我们要查询文章和评论时需要先查询到所需的文章，再从文章中获取评论id，最后用获得的完整的文章及其评论。
5、这个特点使得Java应用程序能够安排从网络上下载class文件的时间，从而可以最大限度地减少终端用户的等待时间。 第四：Java API Java API通过支持平台无关性和安全性，使得Java适应于网络应用。
如何配置MongoDB的Java驱动程序MongoOptions在生产中使用
1、首先，要通过Java操作Mongodb，必须先下载Mongodb的Java驱动程序，可以在这里下载。
2、首先你需要安装mongodb的JDBC驱动，比如mongo-java-driver-jar。然后把这个jar包引用到你的程序中。
3、创建数据库路径（data目录）、日志路径（logs目录）和日志文件（mongo.log文件），完成后如下图所示 创建配置文件mongo.conf。
4、NoSql），其灵活的数据存储方式备受当前IT从业人员的青睐。这里主要讲如何在windows平台下安装MongoDB。
MongoDB应用1——日志分析
1、MongoDB适用于需要处理大量数据，特别是无结构或半结构化数据的场景，同时需要高性能和水平扩展能力的应用场景。 处理大量数据：MongoDB是一个面向文档的数据库，采用BSON（二进制JSON）格式存储数据。
2、游戏场景，使用MongoDB存储游戏用户信息，用户的装备、积分等直接以内嵌文档的形式存储，方便查询、更新。
3、mongod -v --logpath /var/log/mongodb/serverlog --logappend 2，显示日志文件：复制代码代码示例：ll /var/log/mongodb/serverlog 3，日志持续增加，如果不定期清理，会影响mongodb的运行效率。
