本文目录一览：
大数据中的日志数据包括哪些
1、信息系统的重要数据包括以下几类日志数据：安全日志：包括身份验证、鉴别与授权审计记录、安全策略校验记录、入侵检测与防范报告记录等，用于检测和记录系统的安全事件，保护系统的安全性。
2、日志记录的数据，包括服务器上所有用户登录后的操作痕迹有：用户的登录信息、系统的启动信息、系统的安全信息、邮件相关信息、各种服务相关信息。
3、机器和传感器数据（Machine-generated / sensor data）：包括呼叫记录（Call Detail Records），智能仪表，工业设备传感器，设备日志（通常是Digital exhaust），交易数据等。
4、传统数据源采集：这类数据通常来自企业内部的数据库、日志、文件、表格等，以及外部的传统数据源，比如公共数据库、政府报告、统计数据等。这些数据通常是结构化数据，易于存储和处理。
...list中的事务日志记录必须由后至前处理,而redo-list中的事务日志...
1、redo-list指的是redo日志中的所有事务要重做，那么自然要按照原来的顺序依次重做，比如A，B两个事务要对数据库中某一数据分别修改为2，3（先A后B），那么重做时显然不能乱序先B后A否则最后数据库中该数据的值就是2。
2、UNDO处理方法是反向扫描日志文件，更新操作执行相反的操作，每一个UNDO事务迫在眉睫的“价值”（前映像）记录写入到数据库中，然后再更新。 （3）治疗重做重做队列事务。 REDO处理方法：正向扫描日志文件，每个REDO事务重新执行操作的日志文件登记。
3、undo log名为回滚日志，是实现原子性的关键，当事务回滚时能够撤销所有已经成功执行的sql语句，他需要记录你要回滚的相应日志信息。 一致性（consistency） 数据库总是从一个一致性的状态转换到另一个一致性的状态。
4、日志文件是用来记录事务对数据库的更新操作的文件。 （2）设立日志文件的目的是： 进行事务故障恢复；进行系统故障恢复；协助后备副本进行介质故障恢复。
5、NTFS使用一个“变更”日志来跟踪记录文件所发生的变更。
6、常规备份先备份您的数据库文件，然后备份事务日志文件，之后再从目录中删除事务日志文件。这意味着您可禁用循环日志记录，因为您的备份软件会删除日志文件。因此如果执行常规备份，您就不会遇到日志文件充满驱动器的问题。
mongodb与hbase
Mongodb bson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中。
以下是几种常见的非关系型数据库：MongoDB、HBase、Redis、CouchDB、Neo4j等。MongoDB：MongoDB是一种面向文档的数据库，采用BSON（二进制JSON）格式存储数据。
小数据的要求对于MongoDB和Hbase都没有影响，因为MongoDB和Hbase都是一种数据库，主要就是用于存储零碎的小数据。
国产数据库排行榜是Kingbase，OceanBase，TiDB，HBase，MongoDB。Kingbase Kingbase是一款基于PostgreSQL的开源数据库，是北京人大金仓信息技术股份有限公司自主研制开发的具有自主知识产权的通用关系型数据库管理系统。
列存储代表软件HBase，它的优点是对数据能快速查询，数据存储的扩展性强。而缺点是数据库的功能有局限性。（3）文档数据库存储代表软件MongoDB，它的优点是对数据结构要求不特别的严格。
