本文目录一览：
2019数据架构选型必读:1月数据库产品技术解析
年10月31日，Gartner陆续发布了2018年的数据库系列报告，包括《数据库魔力象限》、《数据库核心能力》以及《数据库推荐报告》。 今年的总上榜数据库产品达到了5家，分别来自：阿里云，华为，巨杉数据库，腾讯云，星环 科技 。
世纪60年代中期，数据库技术是用来解决文件处理系统问题的。当时的数据库处理技术还很脆弱，常常发生应用不能提交的情况。
、其数据面向特定的应用程序，因此数据共享性、独立性差，且冗余度大，管理和维护的代价也很大。数据库系统阶段：（1）、数据结构化。在描述数据时不仅要描述数据本身，还要描述数据之间的联系。
其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。开发大数据安全技术。
什么叫做软件系统结构图的宽度?
1、软件系统结构图的宽度是指整体控制跨度（最大模块数的层）的表示。系统架构指的完整系统的组成架构，例如系统分成几个部分。服务平台、管理门户、终端门户、ATM门户、外部系统以及接口、支撑系统等，将这些系统进行合理的划分。
2、软件系统结构图的宽度是指整体控制跨度（最大模块数的层）的表示。
3、宽度：整体控制跨度（最大模块数的层）的表示。
redis集群方案有哪些
基于以上， Redis 集群方案显得尤为重要。通常有 3 个途径：官方 Redis Cluster ；通过 Proxy 分片；客户端分片 （Smart Client） 。以上三种方案各有利弊。
方案 Redis官方集群方案 Redis Cluster Redis Cluster是一种服务器Sharding技术，0版本开始正式提供。Redis Cluster中，Sharding采用slot（槽）的概念，一共分成16384个槽，这有点儿类pre sharding思路。
使用Jedis带的客户端分片ShardedJedisPool类。使用代理进行分片twemproxy，连接代理可以使用Jedis类（单链接）和JedisPool类（多链接）。
redis-cluster投票：容错，投票过程是集群中所有master参与，如果半数以上master节点与master节点通信超过（cluster-node-timeout），认为当前master节点挂掉。
多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。
以下是一个简单的步骤： 创建一个 ConfigMap，其中包含 Redis 配置文件。 创建一个 StatefulSet，其中包含 3 个副本的 Redis Pod。 创建一个 PersistentVolumeClaim，用于存储 Redis 数据。
php如何把key存储在不同的redis分片上
php如何把key存储在不同的redis分片上redis 集群部署方式大部分采用类 Twemproxy 的方式进行部署。即通过 Twemproxy 对 redis key 进行分片计算，将 redis key 进行分片计算，分配到多个 redis 实例中的其中一个。
主副本之间进行通信，主将数据复制到从实例并复制所有命令以在副本上进行相同的操作。Redis集群：Redis集群是一个由多个Redis实例组成的分布式系统，可以自动分片数据并将其存储在不同的Redis实例中。
通过分片手段，可以将数据合理的划分到不同的节点上，这本来是一件好事。但是有的时候，我们希望对相关联的业务以原子性方式进行操作。
node3 为目标节点。如果在这个重新分片的过程，刚好请求的key在发生转移的过程，因为源节点记录了要迁移的目标节点，即使请求到源节点上，这个key并不存在与源节点，此时会返回一个ASK错误，并将请求转发给key存在目标节点。
架构设计:文件服务存储设计
1、前面的架构没有对存储进行特别设计，直接使用了本地存储。考虑到后期文件数量可能会越来越多，本地存储可能无法支撑，且本地存储的安全性也没有保障。为了便于后期扩展，需要对「存储」部分进行设计。
2、分层结构：基于分层的文件级结构是将代码划分为不同功能的层，例如用户界面层、业务逻辑层和数据访问层等。每一层都有自己独立的代码和文件，便于更好地管理和维护代码。
3、转换服务根据配置委托对应的工具类来进行相应的操作（代码略）：提供两个接口：本文给出了一个文件服务相对完整的架构设计与实现过程。整个架构设计流程如下：整个过程对各个约束做出了对应的决策，并进行了验证。
4、数据架构设计：数据架构设计是指建立数据资产的逻辑结构和组织方式，包括数据的分类、组织、关系和层次等方面的设计。
5、构建存储架构时，要考虑许多问题，最明显的如存储容量、访问速度、缓存选择方案、服务器共享方式、访问协议及访问方法、安全及备份等等。
以下哪些属于集中化大数据平台外部采集数据
Flume是目前常用的开源选择，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。
日志收集：日志系统中定制各类数据发送方，用于收集数据。
大数据采集，即对各种来源的结构化和非结构化海量数据，所进行的采集。数据库采集：流行的有Sqoop和ETL，传统的关系型数据库MySQL和Oracle 也依然充当着许多企业的数据存储方式。
大数据的来源途径有许多，如下哪些属于大数据来源（A、B、C、D）。A．传感器设备采集的数据。B．计算机网络运行产生的日志。C．网络爬虫得到的数据。D．关系型数据库中采集到的数据。
数据采集与预处理：FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据；Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。
