本文目录一览：
基于Flink的实时计算平台的构建
消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的。
Flink程序是由Stream和Transformation这两个基本构建块组成，其中Stream是一个中间结果数据，而Transformation是一个操作，它对一个或多个输入Stream进行计算处理，输出一个或多个结果Stream。 Flink程序被执行的时候，它会被映射为Streaming Dataflow。
Flink在德语中是快速和灵敏的意思 ，用来体现流式数据处理速度快和灵活性强等特点。
我是如何解决redis集群批量获取的效率问题的
1、通过局域网连接集群系统中的单个计算机节点，使之同时完成同一个工作，以达到高工作效率、高计算速度和高可靠性能。
2、所以单线程、多进程的集群不失为一个时髦的解决方案。3）CPU消耗采用单线程，避免了不必要的上下文切换和竞争条件，也不存在多进程或者多线程导致的切换而消耗 CPU。
3、如何转化，可参考后面的脚本。 利用管道插入 cat data.txt | redis-cli --pipe Shell VS Redis pipe 下面通过测试来具体看看Shell批量导入和Redis pipe之间的效率。
4、Redis Cluster 是无中心节点的集群架构，依靠 Goss 协议（谣言传播）协同自动化修复集群的状态。
往redis批量插入string
springboot中使用StringRedisTemplate 对redis进行批量插入， 使用管道executePipelined操作，提高效率。
redis的set是string的无序集合。集合通过哈希表实现。添加一个string元素到key对应的set集合中，用sadd命令。返回1表示成功，0表示在集合中已存在，返回错误表示key对应的set不存在。查看用smembers命令。
利用管道插入catdata.txt|redis-cli--pipeShellVSRedispipe下面通过测试来具体看看Shell批量导入和Redispipe之间的效率。测试思路：分别通过shell脚本和Redispipe向数据库中插入10万相同数据，查看各自所花费的时间。
将一个或者多个value值插入列表的表头。如果 key 不存在，会创建一个空列表并执行 LPUSH 操作。当 key 存在但不是列表类型时，返回一个错误。
⑤ Redis zset 和 set 一样也是string类型元素的集合，且不允许重复的成员。但sorted set可以通过用户额外提供一个优先级（score）的参数来为成员排序，并且是插入有序的，即自动排序。
首先连接到Redis数据库。其次插入名字到数据库中，例如自己的名字是大葱将名字为大葱的值插入到了Redis数据库中。最后如果成功插入数据，Redis会返回字符串“OK”。
关于Redis批量写入的介绍
1、AOF命令写入的内容直接是文本协议格式，开启AOF后，所有写入命令都包含追加操作，直接采用文本协议格式，避免了二次处理开销。Redis提供了多种AOF缓冲区同步文件策略，由参数appendfsync控制。
2、redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string（字符串）、list（链表）、set（集合）、zset（sorted set --有序集合）和hash（哈希类型）。
3、redis提供两种方式进行持久化，一种是RDB持久化（原理是将Reids在内存中的数据库记录定时dump到磁盘上的RDB持久化），另外一种是AOF（append only file）持久化（原理是将Reids的操作日志以追加的方式写入文件）。
4、从MySQL中将数据导入到Redis的Hash结构中。当然，最直接的做法就是遍历MySQL数据，一条一条写入到Redis中。这样没什么错，但是速度会非常慢。
5、在SpringBoot项目中，通过RBuckets接口实现批量操作对个Bucket对象，示例如下：方法介绍：多个连续命令可以通过RBatch对象在一次网络会话请求里合并发送，这样省去了产生多个请求消耗的时间和资源。这在Redis中叫做管道。
通过Redis消息队列实现大文件处理
1、通过Redis做一个计数器 每读取一行记录数值，即使服务终止后，先从Redis读取这个数值 再通过cat指定行数开始读数据即可。 通过取模拆Key 分片到不同小Key存储 ，降低单个节点存储压力，也充分利用了存储资源。
2、这可以减轻数据库的负担，提高系统的响应速度和并发能力。Redis提供了多种队列数据结构，如列表（list）和集合（set），可以用来实现任务队列和消息队列等。
3、通常局限点来说，Redis也以消息队列的形式存在，作为内嵌的List存在，满足实时的高并发需求。
4、进行插入操作的端称为队尾，进行删除操作的端称为队头。消息队列是在消息的传输过程中保存消息的容器。
5、消息队列：Redis可以作为消息队列使用，支持消息的发布和订阅。通过使用Redis，可以提高系统的异步处理能力和灵活性。数据结构：Redis支持丰富的数据结构，如字符串、哈希、列表、集合、有序集合等。
6、Redis实现消息队列原理，常用的消息队列有RabbitMQ，ActiveMQ，个人觉得这种消息队列太大太重，本文介绍下基于Redis的轻量级消息队列服务。
如何高效地向Redis写入大量的数据
1、redis高并发的同时，还需要容纳大量的数据：一主多从，每个实例都容纳了完整的数据，比如redis主就10G的内存量，其实你就最对只能容纳10g的数据量。
2、从MySQL中将数据导入到Redis的Hash结构中。当然，最直接的做法就是遍历MySQL数据，一条一条写入到Redis中。这样没什么错，但是速度会非常慢。
3、在Redis上，一种方式是通过key user：123：username来获取结果value。如你所见，key的定义中携带了神秘信息（像user ids）。在Redis中，key的重要性可见一斑。（其他key-value数据库中key的地位也是如此。
4、通过Redis做一个计数器 每读取一行记录数值，即使服务终止后，先从Redis读取这个数值 再通过cat指定行数开始读数据即可。
5、数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。
6、第二，如果需要缓存大量的dto，动态数据（又称过程数据）一般用的是redis；如果是静态，系统启动时就加载的大量配置，一般考虑放ehcache。
