45.腾讯云EMR-实时数仓搭建-DIM层-思路分析 3原创

好，那接下来呢，我们继续讨论这个问题啊，嗯，还有一点东西需要再次进行一个说明，因为到目前来说呢，还没有完全的解决掉这个问题啊。呃，还有什么问题呢，是这样子的。呃，如果说咱们用定时任务这种方式啊。注意这个定制任务不是说我未来的某一个时间执行一次，对吧，它是每隔一段时间就要执行一次，就是一直是一个循环，一直要去加载这个配置信息啊。好。它呢倒还好，因为比如说我们要做这个过滤的那V，我们想着用filter对吧，那V呢，你写一个rich filter对吧，然后呢，里边often方法里边开一个定时任务不断去执行，然后呢，它里边有一个非要的方法去在这里边用他查到的数据啊，查到数据呢，可以写一个全局的变量在这里边用，对吧？啊，那这个没有问题啊，这就正常用，关键在于它。他的话呢，有什么问题呢，对吧，首先嗯，咱们是不是有一个这个主流，就是消费这个topic DB的一个流。

对吧，咱们这个啊，然后接下来呢，你还有一个读取配置文件的一个流。对不对，你还有读取配置文件的一个流，也就是说这是两个流。而且呢，呃，我们在处理这个在家主流啊，这个叫配置流可以吧，叫配置流，这样好称呼一点啊，那我们要处理主流数据要干什么，要对主流数据做过滤。对吧，这核心的要做这个过滤好，那要怎么过滤呢？要依赖配置流里边的数据做过滤，对不对。好，那问题来了，这两个理由我们怎么操作呢？啊。那这玩意儿我应该怎么操作呢。

就是说。我怎么样？把这个数据给他用呢。给他用的好，两个答案，一个是join，一个呢说广播。对吧。一个是join，一个是广播流，对吧，那其他同学呢，有没有什么想法。啊，有的同学说join一个是说这个广播啊。你占邓总是吧？啊，有没有占韩总的。

想一想这个东西我们应该怎么处理啊，占邓邓总扣一啊，占韩总扣二是吧。有想法的直接说啊，允许有三啊，有其他想法的可以直接说。啊，不敢站，没有想法，完全没有自己想法，也不站队啊。啊，邓总队伍又多了一员。什么叫搞个map存起来？你搞个map存起来。现在的问题是。他俩应该要怎么做，怎么处理，这是两个流，你搞个麦克存起来，我就不太懂了，淘淘你你你说的这个我就不太懂，什么意思，你知道吗？啊，邓总又改了，先照引再广播。啊。有时照应在广播。

嗯，这样我问你邓总，你看了赵毅吗？刘的draw你提前看了是吗？包括这个弗Li的soer的draw你提前看了是吗？留的drawing，你看没看？讲了一点是吧。啊，西招引还广播啊。你后来都要广播了，你前面做招引的意义何在呢啊，邓总。你知道你你应该是我感觉啊，大家对于赵云不熟啊，不熟，这里边其实没撞你什么事，你知道吗。对，你connect都比join好。

你知道吗？Connect啊，Connect的其实就是先做成广播流，再connect的桌不行啊。装不行，你知道吗？Join的话，他他要求你要给一个时间，如果你不给它默认的就永久对吧，诶也不是默认永久啊，就是必须要给一个这个时间范围，就是说你join这个数据对吧，那我得给一个时间范围。啊，得给个时间范围，但其实你想想看，你这个是主流，它是实时表啊，表一直在来，对吧，这个数据维度表一直在来啊，那你这个维度信息是不是应该要永久存储啊，你没办法给范围。是不是你没有办法给定一个时间范围，所以说这里边儿没招人的事儿。其实。知道吗？其实没有照应的事儿。对吧。啊，其实我们学过两个流的操作，到目前为止呢，学过connect，学过draw啊，但是呢，Draw它是要设置这个时限的，就是你要有时间要求，但是你想啊配置信息，你你说设置多长时间合适啊。

配置信息，你告诉我在状态里边待待多久合适？啊。你觉得待多久合适呢？是不是应该永久啊？对吧，应该永久啊，所以但是join呢，他必须要求你给一个时间嘛，那这个就不太对了。对吧。啊。能明白吗？啊，这个这个需求不太适合照影啊，那我们两个流的操作，那还剩一个什么connect，还剩一个union，那这个地方union肯定不适合，因为两个流的结构不一样，对吧，你UN成一个流，你还不好处理的，肯定两个流分开对吧？啊那就connect。好，那就connect好，呃，那这里边又有什么广播什么事呢？为什么有同学提到广播呢，对吧？那connect的时候我是不是可以连接一个广播流啊，直播间的人数怎么就剩下66个人了。啊，有的同学，有的人呢，走着走着就散了，有的人是听课听着听着就没了，对吧，其实66个人。

我。芳芳还有一个辅导老师，我们三个人，那其实只有63个人了，只有63个人了，71个人，剩63个人，还有八个人不知道哪去的。对吧，可能听着听着课就没了，人没了啊。就光天天签个到是吧啊，就来忽悠忽悠我啊，其实不是忽悠我忽悠你自己好吧啊找工作的时候。嗯，就就知道了啊，后悔就来不及了啊，就听到个人少了，你看现在直播间我只看到66个人，除了三个老师，那只剩下63个人。对吧，加一个请假的啊，那就总共70个，那就是也就是说63个。也就剩七个人，现在65了，现在65了，又回来一个66了，对吧。嗯。好，那聊回来，我们用connect就用connect呗，这里面哪有这个什么这个什么叫。

广播有什么事呢？对吧，啊，那有广播有什么事呢啊来。对吧，啊来看一下啊，比如说我们现在呢，是一个主流跟这个。连接对吧，主流跟它的一个连接啊好。那假如说我们有两个平行度啊。我有。零一两个变异度处理这个数据对吧，为什么这里面有同学提出来广播，我不知道是预习了还是怎么样啊，那无所谓了啊，先提出来，我们就聊一聊这个广播的这个事儿啊，怎么广广播怎么来的，对吧，那我们想啊。对于他而言呢，嗯，我们数据呢，比如说我配置信息啊。配置信息有AB2个表。啊，那肯定要有表明嘛，对吧，现在我们不知道配置信息里面具体写什么，那起码表明要有，我们肯定知道的，对吧？啊有AB2张表没毛病吗？好，既然你B度为二，那么就按照轮询的规则，A的配置信息在这儿，B的配置信息在这个位置，对吧？我可以把它呢存到状态里边，永久存储，我不清这个状态就行了，因为这个是我们手动控制的connect里边状态是不是我们手动控制的对吧？好，那主流主流数据呢，A1。

啊，这样我写小写的啊。主流数据呢，比如说有A1A2，有B1B2，好按照轮询，A1呢进这，A2呢进这，B1呢进这，B2呢进这。好，那我们肯定要找配置信息过滤吧，一找A诶找到了找到了，保留B呢没找到，因为在这个病度里边没找到，对吧，干掉好，那这个A呢没找到，B呢，找到了，诶那发现这个数据要不要，这两条数据是不是也是需要的？但是你由于多病因度，他在这个病因度当中找不到它的配置信息，它是不是就不要了对吧。啊，所以这里边儿引入了什么叫广播啊，把这个配置信息做成一个广播流，那未来广播流我的状态里边是不是有AB2个，这边也有AB2个，对吧，就保存了吧。

是不是？就保存了，其实还有一种方式，其实还有一种方式可以解决，不用广播也可以解决，怎么做呢？对这两个流啊。先按表明K。懂吗？KBY这里面呢，写表明啊呃，KBY以后再去连接。那我按表明KBY了，我这边是A，那A1A21定在这个密度对吧？好，那这边有B啊，那B1B21定在这个密度，它就能找到，因为你可办了。对吧，啊，你都是根据两个理由，都是根据同一个字段替代的，那么它一定能保证在同一个。冰路里边，但是这种呢，容易产生数据倾斜是不是。对吧，而我们的配置信息量又不大，那我广播呢，缺点就在于什么，它冗余。

对吧？广播缺点在于冗余对吧？但是你数据量不大无所谓啊，冗余就冗余呗，这块能不能听得懂，也就是说我们要做的事情呢，主流正常处理对吧？而配置流我们要把它做成广播流，与主流进行连接，OK吗？没有问题，给我扣一好吗？啊，不是照应啊，跟照应没关系。啊，看来邓总在班上应该还可以啊，就是平时平时应该也学的还可以啊，就是他说了一个方案之后呢，挺他的人还蛮多啊，就站郑总啊，他不好意思，郑总坑了你们，把你们带错了，对吧。刚才有好几个同学站邓总嘛。其实这个地方呢，我们要把配置信息做成一个广播流，对吧，做成广播流，然后呢，与主流进行一个连接，这样的话我们就不会丢数据了啊好，这是我们最后要讨论这个点，因为呃，最后一个点呢，它是有两个流嘛，它是有两个流构成的，所以呢，我们再讨论一下这两，对于这两个流我们应该怎么去处理，对吧，这个意思啊。