首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    江湖秘笈:说烦了破解、渗透等,不如大家一起聊聊硬盘加密?

    一天一点 Hello,看官们,恭喜你们艰苦的熬过了这周,并且在众多忙碌的工作中解放出来。 明天就是黄金周,紧随而来的是周一元旦佳节,虽然这个假期很短,整体时间只有三天,但是对懒人来讲,睡个觉还是足够的啦。至于勤快人嘛,还是不要嫉恨光阴似箭啦。 由于是本周最后一天,因此今天的内容要稍稍的放点水,毕竟2 cats大侠我还有其它事情要做,偶尔偷下懒也是可以理解的啦。 神奇的加密卷轴工具软件 今天为众看官们带来的内容时加密,一款可以帮助我们这些安全审计人员或是系统运维人员进行数据加密的工具化手段。 相信稍微

    06

    存储基本概念(3)

    将数据保存在存储介质上,除了需要一个好的存储介质之外,还需要一个适当的机制去管理这些存储介质上的数据,以便上层应用包括操作系统可以方便快捷的访问到这些数据。传统上我们知道进行磁盘管理都是通过一些工具进行操作的,那么这些工具是否一定与操作系统有关呢?不是的,因为从操作系统角度来看,操作系统虽然一般具有文件系统管理功能,但本质上文件管理系统它是比较独立的一个功能,显然可见的,就是操作系统可以支持多个文件系统,如LINUX支持ext2,ext3等,Windows 7扶持fat32也支持NTFS,实际上LINUX也是支持NTFS的。从文件系统角度来看,文件系统将数据以文件、目录方式进行。组织。那么从磁盘的角度来说,应该怎么管理这些空间呢?我们前面了解到磁盘一般都分磁道和扇区,那么这些磁盘和扇区是如何与文件系统对应上的呢?。这里需要了解磁盘管理的两个关键:磁盘分区和磁盘格式化。进行磁盘管理一般都是采用一些专用的工具进行的,这些工具可以实现我们想要的如磁盘分区和格式化功能。通常将磁盘划分成多个分区(partitions),然后操作系统通过磁盘驱动程序来读取这些硬盘上的分区信息。一般的LINUX上根据不同的接口类型显示分区名,如IDE接口是hde[1—],SCSI接口是sda[1—]等,在Windows上通常分为C、D、…等。当硬盘分成各个不同大小的区后,格式化软件会将这些区再细分成不同的文件系统管理格式,比喻说C盘是NTFS格式,D盘可能是FAT32格式。同样在LINUX下也是将文件目录mount到指定分区的。因此分区对磁盘非常重要。这里讲述几个常见软件的操作:

    02

    Ubuntu系统安装

    注意问题: 1.Ubuntu系统软件源选择,选择为中国的源。 2.VM网络连接方式:桥接或者与本机网络相同。 3.VM与主机共享文件夹:在工具栏里选择VM Tools,安装,然后选择共享。 4.快照,快照。系统有什么大的改动,记得快照。 5.主机与VM读取U盘,SD卡,DVD盘驱动的选择,以及优先级。 6.系统的备份。 7.到现在也没有解决的问题:在做自己的ARM Rootfs的时候,解压完Rootfs包时,重启Ubuntu系统,系统就会奔溃,无法恢复,至今没懂为什么,猜测可能是内核的问题。错误的地方也没有保存。 2.Ubuntu系统的安装 在VM文件系统多次奔溃之后,就选择了把自己两年前报废的笔记本翻出来,当时一杯水倒上去,然后怎么装系统都不行的笔记本,买了一套维修电脑工具,拆电脑,清灰,重装系统。

    03

    图解:Kafka 水印备份机制

    高可用是很多分布式系统中必备的特征之一,Kafka 日志的高可用是通过基于 leader-follower 的多副本同步实现的,每个分区下有多个副本,其中只有一个是 leader 副本,提供发送和消费消息,其余都是 follower 副本,不断地发送 fetch 请求给 leader 副本以同步消息,如果 leader 在整个集群运行过程中不发生故障,follower 副本不会起到任何作用,问题就在于任何系统都不能保证其稳定运行,当 leader 副本所在的 broker 崩溃之后,其中一个 follower 副本就会成为该分区下新的 leader 副本,那么问题来了,在选为新的 leader 副本时,会导致消息丢失或者离散吗?Kafka 是如何解决 leader 副本变更时消息不会出错?以及 leader 与 follower 副本之间的数据同步是如何进行的?带着这几个问题,我们接着往下看,一起揭开 Kafka 水印备份的神秘面纱。

    01

    MapReduce整体介绍

    MapReduce框架(Map/Reduce) MapTask/ReduceTask 数据分发机制             MapTask接口实现类 : 对一行数据进行处理,map方法             ReduceTask接口实现类:对一组数据进行处理,reduce方法         MapReduce工作机制         划分输入切片: 数据切片             job.split文件         分布式数据处理         K相同的KV数据分配给同个ReduceTask         组合拳:CompareTo + Partation + Group         分区控制/分组控制         MapReduce编程模型             map task的实现                 读数据:TextInputFormat                          SequenceFileInputFormat                          DBInputFormat                 portation 分区                 调用Partitaioner 的getPartition 决定数据分区             reduce task的实现                 读数据:下载"区"数据,并且合并多个"同区"并且排序                 写数据:TextInputFormat                         SequenceFileOutputFormat                         DBOutputFormat             GroupingComparator:分组                 确定那些数据属于同一组         对倾斜数据的处理             1. 通过Combiner组件进行maptask端局部聚合数据减轻倾斜影响             2. 通过打算倾斜数据来消除倾斜的影响,通过在Key值后面添加随机值,这样就可以均衡的分布在ReduceTaks端。         MapReduce编程模型具体实现及处理流程:             MRAppMaster                 YarnChild(maptask/reducetask)                     main()                 1. MapTask:                     ->TextInputFormat                         ->LineRecordFromat                             ->Mapper                                 ->map()                                     ->context   --->  MapOutputCollector 环形缓存,存在大小限制                                                         ->spilter (80%) 分区(partation),排序(compare)                                                         ->write 溢出文件(可能包含多个文件,有序文件) 写本地磁盘                                                         ->merge 分区有序,分区索引文件                     多个maptask会生成多个merge文件                 2. Shuffle: Store && Rest                     map task 生成的数据传输给reduce task 的过程                    多个maptask会生成多个merge文件,这些文件会保存在NodeManager中,NodeManager具有Web服务,ReduceTask会通过Web服务下载merge文件,进行处理                         3. ReduceTask                     -> http下载:从多个DataManager中下载merge文件下载单个分区的KV数据,多个文件合并为一个文件

    01
    领券