1. Kafka架构 生产者（producer）：生产资源的 消费者（consumer）：消费资源 broker（缓冲）：中间缓冲器 topic（标记）：谁来消费 2. 配置Kafka1. 配置ZK 解压 配置ZK_HOME 配置PATH 修改 zk.cfg 修改存储位置 zkServer.sh 启动 2. 配置Kafka 配置HOME以及PATH 修改 server.porperties 注意以下几个条目 123456$KAFKA_HOME/config/server.proper...

Read More

1. 基本架构1. 结构source 源数据：目录/ channel 数据管道 sink 数据输出 2. 几种结构形式 单个的Flume 多个Flume串行工作，前一个Flume的sink作为后一个的source 多个Flume并行工作然后最后用一个Flume进行合并这行并行收集的数据 多个Flume并行工作，分别传送到不同的目的地 2. 安装1. 安装JDK解压到 /app将java配置系统环境变量中：/.bash_profileexport JAVA_HOM...

Read More

1.x 删除后面的字符 X 删除前一个字符 删除3个字符就是3x2.caw:改写单词3.J:删除换行符，使下一行并上来。 nJ:连接连同本行的n行4.u:撤销上一次操作 U:撤销当前行的所有修改5.i 在光标前插入 I 在行首插入6.a 在光标后插入 A 在行末插入7.o:在当前行的下面另起一行，并变为插入模式 O：在当前行上面另起一行，变为插入模式8.vim中Nyy可以复制光标后的N行。有时我们不容易得出行数，这时可以用做标记的方法来制定复制范围 1. 在开始行...

Read More

1. 基本语法1. 变量 var123var name:string="hello";var name="hello";var num=3.0; 2. 常量 val1val name="string"; 3. 这里是没有 ++ 操作和 – 操作的4. 函数调用不用使用对象来调用，导入包以后直接调用即可 1234import scala.math._sqrt(2);pow(1,2);min(1,2); 5.apply()默认调...

Read More

1. 基本原理其实在 SparkStreaming 中和之前的Core不同的就是他会把任务分成批次的进行处理，也就是我们需要设置间隔多久计算一次。 我们从网络，文件系统，Kafka 等等数据源产生的地方获取数据，然后SparkStreaming放到内存中，接着进行对数据进行计算，获取结果。 在一个Spark应用程序启动以后会产生一个SparkContext和一个StreamingContext，后者是基于前者的，接着就是每一个集群的单节点上就有Executor 这些Executor中是有R...

Read More

1.基本概念1. 图像的定义 图像：一幅图像是一个东西的另一种表示，是其所表示物体信息的一个浓缩和高度概括。 2. 图像分类1. 模拟图像：连续变化的函数2. 数字图像：离散的矩阵表示数字图像的定义:数字图像是指由被称为像素的小区域组成的二维矩阵。 数字图像类型： 二值图像：只有0、1 （黑、白） 灰度图像：像素取值是 0-255 ，有中间过度。 彩色（索引）图像：两个矩阵，一个就是灰度图像的矩阵，另外一个是颜色映像表矩阵对应使用。 GRB彩色图像：每个像素由 RGB 组成。这是...

Read More

1. Docker 简介直接运行于操作系统内核上的虚拟化解决方案，他是一个操作系统级别的虚拟化也就是说容器只能运行在相同或者相似的内和操作系统之上的。所以我们只能在 docker 中运行 Linux 系统而不能运行 Windows 系统。他是依赖于 Linux 的内核特性：Namespace 和 Cgroup （Control Group）。 1. VM vs Docker 可以看到，在虚拟机上我们需要包含到细腻华技术和操作系统，但是我们在 Docker 中只需要依赖底层的操作系统，和...

Read More

1. 处理静态资源静态资源直接放在 webapp/web 下，而我们的模板一般是在 WEB-INF 下，但是 WEN-INF 下的东西一般不让访问的，模板之所以能访问到是因为有模板引擎的映射，但是我们的警惕资源应该是直接能访问的东西，直接放在 web 下类似于 jsp 直接访问，而不能放在 WEB-INF 下，并且我们要开启静态资源访问 <mvc:default-servlet-handler/> 2. Thymeleaf 乱码问题一开始除了乱码想着直接在 web.xm...

Read More

今天一开始直接用了 Idea 来创建一个 SpringMVC+Spring+Mybatis+Thymeleaf 的项目，一开始还是挺顺利的，除了在 Thymeleaf 那个地方卡了一下，后面项目还是顺利跑起来了。 接着想用 Maven 搭建，因为一开始用 Idea 生成的项目使用的手动导入 jar 这样非常费力，为了一劳永逸和简单就采用了 maven 来构建项目。最后发现自己陷入了一个大坑，好久没有跳上来。 接着我就把用 Maven 搭建 SpringMVC + Spring + Myba...

Read More

1. 技巧：1. 选中双击选中，三击选中整行，选中即复制。即任何选中状态的字符串都被放到了系统剪切板中。 2. command 可以拖拽选中的字符串； 点击 url：调用默认浏览器访问该网址； 点击文件：调用默认程序打开文件 3. 快捷键 切换 tab：⌘+←, ⌘+→ 切换分屏：⌘+[/] 新建 tab：⌘+t； 切分屏幕：⌘+d 水平切分，⌘+Shift+d 垂直切分； 智能查找，支持正则查找：⌘+f。 命令 说明 command + t 新建标签 command ...

Read More