logstash 入门介绍

原创 2018-02-24 17:49 阅读(150)次
       作为开源的服务器数据处理管道,可以同时从多个采集源(如beats,也可以是其他)接收数据,转换,在发到存储库(elasticsearch)中。过滤,实时的解析和转换多种多样的输出选择可靠性安全和监控logstash能做什么:过滤,实时的解析和转换       数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。       Logstash 能够动态地...

Beats 入门介绍

原创 2018-02-24 16:23 阅读(324)次
Beats官方给出的介绍如下Beats 平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。其实这个功能在我好几年前(第一家公司的时候)曾经开发过类似的产品,是从很多网络设备上获取状态,生成日志再分析的系统。我最先介绍他,是我相信很多大数据项目中,数据采集是非常重要的,甚至比之后放到hadoop或者elasticsearch分析来得重要(ma fan)。因为采集需要适配各种不同的源头,每多一种源头就需要编写一类采集器。举例:美图公司为了采集数据,也自己开发了一个"育母蜘蛛&quo...

Elastic Stack 介绍

原创 2018-02-24 11:43 阅读(123)次
说起elasticsearch知道的人一定不少,但它其实已经发展出了很多衍生的框架来辅助。Elastic Stack就是这些框架的统称。如果你只是需要用elasticseach来做一些数据存储和搜索,那可以跳过本文直接看下面的文章,但如果你跟我一样是一个总是什么事都想尽量知道更多人,不妨花点时间看完它。Elastic Stack目前包含(但不限于) 1.   大名鼎鼎的Elasticsearch,可以用来搜索、分析和存储您的数据。Elasticsearch 是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展、高可用和管理便捷性而设计。2.  &n...