消息队列是分布式系统中重要的组件,使用消息队列主要是为了通过异步处理提高系统性能和削峰、降低系统耦合性。
一、基础
Logstash作为数据收集引擎,它支持动态的从各种数据源采集数据,并对数据进行过滤、分析、转换、统一格式等操作,然后传输到用户指定的位置,一般会发送给Elasticsearch。它由Ruby语言编写,运行在Java虚拟机上。
二、原理
- Logstash管道(Logstash Pipeline)是Logstash中独立的运行单元,每个管道都包含两个必须的元素:输入(input)和输出(output),以及一个可选的元素过滤器(filter)。事件处理管道负责协调它们的执行。 输入和输出支持编解码器,使您可以在数据进入或退出管道时对其进行编码或解码,而不必使用单独的过滤器。