日志系统

B站日志系统

B站的日志系统(Billions)从2017年5月份开始建设,基于elastic stack,面向全站提供统一的日志采集、检索、监控服务。目前集群规模20台机器,接入业务200+,单日日志量10T+。...
阅读全文
ELK

ELK logstash 处理多行事件(25th)

有些日志是分多行输出的,为了能正确的处理这些多行的事件,logstash必须哪些行是单一事件的一部分。多行事件处理是比较复杂的,需依赖正确的事件顺序。最佳方法是尽早的在管道中处理以保证日志有序。这就是...
阅读全文
ELK

ELK logstash 结构(22nd)

在命令行中指定-e参数,从标准输入到标准输出,并格式化结果。 logstash会给事件添加一些额外的信息,如@timestamp,标注事件发生的时间。host标注事件发生的主机。此外,还可能有下面几个...
阅读全文
ELK

ELK beats通用配置说明(12th)

Beats配置文件是以YAML语法,该文件包含用于所有的beats的通用配置选项,以及其特点的选项。下面说说通用的配置,特定的配置要看各自beat文档。 通用的配置如下几部分: Shipper Out...
阅读全文
ELK

ELK elasticsearch 1.7.2 升级到 2.0.0(7th)

前一文费了老大劲闲扯了半天快照与恢复,就是为了本文升级做准备的。在升级前需考虑下面三件事: 查看阅读新版本的更改内容 在测试环境下测试升级 升级之前备份数据,升级后是不能再回滚到旧版本的 elasti...
阅读全文
ELK

ELK 部署指南

Logstash是一个开源的用于收集,分析和存储日志的工具。 Kibana4用来搜索和查看Logstash已索引的日志的web接口。这两个工具都基于Elasticsearch。 Logstash: L...
阅读全文