主要的基础概念有: Index,Type,Document,Field,shard和replicas.
Index(索引): 是具有相似特性的文档集合。
Type(类型): 在一个索引中可以定义一个或多个类型。
Documenet(文档): 索引信息的基本单位。
Field(字段): ES里更小的信息单位。
shard(分片)： 数据存储的方式
replicas(副本)：副本 数据备份
为了便于理解,我们和mysql这种关系型数据库做一个对比:
| 关系型数据库(如mysql,oracle等) | elasticsearch |
|---|---|
| database... |
ES负责存储、分析数据，但是这一切前提是需要有数据，ES本身是不能够收集数据的，数据的收集如何来做呢？我们可以通过两个软件来实现数据的收集，那就是：
Logstash:收集、处理数据然后交给ES
Beats:收集数据交给ES
两者不同点在于Logstash能够更像一个数据中转站，它能够收集数据，并且对收集的数据进行处理，所以logstash消耗的计算机资源也是比较大的。Beats只负责收集数据，将数据收集后交给ES，和logstash相比其消耗的计算机资源更少，可以忽略。
logstash是一个开源的数据采集工具,通过数据源采集数据.然后进行过滤,并自定义格式输...
elasticsearch-head是 ES集群管理、索引数据可视化、增删改查、查询语句可视化 工具。
ES集群管理 ES集群上的数据索引管理和查询 查看索引中的某条数据
从ES5版本后安装方式和ES2以上的版本有很大的不同,在ES2中可以直接在bin目录下执行plugin install xxxx 来进行安装,但是在ES5中这种安装方式变了,要想在ES5中安装Elasticsearch Head必须要安装NodeJs,然后通过NodeJS来启动Head。
官网下载地址:https://github.com/mobz/elasticsearc...
http://ES-head_ip:9100
概览：显示ES集群及节点状态
索引：索引管理
数据浏览：查看某个索引中的数据
基本查询：查询索引中的所有数据
复合查询：数据管理[上传数据、查看数据、删除数据 doc]
a、创建索引
选择索引标签–新建索引
索引名称:根据业务起名字
分片数：创建多少个shard分片
副本数：需要多少个ES集群节点存储
b、查看索引
可以看到新创建的索引 zuolaoshi_com_log 以及大小和文档数
也可以通过概述查看...
单节点的ES需要在处理大量数据的时候需要消耗大量内存和CPU资源，数据量大到一定程度就会产生处理瓶颈，甚至会出现宕机。为了解决单节点ES的处理能力的瓶颈及单节点故障问题，我们考虑使用ES集群。
优化数据处理能力：通过多台ES共同处理数据，提升处理能力，节省时间。
容错能力增强：解决了ES单点故障问题，让架构更稳定。
数据安全：分布式数据存储，数据更安全
实验部署准备
两台ES机器：node1、node2
同步时间：chrony
静态IP：192.168.8.21 192.168.8.22
关闭防火墙、selinux
配置ES yum源
部署步骤:
Elasticsearch(简称ES)是一个开源的分布式搜索引擎,Elasticsearch还是一个分布式文档数据库。所以它提供了大量数据的存储功能,快速的搜索与分析功能。
提到搜索,大家肯定就想到了百度,谷歌,必应等。当然也有如下的搜索场景。
关于软件获得
1、JDK 注意：下载页面，需要接受下载协议才能下载
jdk13 https://download.oracle.com/otn...运维人员需要对系统和业务日志进行精准把控，便于分析系统和业务状态。日志分布在不同的服务器上，传统的使用传统的方法依次登录每台服务器查看日志，既繁琐又效率低下。所以我们需要集中化的日志管理工具将位于不同服务器上的日志收集到一起, 然后进行分析,展示。
前面我们学习过rsyslog,它就可以实现集中化的日志管理，可是rsyslog集中后的日志实现统计与检索又成了一个问题。使用wc, grep, awk等相关命令可以实现统计与检索，但如果要求更高的场景，这些命令也会力不从心。所以我们需要一套专业的日志收集分析展示系统。
接下来设置grafana的报警通道
点击左侧铃铛图表—notification channels—Add channel
案例需求
通过prometheus监控MariaDB业务
案例分析 要监控mysql需要两个条件，一个是系统中有mysql，另一个是要有监控插件，现在监控插件我已经下载好了，所以我们要先安装mysql，然后进行相应的授权，让插件可以获取到所需要的信息，然后再设置相关插件，修改prometheus配置文件
[root@node2 node_exporter-0.18.1.linux-amd64]# dnf -y install mariadb-server mariadb
[root@node2 mysqld_exporter-0.12.0.linux-a...通过前面课程的学习我们知道了如何部署和设置prometheus，但是这个监控软件的展示界面实在是有些难看，所以我们换一个展示方式Grafana，是一个开源的度量分析和可视化工具（没有监控功能），可以通过将采集的数据分析，查询，然后进行可视化的展示,并能实现报警。
软件包获得
官方网站: grafana:https://grafana.com/
软件包安装
[root@manage01 ~]# dnf -y localinstall grafana-6.6.1-1.x86_64...
服务启动
#服务启动
[root@manage01...