Nginx基础

• 1-Nginx简介与安装
• 2-Nginx全局配置
• 3-Nginx日志配置
• 4-Nginx路径配置
• 5-Nginx重写与重定向
• 6-Nginx虚拟主机
• 7-Nginx配置https

Nginx进阶

• 1-Nginx反向代理
• 2-Nginx负载均衡
• 3-Nginx灰度发布
• 4-Nginx平滑升级
• 5-Nginx优化配置
• 6-Nginx缓存配置
• 7-Nginx访问控制
• 8-Nginx跨域配置

Nginx动态网站

• 1-CentOS7 YUM搭建LNMP
• 2-Ubuntu APT搭建LNMP
• 3-源码编译安装LNMP
• 4-Nginx动静分离实战
• 5-Nginx与PHP-F...

阅读全文 →

MySQL函数，是一种控制流程函数，属于数据库用语言。

MySQL数据库中提供了很丰富的函数。MySQL函数包括数学函数、字符串函数、日期和时间函数、条件判断函数、系统信息函数、加密函数、格式化函数等。通过这些函数，可以简化用户的操作。

一、数学函数

1.1、函数概述

MySQL函数是MySQL数据库提供的内部函数。这些内部函数可以帮助用户更加方便的处理表中的数据。

1.2、数学函数概述

数学函数是MySQL中常用的一类函数。主要用于处理数字，包括整型、浮点数等。

1.3、常用数学函数

1.3.1、abs()

abs(X):返回X的绝对值

mysql> select abs(-32...

阅读全文 →

• 1-ELK介绍
• 2-使用Docker部署ELK
• 3-ELK-Elasticsearch快速入门
• 4-ELK-单机部署Elasticsearch
• 5-ELK-部署Elasticsearch集群
• 6-ELK数据管理工具ES-Head部署
• 7-ELK数据管理工具ES-Head应用
• 8-ELK-数据管理
• 9-ELK-Logstash日志收集
• 10-ELK-beats数据采集
• 11-ELK-kibana数据展示
• 12-ELK收集nginx access_log日志
• 13-ELK-收集mysql slow 日志

阅读全文 →

案例分析

开发和DBA为了能够实时掌握mysql的运行情况，需要对mysql中执行的sql指令大于1秒的统计出来，并且通过ELK分析，统计，实时查看。通过分析可以让DBA能够优化数据库，能够提升运行速度。

一、MySQL设置

a、mysql安装

安装脚本

mysql默认root密码更改

[root@node4 mysql]# mysql_secure_installation

b、mysql slow日志开启

#开启slow log
slow_query_log=1
slow_query_log_file=/usr/local/mysql/mysql-slow.log
long-...

阅读全文 →

一、分布式存储介绍

我们知道NAS是远程通过网络共享目录, SAN是远程通过网络共享块设备。那么分布式存储你可以看作拥有多台存储服务器连接起来的存储输出端。把这多台存储服务器的存储合起来做成一个整体再通过网络进行远程共享,共享的方式有目录(文件存储),块设备(块存储),对象网关或者说一个程序接口(对象存储)。

常见的分布式存储开源软件有:GlusterFS,Ceph,HDFS,MooseFS,FastDFS等。

分布式存储一般都有以下几个优点:

1. 扩容方便，轻松达到PB级别或以上
2. 提升读写性能或数据高可用
3. 避免单个节点故障导致整个架构问题
4. 价格相对便宜，大量的廉价设备就可以组成，比光纤S...

阅读全文 →

一、案例分析

公司为了每天都能够随时看到公司WEB业务的实时运行情况，希望运维通过分析access.log日志信息，实时展示一下数据给公司的运营部门：

• 统计不同返回值的数量
• 统计访问前5名的IP地址
• 统计每日PV
• 统计每日UV
• …….

二、nginx access_log定义json格式日志

• 部署nginx
• 设置nginx 访问日志为json格式

a、部署nginx服务

[root@node4 ~]# tar xf nginx-*.rpm
[root@node4 ~]# cd nginx-*.rpm
[root@node4 ~]# yum -y install pcre-deve...

阅读全文 →

一、beats介绍

因为logstash太费内存了,如果在要采集的服务上都安装logstash,你可以想象这样这样资源消耗多高。所以我们要用轻量级的采集工具才更高效,更省资源。

beats是轻量级的日志收集处理工具，Beats占用资源少

• Packetbeat： 网络数据（收集网络流量数据）
• Metricbeat： 指标 （收集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
• Filebeat： 文件（收集日志文件数据）
• Winlogbeat： windows事件日志（收集 Windows 事件日志数据）
• Auditbeat：审计数据 （收集审计日志）
• Heartbeat：运...

阅读全文 →

学习数据采集、数据分析的时候，我们一般验证都是通过ES-head来查看的，虽然解决了验证问题，但是界面友好度还是比较差，为了解决这个问题，我们可以通过学习kibana之后，通过kibana进行数据展示。

一、kibana部署

1.1、kibana介绍

Kibana是一个开源的可视化web平台,【是什么】

可以为ElasticSearch集群的管理提供友好的Web界面,帮助汇总,分析和搜索重要的日志数据。【干什么】

文档路径: https://www.elastic.co/guide/en/kibana/current/setup.html

1.2、kibana安装部署

部署前准备

• 机器...

阅读全文 →

一、elasticsearch基础概念

主要的基础概念有: Index,Type,Document,Field,shard和replicas.

Index(索引): 是具有相似特性的文档集合。

Type(类型): 在一个索引中可以定义一个或多个类型。

Documenet(文档): 索引信息的基本单位。

Field(字段): ES里更小的信息单位。

shard(分片)： 数据存储的方式

replicas(副本)：副本 数据备份

为了便于理解,我们和mysql这种关系型数据库做一个对比:

阅读全文 →

ES负责存储、分析数据，但是这一切前提是需要有数据，ES本身是不能够收集数据的，数据的收集如何来做呢？我们可以通过两个软件来实现数据的收集，那就是：

Logstash:收集、处理数据然后交给ES

Beats:收集数据交给ES

两者不同点在于Logstash能够更像一个数据中转站，它能够收集数据，并且对收集的数据进行处理，所以logstash消耗的计算机资源也是比较大的。Beats只负责收集数据，将数据收集后交给ES，和logstash相比其消耗的计算机资源更少，可以忽略。

一、logstash介绍

logstash是一个开源的数据采集工具,通过数据源采集数据.然后进行过滤,并自定义格式输...

阅读全文 →