HBase 组件安装与配置


HBase 组件安装与配置

1.HBase 安装与配置

[root@master local]# tar -xvf hbase-1.7.1-bin.tar.gz  -C /usr/local/

[root@master local]# ln -s /usr/local/hbase-1.7.1/ /usr/local/hbase

# 在所有节点添加环境变量
[root@master ~]# vi /etc/profile
export HBASE_HOME=/usr/local/hbase

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/b...

Read more

ZooKeeper组件安装配置


ZooKeeper 组件安装配置

1.安装 ZooKeeper

# 准备好ZooKeeper安装包
[root@master software]# tar -xvf apache-zookeeper-3.5.9-bin.tar.gz -C /usr/local/
[root@master software]# cd /usr/local/
[root@master local]# ln -s /usr/local/apache-zookeeper-3.5.9/  /usr/local/zookeeper
[root@master local]# chown hadoop.hadoop -...

Read more

Docker 容器的备份与迁移


Docker 容器的备份与迁移

1.将容器保存为镜像

我们可以通过以下命令将容器保存为镜像

docker commit 容器名 镜像名

2.镜像备份与恢复

我们可以通过以下命令将镜像保存为tar 文件

docker  save -o 镜像.tar 镜像名

然后执行load命令进行恢复

docker load -i xxxx.tar
# -i 输入的文件

我们可以基于这个镜像来创建一个容器,例如

docker run -di --name=容器名 -p 81:80 镜像名

Read more

Hive 组件安装与配置


Hive 组件安装与配置

1.基础环境和安装准备

Hive 组件的部署规划和软件包路径如下:

(1)当前环境中已安装 Hadoop 全分布系统。

(2)本地安装 MySQL 数据库(账号 root,密码 root123)

(3)MySQL 端口号(3306)。

(4)MySQL 的 JDBC 驱动包/opt/software/mysql-connector-java-5.1.49.jar,

在此基础上更新 Hive 元数据存储。

(5)Hive 软件包/opt/software/apache-hive-2.3.9-bin.tar.gz

2.安装 MySQL

# 1.下载MySQL
wge...

Read more

Hadoop环境搭建


Hadoop环境搭建

1.配置Linux基础环境

# 获取IP
[root@base ~]# ifconfig |grep  inet|head -1
        inet 192.168.91.10  netmask 255.255.255.0  broadcast 192.168.91.255
 # 设置主机名
[root@base ~]# hostnamectl set-hostname master
[root@base ~]# hostname
master
# 绑定主机名和IP地址
[root@base ~]# vim /etc/hosts
192.168.91.10  ...

Read more

网络安全之Web开发-Day02


HTML快速入门

2.1 HTML简介

HTML快速入门

2.1 HTML简介

2.1.1 什么是 HTML?

HTML 是用来描述网页的一种语言。

  • HTML 指的是超文本标记语言 (Hyper Text Markup Language)
  • HTML 不是一种编程语言,而是一种标记语言 (markup language)
  • 标记语言是一套标记标签 (markup tag)
  • HTML 使用标记标签来描述网页

2.1.2 HTML 标签

HTML 标记标签通常被称为 HTML 标签 (HTML tag)。

  • HTML 标签是由尖括号包围的关键词,比如
  • HTML 标签通常是成对出现的,比如 ...

Read more

网络安全之Web开发-Day01


1.1. Web技术演化

1.1.1. 静态页面

Web技术在最初阶段,网站的主要内容是静态的,大多站点托管在ISP(互联网服务提供商)上,由文字和图片组成,制作和表现形式也是以表格为主。当时的用户行为也非常简单,基本只是浏览网页。

1.1.2. 多媒体阶段

随着技术的不断发展,音频、视频、Flash等多媒体技术诞生了。多媒体的加入使得网页变得更加生动形象,网页上的交互也给用户带来了更好的体验。

1.1.3. CGI阶段

渐渐的,多媒体已经不能满足人们的请求,于是CGI(公共网关接口)应运而生。CGI定义了Web服务器与外部应用程序之间的通信接口标准,因此Web服务器可以通过CG...

Read more

Pandas的透视表


透视表

  • 透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表,也体会到它的强大功能,而在pandas中它被称作pivot_table。

  • 透视表的优点:

    • 灵活性高,可以随意定制你的分析计算要求
    • 脉络清晰易于理解数据
    • 操作性强,报表神器
# 使用pivot_table创建透视表
pivot_table(data,         # DataFrame
      values=None,        # 值
      index=None,         # 分类汇总依据
      columns=None,       ...

Read more

Pandas分组处理数据


数据分组聚合

import numpy as np
import pandas as pd
from pandas import DataFrame

替换操作

  • 替换操作可以同步作用于Series和DataFrame中
  • 单值替换

    • 普通替换: 替换所有符合要求的元素:to_replace=15,value='e'
    • 按列指定单值替换: to_replace={列标签:替换值} value='value'
  • 多值替换

    • 列表替换: to_replace=[] value=[]
    • 字典替换(推荐) to_replace={to_replace:value,to_replace:v...

Read more