回归模型演示

1373 views

实验四、回归模型演示

一、实验目的

  • 1.理解线性回归和对应参数调节。
  • 2.掌握使用任意公式进行广义线性回归拟合的方法。

二、实验内容

  • 1.调用 sklearn 的多项式特征 PolynomialFeatures 进行多项式拟合。
  • 2.调用逻辑斯蒂回归直线 LinearRegression 进行线性拟合。
  • 3.使用任意函数为 curve_fit 调用以拟合任意规律数据。

三、实验步骤

  • 1、线性回归 利用 sklearn 用于学习逻辑斯蒂回归直线的 LinearRegression 和多项式转换 PolynomialFeatures 可以拟合多项式曲线。
  • 2、广义线性回归...

Read more

数据预处理演示

1314 views

实验六、数据预处理演示

一、实验目的

  • 1.了解数据集的 z-score 标准化。
  • 2.掌握数据集的不同降维方式。

二、实验内容

  • 1.调用 StandardScaler 进行数据集的 z-score 标准化。
  • 2.调用 PCA 和 LDA 进行数据集的降维。

三、实验步骤

  • 1、数据降维 关于数据降维，sklearn 库提供了常见的2种降维方式：PCA 和 LDA。若想要知 道数据的方差比，可直接在不降维的数据上使用 explained_variance_ratio_查 看方差比决定降多少维数据。为了验证降维效果，使用倒序循环，维度从高到低 降维，观察分类器分数。
  • 2、P...

Read more

分类预测基本流程演示

1320 views

实验五、分类预测基本流程演示

一、实验目的

1.了解在流水线上进行数据分类预测的方法。

二、实验内容

1.调用 pipeline 进行整个数据处理流程的调用。

2.调用 train_test_split 进行数据集的分割。

三、实验步骤

使用 train_test_split 可拆分数据，保留一部分数据进行测试，以尽量避免过 拟合，保留一部分数据做测试训练模型用，改变 random_state 还可以改变分离 数据的位置，test_size 默认是 0.25，可通过这个变量改变分离的数据量比例； 把常用的可重复的操作放进流水线 pipeline 上以方便训练模型。由于 sklearn 的...

Read more

Flume组件安装配置

1511 views

Flume 组件安装配置

安装

[root@master software]# tar -xvf apache-flume-1.7.0-bin.tar.gz  -C /usr/local/
[root@master software]# ln -s /usr/local/apache-flume-1.7.0-bin/ /usr/local/flume

配置Flume

[root@master software]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
...

Read more

Sqoop 组件安装与配置

1617 views

Sqoop 组件安装与配置

1.下载和解压 Sqoop

Sqoop相关发行版本可以通过官网 https://mirror-hk.koddos.net/apache/sqoop/来

获取

[root@master local]# tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz  -C /usr/local/

[root@master local]# ln -s /usr/local/sqoop-1.4.7.bin__hadoop-2.6.0  /usr/local/sqoop

[root@master local]# cd /usr/loca...

Read more

HBase 常用 Shell 命令

1491 views

HBase 常用 Shell 命令

1.HBase 常用命令

启动 hdfs、zookeeper、hbase 服务

start-all.sh
zkServer.sh start
start-hbase.sh

# 使用 HBase 命令行
[hadoop@master hbase]$ hbase shell
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
Version 1.7.1, r2d92...

Read more

HBase 组件安装与配置

1542 views

HBase 组件安装与配置

1.HBase 安装与配置

[root@master local]# tar -xvf hbase-1.7.1-bin.tar.gz  -C /usr/local/

[root@master local]# ln -s /usr/local/hbase-1.7.1/ /usr/local/hbase

# 在所有节点添加环境变量
[root@master ~]# vi /etc/profile
export HBASE_HOME=/usr/local/hbase

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/b...

Read more

ZooKeeper组件安装配置

1316 views

ZooKeeper 组件安装配置

1.安装 ZooKeeper

# 准备好ZooKeeper安装包
[root@master software]# tar -xvf apache-zookeeper-3.5.9-bin.tar.gz -C /usr/local/
[root@master software]# cd /usr/local/
[root@master local]# ln -s /usr/local/apache-zookeeper-3.5.9/  /usr/local/zookeeper
[root@master local]# chown hadoop.hadoop -...

Read more

Docker 容器的备份与迁移

915 views

Docker 容器的备份与迁移

1.将容器保存为镜像

我们可以通过以下命令将容器保存为镜像

docker commit 容器名 镜像名

2.镜像备份与恢复

我们可以通过以下命令将镜像保存为tar 文件

docker  save -o 镜像.tar 镜像名

然后执行load命令进行恢复

docker load -i xxxx.tar
# -i 输入的文件

我们可以基于这个镜像来创建一个容器，例如

docker run -di --name=容器名 -p 81:80 镜像名

Read more

Hive 组件安装与配置

1356 views

Hive 组件安装与配置

1.基础环境和安装准备

Hive 组件的部署规划和软件包路径如下：

（1）当前环境中已安装 Hadoop 全分布系统。

（2）本地安装 MySQL 数据库（账号 root，密码 root123）

（3）MySQL 端口号（3306）。

（4）MySQL 的 JDBC 驱动包/opt/software/mysql-connector-java-5.1.49.jar，

在此基础上更新 Hive 元数据存储。

（5）Hive 软件包/opt/software/apache-hive-2.3.9-bin.tar.gz

2.安装 MySQL

# 1.下载MySQL
wge...

Read more