Linux服务器部署Jupyter与PySpark远程开发环境完整指南

Linux服务器部署Jupyter与PySpark远程开发环境完整指南

博主近期需在服务器上进行Spark编程，为确保开发过程顺畅，首先需搭建一个便捷的编程环境。本文主要涵盖以下核心内容：

1、使用pythonbrew进行Python多版本管理； 2、Jupyter Notebook的安装、使用及远程连接配置； 3、Jupyter与PySpark的连接，实现Web端Spark开发。

Python多版本管理：pythonbrew安装与配置

一、Python多版本管理利器：pythonbrew

在进行Python编程开发时，往往需要多个Python版本进行测试。博主曾长期在Python 2.x与3.x之间纠结，两者复杂的依赖关系令人头疼。直到遇见pythonbrew，它解决了这一痛点。pythonbrew是一个强大的Python多版本管理器，支持在不同Python版本间快速切换，并在指定版本下测试程序，同时整合了Virtualenv功能。因此，当系统中安装了多个Python版本且需频繁切换测试时，pythonbrew是理想选择。

1. 安装与配置pythonbrew

sudo easy_install pythonbrew（easy_install安装）
pip install pythonbrew(pip安装)

2. 将配置环境添加到~/.bashrc（或~/.bash_profile）

[[ -s "$HOME/.pythonbrew/etc/bashrc" ]] && source"$HOME/.pythonbrew/etc/bashrc"

随后执行命令：source ~/.bashrc（或~/.bash_profile）

3. 查看系统可安装的Python版本

[ray@hadoop01 ~]$ pythonbrew list -k
# Pythons
Python-1.5.2
Python-1.6.1
Python-2.0.1
Python-2.1.3
Python-2.2.3
Python-2.3.7
Python-2.4.6
Python-2.5.6
Python-2.6.9
Python-2.7.10
Python-3.0.1
Python-3.1.5
Python-3.2.5
Python-3.3.5
Python-3.4.3

4. 安装指定Python版本

（注：使用curl安装Python，因此需先确保系统已安装curl）

[ray@hadoop01 ~]$ pythonbrew install 3.2.3(版本号)

5. 清理已安装版本的源码及安装包

[ray@hadoop01 ~]$ pythonbrew cleanup

6. 选择某个Python版本使用（注：此操作仅在当前终端会话中有效）

[ray@hadoop01 ~]$ pythonbrew use 2.7.10(版本号)

7. 查看当前pythonbrew管理的Python版本列表（带*号表示当前正在使用）

[ray@hadoop01 ~]$pythonbrew list
Python-2.6.7 (*)
Python-3.2.3

8. 将Python 3.4.3版本设为系统默认版本，该版本路径将被添加到PATH环境变量中

[ray@hadoop01 ~]$ pythonbrew switch 3.4.3

9. 取消pythonbrew所选版本

[ray@hadoop01 ~]$ pythonbrew off

Jupyter Notebook安装与远程安全连接配置

二、Jupyter Notebook安装、使用及远程连接方法

作为数据分析师，利用Python进行数据分析追求的是优雅与细致。若还能随时随地通过任意终端进行数据分析，则既显专业又极大提升效率。Jupyter Notebook正是实现Web端开发编程的强力工具。本节将介绍如何安装使用Jupyter，以及如何远程连接到服务器端的Jupyter Notebook。

1. 安装Jupyter

[ray@hadoop01 ~]$ pip install jupyter

2. Jupyter Notebook远程服务器配置

1) 首先需生成密码，打开Python终端。

In [1]: from IPython.lib import passwd

In [2]: passwd()
Enter password:
Verify password:
Out[2]: 'sha1:0e422dfccef2:84cfbcb
b3ef95872fb8e23be3999c123f862d856'

2) 接下来生成密钥：

[ray@hadoop01 ~]$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem

注意：执行过程中需填写一些个人信息，如国家、省份、姓名等。命令执行完毕后，会生成一个mycert.pem文件，请记录该文件的路径。

3）创建服务器配置文件

[ray@hadoop01 ~]$ ipython profile create nbserver

编辑文件jupyter_notebook_config.py，位于~/.jupyter/文件夹内

c.NotebookApp.password = u'sha1:。。。。。。。。。。。' c.NotebookApp.certfile = u'/root/.jupyter/mycert.pem' c.NotebookApp.ip = '*' 
c.NotebookApp.port = 9999

4）最后启动服务器：

[ray@hadoop01 ~]$ipython notebook --profile=nbserver

Jupyter集成PySpark实现Web端Spark开发

三、Jupyter连接PySpark，实现Web端Spark开发

在执行此步骤前，必须确保已安装好Jupyter和Spark。

1. 设置环境变量

将以下代码添加到~/.bash_profile（或~/.bashrc）

export SPARK_HOME=~/spark-1.5.0-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

注意：

1）SPARK_HOME地址指向你的Spark安装目录。此外，最后一行代码中的py4j-0.8.2.1-src.zip文件名可能因版本不同而异，请进入对应目录确认实际文件名。

2）若需使用Python 3进行作业，则需在.bash_profile中添加export PYSPARK_PYTHON=python3

2. 启动pyspark-jupyter

IPYTHON_OPTS="notebook"$SPARK_HOME/bin/pyspark

至此，所有配置均已完成。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。