为了使用学校GPU集群而离线安装Python和pytorch

参考:

学校GPU集群为无网环境，所以要离线安装

1.下载python 源文件

2.解压到~下的某个目录---make编译源文件-----make install指定安装到哪------vim ~/.bash_profile 设置环境变量 source ~/bash_profile 使之生效 。此时运行python3就OK了（）

3.然后同理 下载setuptools pip3压缩文件，解压------进入目录------

python3 setup.py build

python3 setup.py install

4.最后下载pytorch .whl torchvision .whl ------- pip3 install .whl

1.编译安装python3

从python3网站下载了python3源码压缩包，解压并编译了python3，make编译后，make install到了~/usr/local/python3目录下。

下载了setuptools和pip3的.whl文件。python setup .whl 安装了这两个依赖。这样python/bin目录下九有pip3了。

设置了~/.bash_profile环境变量，将python3/bin目录放进去了。这样就可以找到pip3 python3了。然后用source .bash_profile使其生效就ok了。

为了能在计算节点方便的使用自己的python3(在计算节点输入python3会自动调用计算节点安装的python3)所以使用ln指令创建了一个python3/bin下的python3解释器的快捷方式。这样登陆计算节点 ./python3 train.py就可以方便的使用了。

2.安装pytorch

python3安装之后，要在其上安装pytorch ，去pytorch官网下载了pytorch和torchvision的.whl文件。pip3 install .whl装就ok。途中可能需要一些额外的依赖项，比如numpy six pillow，去pypi下载，安装就ok。

计算节点使用方法干货:

qsub -cwd -V -pe mpi 24

#使用当前工作路径

#带入用户所有环境变量

#占用24核，防止别人任务抢资源

./python3 testCuda.py

ctrl+d #提交

qstat -f //查询各节点状态

qstat

ssh compute-0-0.cluster-gpu //登陆计算节点 可以直接登陆计算节点执行 但管理员不建议

nvidia-smi //查看显存使用情况

watch -n 10 nvidia-smi //周期性地输出显卡使用情况

感想：

计算节点就是给算力，资源 程序 还是你的，但是CPU GPU通过这个集群操作系统分配，就像我们用自己的电脑 操作系统负责分配给进程线程时间片一样集群linux，集群操作系统负责分配计算资源 只不过计算资源可以来自多个节点。 如果我们直接登陆计算节点的话 就不需要提交作业给集群操作系统 集群操作系统也就没法合理的安排分配 所以管理员建议通过作业系统提交作业 而不是直接登陆计算节点执行。

（编辑：海南站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!