matlab 自动处理数据,Matlab Remote IPC自动化数据处理

清疚 2023-01-13 10:15 89阅读 0赞

Matlab Remote IPC 实现数据自动化处理

转载请注明作者梦里茶

需求

在研究中遇到这样一种需求，

在Matlab端做GPU运算；

在Python端做数据清洗和数据分析；

两端分属两个服务器；

M端需要等待P端完成数据清洗才能开始做训练和预测

P端需要等待M端完成训练和预测才能做数据分析

问题

数据很多，不适合将两端合并到一个服务器上

存在增量训练，对同一份数据，可能要结合多份额外数据进行N次传输

由于采用10折交叉验证，数据划分为10份，总共要进行10×N次传输

M端和P端都需要各自运行一段时间才能出结果，需要等待，说快不快，说慢不慢

上面的几个点使得训练的过程非常繁琐耗时

探索

作为不耐心而且懒的程序员，超过15秒的事情就想要自动化，于是开始想能不能把上面这个过程自动化

方案一 用一种语言重写另一方的代码

Python端逻辑复杂，与数据关联密切，重构为Matlab代码工程量大(而且我还是比较熟悉Python)

Matlab端是某篇论文的代码，使用了MatConvNet这个库做CNN，用Python实现工程量也很大，而且因为是别人的代码，还可能有很多未知的坑

方案二 使用第三方库作为Lib相互调用

由于Matlab端涉及GPU运算，配置比较复杂

作为库相互调用使得两个模块的耦合增加，不符合解耦原则

需要编写接口代码

方案三 Matlab和Python进行进程间通信

进程间通信要求两边各有一个可执行程序，但是Matlab打包麻烦(需要下另一个收费的打包工具)具体看这里，在GUI界面中操作相对方便，并且打包后不好调试

远程进程间通信有许多方案可以选择，例如socket，这个工作量比上面的方案小，但也需要额外编写一部分功能代码

方案四 (Final)使用Matlab进行执行shell命令进行scp，以文件的方式进行数据传输

改动的代码最少

依旧是两个模块，依旧低耦合

通信性能没有库调用或者Socket那么好，但程序主要性能瓶颈不在数据传输，而在于训练和预测，所以没关系

执行ssh的时候可以同时执行另一个服务器上的命令，从而调用Python端脚本进行Python端工作

下面具体讲方案四的实现

实现

Matlab执行shell命令

setenv('d\_name', dataset\_name);

setenv('std\_idx', num2str(i));

% transport raw image predict data

!env LD\_LIBRARY\_PATH='' scp $\{d\_name\}\_train.log cwh@192.168.231.171:/home/cwh/coding/Project/data/$\{std\_idx\}-train/renew\_pid.log

!env LD\_LIBRARY\_PATH='' ssh cwh@192.168.231.171 "cd /home/cwh/coding/Project; python data\_analysis.py data/$\{std\_idx\}-train"

其中

通过setenv来设置环境变量，从而动态决定要执行的脚本的内容

在matlab代码中，使用!开头，代表这是一行shell命令

需要把LD\_LIBRARY\_PATH这个环境变量置为空，防止使用matlab自带的一些lib，导致ssh等命令执行失败

SSH

Matlab是有一个库可以做ssh和scp的

但是，不想把密码写在代码里，并且懒得去用第三方的东西

于是想直接用shell调用

shell调用有一个老大难的问题，就是需要输密码

受Hadoop分布式配置的启发，发现可以做ssh免密码配置，避开输密码的问题

免密码具体参考这个教程

ssh配置免密之后，scp也是免密的，另外还有一个好处，ssh可以通过""来嵌入ssh之后要执行的代码，从而做Python调用

Python

如果之前Python端是用IDE开发的，转为shell调用就要注意两个问题路径，cd到正确的目录，Python端的文件操作和lib import的相对路径是相对于要执行的py文件

库\# 加载对应的库

env LD\_LIBRARY\_PATH='/your/lib/path/sth.so'

命令行参数，参考这个教程

同步控制

由于matlab调用shell命令时会陷入等待，会等待命令完成再执行下一步，不像socket发完消息后不知道什么时候另一边运行结束，所以不需要自己实现排队等待同步互斥的东西

如果需要在等待的时候做些并发，可以考虑matlab 并行工具箱，结合Python端的并发几乎就是一个分布式框架了，有空再深入去搞一搞

SUMMARY

matlab调shell

shell中ssh做远程进程调用

scp做数据传输

效果：尽可能轻量地解决自动化的问题

发表评论取消回复

表情：

评论列表（有 0 条评论，89人围观）

还没有评论，来说两句吧...

相关阅读

相关基于MATLAB GUI的音频数据处理

基于MATLAB GUI的音频数据处理音频数据处理是一种重要的技术，能够对音频信号进行分析、处理和编辑。MATLAB是一种强大的数学计算软件，同时还有GUI设计工具箱，可以

超、凢脫俗/ 2024年03月17日 15:04/ 0 赞/ 57 阅读

相关利用MATLAB进行GPS数据处理

利用MATLAB进行GPS数据处理 GPS（Global Positioning System，全球定位系统）是一种广泛应用于定位和导航的技术。在MATLAB中，我们可以使用

桃扇骨/ 2024年03月03日 08:17/ 0 赞/ 16 阅读

相关 Matlab数据处理——数据的保存和读取方法操作

Matlab保存数据常见有以下几种方法： 1：dlmwrite()函数保存成txt文件使用方法： dlmwrite('filename', M) 使用默认分隔符“

╰半夏微凉°/ 2023年10月17日 09:37/ 0 赞/ 96 阅读

相关 matlab 自动处理数据,Matlab Remote IPC自动化数据处理

Matlab Remote IPC 实现数据自动化处理转载请注明作者梦里茶需求在研究中遇到这样一种需求，在Matlab端做GPU运算；在Python端做数据

清疚/ 2023年01月13日 10:15/ 0 赞/ 90 阅读

相关 python处理matlab的mat数据

python 和matlab是2个常用的实验室平台工具，在一些应用下，这2个不同平台下的数据会打交道，因此如何读取和保存显得尤为重要，这里需要用到python的第三方平台下的s

深藏阁楼爱情的钟/ 2022年11月29日 13:11/ 0 赞/ 160 阅读

相关 MATLAB笔记2：MATLAB矩阵处理

目录一、特殊矩阵 1.zeros函数的调用格式 2.用于专门学科的特殊矩阵魔方矩阵 Magic Square 范德蒙矩阵希尔伯特矩阵伴随矩阵帕

待我称王封你为后i/ 2022年11月25日 00:51/ 0 赞/ 766 阅读

相关 MATLAB--字符串处理

1，matlab字符串处理函数参考： [http://hi.baidu.com/henryacm/blog/item/44e686275386593dd50742cd.htm

我不是女神ヾ/ 2022年09月30日 07:02/ 0 赞/ 293 阅读

相关用MatlAB处理实验数据程序

程序实现的功能： disp('\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\') di

妖狐艹你老母/ 2022年08月05日 01:19/ 0 赞/ 248 阅读

相关 matlab字符串处理

一、字符串的构造字符串构造：写在单引号之内的内容，如果内容包括单引号，则用重复的单引号来表示 >> str='i''m good' str =

た入场券/ 2022年06月14日 04:46/ 0 赞/ 198 阅读

相关谈谈MATLAB：CSV数据提取与处理

MATLAB：Excel数据提取与处理关于环境一看就存在的难点整容不是必要的第一步：获得黑名单-拉出所有待处理的CSV文件

た入场券/ 2021年11月05日 17:38/ 0 赞/ 814 阅读