float gpu 加速_（总结篇）使用 MATLAB GPU 加速计算|MATLAB 并行计算与分布式服务器|MATLAB技术论坛...

素颜马尾好姑娘i 2023-01-09 03:39 137阅读 0赞

本帖最后由 蓝云风翼 于 2013-12-18 17:28 编辑

注：

利用gpu加速有一下工具

1.JACKET 可从帖子中寻找

2.MATLAB a.并行计算工具箱 gpuArray，查看支持gpuArray的函数methods('gpuArray')

b.已经支持GPU的一些工具箱

c.使用mex方式 http://www.matlabsky.com/thread-33511-1-1.html

d.使用产生ptx方法编写cuda kernel

这些都可以通过help gpuArray查看，建议使用最新版本2013a

查看GPU是否支持gpuDevice命令

3.GPUMAT帖子中找

4. nvmex方式即cudawhitepaper可从帖子中直接下载

http://www.matlabsky.com/thread-20597-1-1.html

http://www.matlabsky.com/thread-25951-1-1.html

SIMULINK  :http://www.matlabsky.com/forum.php?mod=viewthread&tid=27230

目前，GPU在通用数值计算领域的应用已经越来越广泛，MATLAB通过以下几种方式支持GPU。

一、MATLAB内嵌GPU函数fft, filter,及linear algebra operations等。

二、内嵌工具箱支持GPU的函数: Communications System Toolbox, Neural Network Toolbox, Phased Array Systems Toolbox, and Signal Processing Toolbox (GPU support for signal processing algorithms)

三、在MATLAB中接入CUDA kernel,通过PTX方式或者MEX方式。

Multiple GPUs在单机和计算集群上的使用通过MATLAB 的并行计算工具箱(PCT)及MATLAB分布式计算工具箱(MDCS)(matlab worker)

一、PCT  GPUArray

Parallel Computing Toolbox 提供 GPUArray，这是一个具有多个关联函数的特殊数组类型，可让您直接从 MATLAB 在启用 CUDA 的 NVIDIA GPU 上执行计算。这些函数包括 fft、元素级运算和几种线性代数运算，如 lu 和 mldivide(也称作反斜杠运算符 (\\))。该工具箱还提供一种机制，可让您直接从 MATLAB 使用现有的基于 CUDA 的 GPU 内核。

使用 MATLAB 进行 GPU 计算。使用 GPUArrays 和 启用 GPU 的 MATLAB 函数，有助于加速 MATLAB 运算，而无需进行低级的 CUDA 编程。

PCT工具箱支持NVIDIA CUDA GPUs(计算能力大于1.3，K20C 计算能力为3.5)

FunctionsCreate array on GPU

Transfer distributed array data or gpuArray to local workspace

Determine if gpuArray or CUDAKernel is available on GPU

Query or select GPU device

Number of GPU devices present

Time required to run function on GPU

Reset GPU device and clear its memory

Wait for job to change state or for GPU calculation to complete

Apply function to each element of array on GPU

Binary singleton expansion function for gpuArray

Apply function to each page of array on GPU

Create GPU CUDA kernel object from PTX and CU code

Evaluate kernel on GPU

Set some constant memory on GPU

ClassesArray of data stored on GPU

Graphics processing unit (GPU)

Kernel executable on GPU

1.使用GPU

首先在命令行窗口输入 gpuDevice 查看当前计算机上是否已经正确安装了GPU设备(硬件+驱动)。

查看所有支持的GPU：

for ii = 1:gpuDeviceCount

g = gpuDevice(ii);

fprintf(1, 'Device %i has ComputeCapability %s \\n', ...

g.Index, g.ComputeCapability)

end复制代码

查看gpuArray支持的函数methods('gpuArray')

>> help gpuArray

gpuArray create data on the GPU

G = gpuArray( X ) copies the numeric data X to the GPU. This data can be

operated on by passing it to the FEVAL method of parallel.gpu.CUDAKernel

objects, or by using one of the methods defined for gpuArray objects.  See

the Parallel Computing Toolbox documentation for a

list of methods supported by gpuArray.

The MATLAB data X must be numeric (for example: single, double, int8 etc.)

or logical, and the GPU device must have sufficient free memory to store the

data. X must be full.

Example:

X = rand( 10, 'single' );

G = gpuArray( X );

isequal( gather( G ), X )  % returns true

classUnderlying( G )       % returns 'single'

G2 = G .\* G                % use "times" method defined for gpuArray objects复制代码

See also gather

Reference page in Help browser

doc gpuArray复制代码

下面的例子介绍了GPU的基本流程

%1.将数据从CPU传输至GPU(也可以通过GPU直接生成数据)

Ga = gpuArray(rand(1000, 'single'));

%2.对GPU数据执行GPU操作，此时的fft操作对象是gpuArray

Gfft = fft(Ga);

Gb = (real(Gfft) + Ga) \* 6;

%3.通过gather将GPU计算结果Gb回传到CPU中以便后续操作。

G = gather(Gb);

使用whos查看数据存储

Name       Size         Bytes  Class

G       1000x1000     4000000  single

Ga      1000x1000         108  gpuArray

Gb      1000x1000         108  gpuArray

Gfft    1000x1000         108  gpuArray

二、工具箱使用

GPU Computing

利用神经网络工具箱

使用gpuDeviceCount 查看当前系统可利用的GPU数目，使用gpuDevice 查看及使用GPU。

gpuDeviceCountgpuDevicegpuDevice(2) % Select device 2, if available复制代码

设置train的参数'useGPU' 选项'yes'，单GPU上执行。

net2 = train(net1,x,t,'useGPU','yes');

y = net2(x,'useGPU','yes');复制代码

Multiple GPU/CPU Computing

可以在并行级上使用多GPUs.设置'useParallel'和 'useGPU' 为 'yes'在单机上来使用 所有GPUs 和CPU cores。每个worker 与使用特定的GPU的CPU相连。

net2 = train(net1,x,t,'useParallel','yes','useGPU','yes');

y = net2(x,'useParallel','yes','useGPU','yes');复制代码

查看使用资源情况

net2 = train(net1,x,t,'useGPU','yes','showResources','yes')

y = net2(x,'useGPU','yes','showResources','yes')复制代码

Computing Resources:

GPU device 1, Telsa K20C

出于一些原因，使用多GPUs和多CPUs可能会带来更高的性能，但是出于另外一些原因，CPUs资源有可能会拖GPUs的后腿，所以单独使用GPUs会更快，设置 'useGPU'为'only', 来限制workers使用特定的GPUs。

net2 = train(net1,x,t,'useParallel','yes','useGPU','only');

y = net2(x,'useParallel','yes','useGPU','only');复制代码

Cluster Computing with MATLAB Distributed Computing Server

MATLAB? Distributed Computing Server? 提供了在集群计算机网络上使用 CPUs 和 GPUs资源。使用cluster,打开并行cluster的pool 。设置 'useParallel' 和'useGPU' 选项。

net2 = train(net1,x,t,'useParallel','yes');

y = net2(x,'useParallel','yes');

net2 = train(net1,x,t,'useParallel','yes');

y = net2(x,'useParallel','yes');

net2 = train(net1,x,t,'useParallel','yes','useGPU','only');

y = net2(x,'useParallel','yes','useGPU','only');复制代码

在当前主机上查看所有可使用的GPU：

gpuCount = gpuDeviceCount

for i=1:gpuCount

gpuDevice(i)

end复制代码

查看当前使用的pool:

poolSize = pool.NumWorkers复制代码

使用MATLAB Distributed Computing Server查看集群上所有可使用的GPU：

spmd  worker.index = labindex;

worker.name = system('hostname');

worker.gpuCount = gpuDeviceCount;

try

worker.gpuInfo = gpuDevice;

catch

worker.gpuInfo = \[\];

end

worker

end复制代码

Execute MEX-Functions Containing CUDA Code

内容

· Write a MEX-File Containing CUDA Code

· Set Up for MEX-File Compilation

· Compile a GPU MEX-File

· Run the Resulting MEX-Functions

· Comparison to a CUDA Kernel

· Access Complex Data

· Call Host-Side Libraries

Write a MEX-File Containing CUDA Code

C FunctionsInitialize MATLAB GPU library on currently selected deviceCopy mxArray to mxGPUArray

Duplicate (deep copy) mxGPUArray object

Copy imaginary part of mxGPUArray

Copy real part of mxGPUArray

Create complex GPU array from two real gpuArrays

Create read-only mxGPUArray object from input mxArray

Create mxGPUArray object, allocating memory on GPU

Create mxArray for returning CPU data to MATLAB with data from GPU

Create mxArray for returning GPU data to MATLAB

Delete mxGPUArray object

mxClassID associated with data on GPU

Complexity of data on GPU

Raw pointer to underlying data

Read-only raw pointer to underlying data

mxGPUArray dimensions

Size of dimension array for mxGPUArray

Number of elements on GPU for array

Determine if two mxGPUArrays refer to same GPU data

Determine if mxArray is pointer to valid GPU data

Determine if mxArray contains GPU data

C ClassesType for MATLAB gpuArray

PTX方式

k = parallel.gpu.CUDAKernel('myfun.ptx','myfun.cu');详见：

http://www.mathworks.cn/cn/help/distcomp/run-cuda-or-ptx-code-on-gpu.html

(不能SAVE 和load 只能用的时候创建)

附：

内嵌的GPU工具箱：

Communications System ToolboxGPU support for a select list of System objects. These System objects execute on GPU (graphics processing unit) to improve performance by reducing simulation time and are among the most commonly used functionality in the product:

comm.gpu.LDPCDecoder

comm.gpu.ConvolutionalEncoder

comm.gpu.TurboDecoder

comm.gpu.ViterbiDecoder

comm.gpu.BlockDeinterleaver

comm.gpu.BlockInterleaver

comm.gpu.ConvolutionalDeinterleaver

comm.gpu.ConvolutionalInterleaver

comm.gpu.PSKDemodulator

comm.gpu.PSKModulator

comm.gpu.AWGNChannel

MATLAB Compiler Support for GPU System Objects

Image Processing ToolboxOption in blockproc function to improve performance of block processing tasks. Set the ‘UseParallel’ argument to true to use this option. GPU acceleration for popular image processing functions such as bwmorph, edge, imfilter, imdilate, imerode, imopen, imclose, imtophat, imbothat, and imshow.Documentation: Image Processing Toolbox

See GPU Computing section for a complete list of GPU-enabled functions

Neural Network ToolboxParallel computing support for training and simulation

GPU support for training and simulation

Phased Array System ToolboxAcceleration of clutter model simulation with parfor or GPU

Signal Processing ToolboxGPU acceleration for xcorr, xcorr2, fftfilt, xcov, and cconv

>>methods('gpuArray')  (matlab2013b)

Methods for class gpuArray:

abs                   fill                  ndgrid

acos                  fill3                 ndims

acosh                 filter                ne

acot                  filter2               nnz

acoth                 find                  norm

acsc                  fix                   normest

acsch                 flip                  not

all                   flipdim               num2str

and                   fliplr                numel

any                   flipud                or

applylut              floor                 padarray

area                  fplot                 pagefun

arrayfun              fprintf               pareto

asec                  full                  pcolor

asech                 gamma                 permute

asin                  gammaln               pie

asinh                 gather                pie3

atan                  ge                    plot

atan2                 gpuArray              plot3

atanh                 gt                    plotmatrix

bar                   hist                  plotyy

bar3                  histeq                plus

bar3h                 horzcat               polar

barh                  hypot                 pow2

beta                  ifft                  power

betaln                ifft2                 prod

bitand                ifftn                 qr

bitcmp                im2double             quiver

bitget                im2int16              quiver3

bitor                 im2single             rdivide

bitset                im2uint16             real

bitshift              im2uint8              reallog

bitxor                imabsdiff             realpow

bsxfun                imadjust              realsqrt

bwlookup              imag                  reducepatch

bwmorph               image                 reducevolume

cast                  imagesc               rem

cat                   imbothat              repmat

cconv                 imclose               reshape

ceil                  imdilate              rgb2gray

chol                  imerode               rgb2ycbcr

circshift             imfilter              ribbon

clabel                imgradient            rose

classUnderlying       imgradientxy          rot90

colon                 imhist                round

comet                 imlincomb             scatter3

comet3                imnoise               sec

compass               imopen                sech

complex               imresize              semilogx

cond                  imrotate              semilogy

coneplot              imshow                shiftdim

conj                  imtophat              shrinkfaces

contour               ind2sub               sign

contour3              int16                 sin

contourc              int2str               single

contourf              int32                 sinh

contourslice          int64                 size

conv                  int8                  slice

conv2                 interp1               smooth3

convn                 interp2               sort

corr2                 interpstreamspeed     sprintf

cos                   inv                   spy

cosh                  ipermute              sqrt

cot                   isa                   stairs

coth                  isempty               std2

cov                   isequal               stdfilt

csc                   isequaln              stem

csch                  isequalwithequalnans  stem3

ctranspose            isfinite              stream2

cumprod               isfloat               stream3

cumsum                isinf                 streamline

curl                  isinteger             streamparticles

det                   islogical             streamribbon

diag                  ismember              streamslice

diff                  isnan                 streamtube

disp                  isnumeric             sub2ind

display               isocaps               subsasgn

divergence            isocolors             subsindex

dot                   isonormals            subsref

double                isosurface            subvolume

edge                  isreal                sum

eig                   issorted              surf

end                   issparse              surfc

eps                   ldivide               surfl

eq                    le                    svd

erf                   length                tan

erfc                  log                   tanh

erfcinv               log10                 times

erfcx                 log1p                 transpose

erfinv                log2                  tril

errorbar              logical               trimesh

existsOnGPU           loglog                trisurf

exp                   lt                    triu

expm1                 lu                    uint16

ezcontour             mat2gray              uint32

ezcontourf            mat2str               uint64

ezgraph3              max                   uint8

ezmesh                medfilt2              uminus

ezmeshc               mesh                  uplus

ezplot                meshc                 var

ezplot3               meshgrid              vertcat

ezpolar               meshz                 vissuite

ezsurf                min                   volumebounds

ezsurfc               minus                 voronoi

feather               mldivide              waterfall

fft                   mod                   xcorr

fft2                  mpower                xor

fftfilt               mrdivide              ycbcr2rgb

fftn                  mtimes

Static methods:

eye                   nan                   true

false                 ones                  zeros

inf                   rand

linspace              randi

logspace              randn

>>复制代码

发表评论取消回复

表情：

评论列表（有 0 条评论，137人围观）

还没有评论，来说两句吧...

相关阅读

相关使用MATLAB计算平均值

使用MATLAB计算平均值计算数学中最基本的操作之一就是计算一组数字的平均值。在MATLAB中，计算平均值是非常简单的，只需使用mean函数即可。下面是一个简单的例子展示如

矫情吗；*/ 2024年03月17日 17:20/ 0 赞/ 40 阅读

相关 C++与并行计算：利用并行计算加速程序运行

目录 C++与并行计算：利用并行计算加速程序运行什么是并行计算 C++中的并行计算工具并行计算的注意事项结论 -------------------- C

系统管理员/ 2024年02月05日 12:04/ 0 赞/ 62 阅读

相关 matlab 集群计算,Matlab 集群计算使用心得

相信很多研究人员都和我一样使用Matlab分析和研究各种算法。最近无意之中发现matlab提供的并行工具箱，通过简单地修改(仅仅把for改为parfor，存在依赖关系的变量用新

偏执的太偏执、/ 2023年01月15日 12:30/ 0 赞/ 180 阅读

相关 float gpu 加速_（总结篇）使用 MATLAB GPU 加速计算|MATLAB 并行计算与分布式服务器|MATLAB技术论坛...

本帖最后由蓝云风翼于 2013-12-18 17:28 编辑注：利用gpu加速有一下工具 1.JACKET 可从帖子中寻找 2.MATLAB a.并行计算工具箱

素颜马尾好姑娘i/ 2023年01月09日 03:39/ 0 赞/ 138 阅读

相关 matlab开启并行计算核数_使用MATLAB并行计算功能提高多核系统性能

相关 | 标签： | 字号大中小订阅 maxNumCompThreads 命令由于处理器时钟频率的限制，增加核并不意味着是计算性能的提高。为了充分利用新的多

Bertha 。/ 2022年12月31日 10:25/ 0 赞/ 333 阅读

相关 tensorflow使用GPU加速

测试faster-rcnn时，cpu计算速度较慢，调整代码改为gpu加速运算将 with tf.Session() as sess: 替换为 1 gpu_opt

忘是亡心i/ 2022年12月08日 12:52/ 0 赞/ 228 阅读

相关 svm使用gpu加速

sklearn里面的svm拿来训练真的贼慢，还不能使用多线程加速，哪怕你的cpu是8核或者16核，训练的时候只使用1核，找了各种方式没有找到最终发现一个库，叫做thunde

悠悠/ 2022年10月14日 05:28/ 0 赞/ 261 阅读

相关 Pytorch gpu加速方法

Pytorch gpu加速方法原文： [https://www.zhihu.com/question/274635237][https_www.zhihu.com_q

浅浅的花香味﹌/ 2022年09月10日 13:27/ 0 赞/ 247 阅读

相关 GPU加速是什么

GPU加速是什么 by [被单][Link 1] on 2017-04-11 众所周知，网页不仅应该被快速加载，同时还应该流畅运行，比如快速响应的交互，如丝般顺滑

ゝ一世哀愁。/ 2022年05月21日 11:11/ 0 赞/ 247 阅读

相关 Pytorch 使用GPU加速

Pytorch中使用`torch.device()`选取并返回抽象出的设备，然后在定义的网络模块或者Tensor后面加上`.to(device变量)`就可以将它们搬到设备上了。

我不是女神ヾ/ 2021年11月04日 16:52/ 0 赞/ 776 阅读