java Bufferdimage与opencv Mat在内存中的转化

本是古典何须时尚 2022-01-15 08:07 237阅读 0赞

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][]

以前写Java人脸识别爬虫的时候遇到的问题，最早的时候是用tempfile的形式去解决识别的问题，每一个爬虫线程爬取图片到本地，保存为tempfile，然后opencv再读取出来做处理和识别，但是这样涉及磁盘io，爬虫性能异常缓慢，所以后面思考了一段时间琢磨出来再内存里面对图像进行转化，本质上，图像数据对Java来说都是bytes\[\]串，所以我的转化过程的思路，就是把byte串取出来，重新组装。  
opencv Mat转BufferImage

public static BufferedImage toBufferedImage(Mat matrix) {
            int type = BufferedImage.TYPE_BYTE_GRAY;
            if (matrix.channels() > 1) {
                type = BufferedImage.TYPE_3BYTE_BGR;
            }
            int bufferSize = matrix.channels() * matrix.cols() * matrix.rows();
            byte[] buffer = new byte[bufferSize];
            matrix.get(0, 0, buffer); // get all pixel from martix
            BufferedImage image = new BufferedImage(matrix.cols(), matrix.rows(), type);
            final byte[] targetPixels = ((DataBufferByte) image.getRaster().getDataBuffer()).getData();
            System.arraycopy(buffer, 0, targetPixels, 0, buffer.length);
            return image;
        }

BufferImage转为opencv Mat

public static Mat bufferToMartix(BufferedImage image) {
            Mat mat = new Mat(image.getHeight(), image.getWidth(), CvType.CV_8UC3);
            byte[] data = ((DataBufferByte) image.getRaster().getDataBuffer()).getData();
            if (mat != null) {
                try {
                    mat.put(0, 0, data);
                } catch (Exception e) {
                    return null;
                }
            }
            return mat;
        }

byte数组转opencv Mat

public static Mat bufferToMartix(byte[] image) throws IOException {
            BufferedImage bImage = ImageIO.read(new ByteArrayInputStream(image));
            byte[] bytes = ((DataBufferByte) bImage.getRaster().getDataBuffer()).getData();
            Mat data = new Mat(bImage.getHeight(), bImage.getWidth(), CvType.CV_8UC3);
            data.put(0, 0, bytes);
            return data;
        }

有意思的是，当我让一个BufferedImage嵌套为

//这里假设b_image里面包含有图像数据
    BufferedImage b_image=b_image=new BufferedImage();
    Mat matrix=toBufferedImage(bufferToMartix(b_image))

的时候，JVM概率死掉报出Core Error，于是我分离了这两个函数避免嵌套使用，没有去深究这个问题，猜测这可能与JVM的GC（垃圾回收）有关系，而且就算不出现JVM致命错误，这样出来的图像也是有问题的，会缺失很多数据，然后变成一堆噪声和一片白，直观感觉就是toBufferedImage调用结束后图像数据内存就被释放掉了，当bufferToMartix从后面执行的时候取了同样大小的内存区块当做图像，随机产生了JVM致命内存冲突，或者不冲突但是数据混乱的问题，因为不是专业Java这个地方还待研究。

转载于:https://my.oschina.net/VenusV/blog/3030003

[80_]: https://my.oschina.net/u/2663968/blog/3051541
[hot3.png]: /images/20220115/123985763d5d4f18ab154214e8aa3f9d.png