开源人工智能相关的Scratch插件

╰半橙微兮° 2022-01-30 09:21 663阅读 0赞

# 前言 #

早上[@bilikyar][bilikyar]提到:

> [codelab scratch][] 里面的 knn图像分类插件，貌似运行一段时间就会崩（也挺吃内存的），这是为什么呢？

[@bilikyar][bilikyar]给了两张截图:

![knn_f808a19e.png][]

![knn_8657bb56.png][]

我答复说:

> 确实挺吃内存，用的是js实现的tensorflow，性能比较低. 但我没有遇到浏览器崩溃的情况。我下午把这一部分开源出来好了，大家可以一起来改进。

# 图像分类插件 #

![knn_d1cce4b0.png][]

图像分类插件是这样的一种插件: 使用这个插件，用户可以训练自己图像分类模型，之后利用训练出的模型，去预测摄像头看到的物体。利用这个插件，可以制作许多有趣的项目。

诸如我们之前制作的的`闭眼,请熄灯`:

由于使用了神经网络(MobileNet，Google提出的一种小型却高效的CNN模型，在accuracy和latency之间做了折中)，这类的项目一般会被冠以`人工智能`的称号。

# 废话少说，放码过来 #

我直接把代码放上来: [scratch3\_knn][scratch3_knn]

# 简单介绍 #

技术层面, 底层使用的是[TensorFlow.js][]

> TensorFlow.js is an open-source hardware-accelerated JavaScript library for training and deploying machine learning models.

由此可知[scratch3\_knn][scratch3_knn]的所有运算都发生在本地浏览器里，并没有利用云端，代码是隐私安全的。也正由于计算都发生在本地，所以很吃性能。

[scratch3\_knn][scratch3_knn]本质上是对[tensorflow/tfjs-models][tensorflow_tfjs-models]做了积木化的包装。

值得一提的是[tfjs-models][]中有许多有趣的项目，大家可以自行挖掘。

### ml5js ###

> Friendly Machine Learning for the Web. -- ml5js.org

阅读这篇文章的朋友可能对适合教育的机器学习项目感兴趣。我把此前接触的另一个有趣的项目也列出来: [ml5js][]

我们在使用[TensorFlow.js][]之前，在图像分类这块使用的是[ml5js][]。

刚才在整理资料时，发现[小喵科技][Link 1]在这块做的探索和CodeLab挺相似的。他们似乎也经历了从ml5js到tfjs的过程。

此外,值得一提的是，[小喵科技][Link 2]是家很优秀的公司，我记得买过他家的硬件，他们拥抱开源，很多项目都放在了[Github][]上。除了产品做得用心，教程也写的挺用心的: [小喵科技 机器学习5(轻量TensorFlow)教程][_5_TensorFlow]

很踏实的一家公司，给小喵科技点赞?

# 测试 #

如果希望在本地测试[scratch3\_knn][scratch3_knn]，环境的搭建可以参考我们此前的文章: [创建你的第一个Scratch3.0 Extension][Scratch3.0 Extension]

# 欢迎提issue #

如[@bilikyar][bilikyar]提到的，有可能会因为性能问题导致代码崩溃，欢迎大家提issue。

此外积木在语义上还比较粗糙，在积木语义方面有更好的建议也欢迎提issue和PR。

# 发散思维 #

有很多AI相关的js插件，其实都可以积木化到Scratch中，[face-api.js][]是我非常喜欢的一个js库，积木化它似乎并不难。

# 参考 #

*  [创建你的第一个Scratch3.0 Extension][Scratch3.0 Extension]
 *  [Scratch3Lab/scratch3\_knn][scratch3_knn]
 *  [knn-classifier][tensorflow_tfjs-models]
 *  [face-api.js][]
 *  [小喵科技 机器学习5(轻量TensorFlow)教程][_5_TensorFlow]

From：[https://blog.just4fun.site/scratch-extension-knn.html][https_blog.just4fun.site_scratch-extension-knn.html]

[bilikyar]: https://github.com/bilikyar
[codelab scratch]: https://scratch3.codelab.club/
[knn_f808a19e.png]: /images/20220130/183f950a3ff14d248e07fda75af49aa8.png
[knn_8657bb56.png]: /images/20220130/c8924abae8f344c29883b1d60cd7d100.png
[knn_d1cce4b0.png]: /images/20220130/4cf0a2f7981e4d9a8f7097179056296d.png
[scratch3_knn]: https://github.com/Scratch3Lab/scratch3_knn
[TensorFlow.js]: https://github.com/tensorflow/tfjs
[tensorflow_tfjs-models]: https://github.com/tensorflow/tfjs-models/tree/master/knn-classifier
[tfjs-models]: https://github.com/tensorflow/tfjs-models
[ml5js]: https://ml5js.org/
[Link 1]: http://learn.kittenbot.cn/zh_CN/latest/machinelearning/01ml5%E7%AE%80%E4%BB%8B.html#machinelearning5
[Link 2]: https://www.kittenbot.cn/
[Github]: https://github.com/kittenbot
[_5_TensorFlow]: http://learn.kittenbot.cn/zh_CN/latest/machinelearning/index.html
[Scratch3.0 Extension]: https://blog.just4fun.site/create-first-Scratch3-Extension.html
[face-api.js]: https://github.com/justadudewhohacks/face-api.js
[https_blog.just4fun.site_scratch-extension-knn.html]: https://blog.just4fun.site/scratch-extension-knn.html