使用阿里云maxcompute sql随机从查询数据中抽取n条样本

痛定思痛。 2023-08-17 15:54 78阅读 0赞

近些年大数据发展迅速，大数据生态圈也越来越丰富。使用sql进行数据分析时有个常用的组件叫 [HIVE][] ，而阿里云则提供了类似HIVE功能的商业云服务，称为 [maxcompute][] 。

今天记录一下使用maxcompute sql从数据中随机抽取n条样本的方法。

假设有数据如下：

<table> 
 <thead> 
  <tr> 
   <th>id</th> 
   <th>name</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>张三</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>李四</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>王五</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>龙傲天</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>刘斩仙</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>赵日天</td> 
  </tr> 
 </tbody> 
</table>

我们想随机从上表中抽取3条数据，应该怎么写？

假设表名为`tmp_table`:

select id,name from tmp_table
    order by rand() limit 3

这样就能够从表中随机抽取3条数据了。假设我们运行的结果如下：

1 张三
    3 王五
    4 龙傲天

你可以尝试反复运行上面的sql，然后就会发现，每次运行的结果都是相同的，随机抽取数据都是上面给的3条。为什么呢？

从sql来理解，上面的语句相当于生成了一个随机序列，每条记录都分配了一个随机值，然后所有记录按照随机值排序，从排序结果中取前3条，以此达到随机选择的目的。

然后rand()方法产生随机数需要使用随机数种子，相同随机数种子产生的随机数永远都是一样的。当不传递随机数种子时，函数将使用默认的固定随机数种子，所以无论运行多少次，产生的随机数都是固定的。

那要怎么解决这个问题呢？传入每次都会变化的随机数种子就可以啦。比如选择当前的时间戳：

select id,name from tmp_table
    order by rand(unix_timestamp()) limit 3

现在，每次运行的结果都不一样咯，搞定！

参考文章：

[MaxCompute SQL随机抽取N行数据][MaxCompute SQL_N]

[HIVE]: https://hive.apache.org/
[maxcompute]: https://help.aliyun.com/document_detail/27800.html
[MaxCompute SQL_N]: https://yq.aliyun.com/users/ki4r6p45u3y6m

发表评论取消回复

表情：

评论列表（有 0 条评论，78人围观）

还没有评论，来说两句吧...

相关阅读

相关使用阿里云maxcompute sql随机从查询数据中抽取n条样本

近些年大数据发展迅速，大数据生态圈也越来越丰富。使用sql进行数据分析时有个常用的组件叫 [HIVE][] ，而阿里云则提供了类似HIVE功能的商业云服务，称为 [maxcom

痛定思痛。/ 2023年08月17日 15:54/ 0 赞/ 79 阅读

相关记录几条阿里云日志服务里的查询sql

记录几条阿里云日志服务里的查询sql 万一以后还用的上呢 \ AND requestURL : sendReportNotificationSMS | SELECT

向右看齐/ 2022年12月29日 12:57/ 0 赞/ 86 阅读

相关用Excel 随机抽取不重复n行数据

找了一下，用Excel内置的数据分析工具——抽样，是无法实现随机抽取n行数据的，只能抽取单个数据。我们只能间接的进行实现第一步，生成随机数，并填充。 =RAND(

骑猪看日落/ 2022年11月28日 10:43/ 0 赞/ 712 阅读

相关阿里云DataWorks和MaxCompute简介与使用

阿里云DataWorks和MaxCompute简介与使用一、简介 MaxCompute（大数据计算服务）是阿里巴巴自主研发的海量数据处理平台，主要提供数据上传和下

阳光穿透心脏的1/2处/ 2022年11月16日 01:41/ 0 赞/ 821 阅读

相关从数组中随机选择一条

/ 从数组中随机取一个数据出来 / function getRandom(arr) { var len = arr.leng

矫情吗；*/ 2022年09月25日 10:24/ 0 赞/ 136 阅读

相关 SQL Server 随机查询一条数据

我们经常会遇到在数据库中随机查询一条数据的问题。如下所示可以轻松搞定 SELECT TOP 1 WECHAT_NICK_NAME FROM COM_SYST

秒速五厘米/ 2022年08月09日 11:58/ 0 赞/ 174 阅读

相关 sql随机返回一条数据

http://stackoverflow.com/questions/580639/how-to-randomly-select-rows-in-sql sqlite：

喜欢ヅ旅行/ 2022年08月06日 12:15/ 0 赞/ 225 阅读

相关 mysql怎样高效率随机获取n条数据

ID连续的情况下（注意不能带where，否则结果不好）： SELECT FROM `mm_account` AS t1 JOIN

忘是亡心i/ 2022年04月16日 03:24/ 0 赞/ 271 阅读

相关使用MySQL从20万条数据中通过筛选随机取出1条数据的方法

因为业务需要，要求在一个where筛选完的数据集中随机取出1条数据。经典的方法 SELECT FROM table where 条件 ORDER BY RAND

╰+哭是因爲堅強的太久メ/ 2022年03月11日 09:56/ 1 赞/ 296 阅读

相关阿里云出海 MaxCompute服务布点欧洲

当地时间6月15日，阿里云在巴黎VivaTech科技展上宣布大数据计算产品“MaxCompute”将于年内在欧洲市场开服，该技术涵盖处理分析、机器学习等一系列完善的数据智能服务

深碍√TFBOYSˉ_/ 2021年09月19日 12:06/ 0 赞/ 195 阅读