sqoop导入hive数据时对换行等特殊字符处理

野性酷女 2022-05-13 07:20 244阅读 0赞

# **使用场景：** #

公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。

# **解决办法：** #

利用一下两个参数可以实现对换行等特殊字符的替换或者删除

*  `--hive-delims-replacement`
 *  `--hive-drop-import-delims`

参考官方文档

**Table 8. Hive arguments:**

<table> 
 <thead> 
  <tr> 
   <th>Argument</th> 
   <th>Description</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>--hive-home &lt;dir&gt;</code></td> 
   <td>Override&nbsp;<code>$HIVE_HOME</code></td> 
  </tr> 
  <tr> 
   <td><code>--hive-import</code></td> 
   <td>Import tables into Hive (Uses Hive’s default delimiters if none are set.)</td> 
  </tr> 
  <tr> 
   <td><code>--hive-overwrite</code></td> 
   <td>Overwrite existing data in the Hive table.</td> 
  </tr> 
  <tr> 
   <td><code>--create-hive-table</code></td> 
   <td>If set, then the job will fail if the target hive</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>table exits. By default this property is false.</td> 
  </tr> 
  <tr> 
   <td><code>--hive-table &lt;table-name&gt;</code></td> 
   <td>Sets the table name to use when importing to Hive.</td> 
  </tr> 
  <tr> 
   <td><code>--hive-drop-import-delims</code></td> 
   <td>Drops&nbsp;<em>\n</em>,&nbsp;<em>\r</em>, and&nbsp;<em>\01</em>&nbsp;from string fields when importing to Hive.</td> 
  </tr> 
  <tr> 
   <td><code>--hive-delims-replacement</code></td> 
   <td>Replace&nbsp;<em>\n</em>,&nbsp;<em>\r</em>, and&nbsp;<em>\01</em>&nbsp;from string fields with user defined string when importing to Hive.</td> 
  </tr> 
  <tr> 
   <td><code>--hive-partition-key</code></td> 
   <td>Name of a hive field to partition are sharded on</td> 
  </tr> 
  <tr> 
   <td><code>--hive-partition-value &lt;v&gt;</code></td> 
   <td>String-value that serves as partition key for this imported into hive in this job.</td> 
  </tr> 
  <tr> 
   <td><code>--map-column-hive &lt;map&gt;</code></td> 
   <td>Override default mapping from SQL type to Hive type for configured columns.</td> 
  </tr> 
 </tbody> 
</table>

使用方法，

1、在原有sqoop语句中添加 `--hive-delims-replacement “ ” 可以将如mysql中取到的`*\\n*, *\\r*, and *\\01等特殊字符替换为自定义的字符，此处用了空格*

2、在原有sqoop语句中添加 `--hive-drop-import-delims 可以将如mysql中取到的`*\\n*, *\\r*, and *\\01等特殊字符丢弃*