SLS-日志服务的认识

旧城等待， 2022-11-03 11:49 195阅读 0赞

日志服务内容分为：project(项目) => logstore(库) => shard(分区)

*  project：相当于一个项目，可以包含多个logstore。
 *  logstore：相当于一个存储空间，可以包含多个shard。
 *  shard：相当于将存储空间中切开了。

### 1.限制说明 ###

#### 1.1基础资源 ####

<table> 
 <thead> 
  <tr> 
   <th><strong>分类</strong></th> 
   <th><strong>限制说明</strong></th> 
   <th><strong>备注</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>Project</strong></td> 
   <td>每个账号下最多可创建50个Project。</td> 
   <td>可提工单新增</td> 
  </tr> 
  <tr> 
   <td><strong>Logstore</strong></td> 
   <td>一个Project中最多可创建200个Logstore。</td> 
   <td>可提工单新增</td> 
  </tr> 
  <tr> 
   <td>Shard</td> 
   <td>* 一个Project中最多可创建200个Shard。&lt;br&gt;* 控制台创建Logstore时，一个Logstore最多可以创建10个Shard；API创建Logstore时，一个Logstore最多可创建100个Shard。两种方式都可以通过分裂操作来增加Shard。</td> 
   <td>可提工单新增</td> 
  </tr> 
  <tr> 
   <td><em>Logtail配置（LogtailConfig）</em></td> 
   <td>每个Project最多可创建100个Logtail配置。</td> 
   <td>可提工单新增</td> 
  </tr> 
  <tr> 
   <td>日志保存时间</td> 
   <td>支持永久保存。也可以自定义日志保存时间，取值范围为1~3000。</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td><em>机器组（MachineGroup）</em></td> 
   <td>每个Project最多可创建100个机器组。</td> 
   <td>可提工单新增</td> 
  </tr> 
  <tr> 
   <td>*协同消费组（ConsumerGroup） *</td> 
   <td>每个Logstore最多可创建20个协同消费组。</td> 
   <td>可以删除不使用消费组。</td> 
  </tr> 
  <tr> 
   <td>*快速查询（SavedSearch） *</td> 
   <td>每个Project最多可创建100个快速查询。</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td><em>仪表盘（Dashboard）</em></td> 
   <td>* 每个Project最多可创建100个仪表盘。&lt;br&gt;* 每个仪表盘最多可包含100张分析图表。</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td><em>LogItem</em></td> 
   <td>* 通过API采集：单个LogItem最大为1MB。&lt;br&gt;* 通过Logtail采集：单个LogItem最大为512KB。</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td>*LogItem（Key） *</td> 
   <td>长度最大为128Bytes。</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td>*LogItem（Value） *</td> 
   <td>长度最大为1MB。</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td>*日志组（LogGroup） *</td> 
   <td>每个日志组最大长度为5MB。</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td><strong>告警</strong></td> 
   <td>* 每个Project最多可以创建100个告警。&lt;br&gt;* 告警方式为短信时，同一个手机号码每天最多接收50条短信。&lt;br&gt;* 告警方式为语音时，同一个手机号码每天最多接收50个语音电话。&lt;br&gt;* 告警方式为邮箱时，同一个邮箱每天最多接收100条邮件信息。</td> 
   <td>可提工单新增</td> 
  </tr> 
 </tbody> 
</table>

#### 1.2 数据读写 ####

<table> 
 <thead> 
  <tr> 
   <th><strong>分类</strong></th> 
   <th><strong>限制项</strong></th> 
   <th><strong>限制说明</strong></th> 
   <th><strong>备注</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>Project</strong></td> 
   <td>写入流量保护</td> 
   <td>写入流量最大为30 GB/min。</td> 
   <td>如超过限制，返回状态码403，提示Inflow Quota Exceed。如您有更大的使用需求，请提工单申请。</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>写入次数保护</td> 
   <td>写入次数最大为600000次/min。</td> 
   <td>如上</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>读取次数保护</td> 
   <td>读取次数最大为600000次/min。</td> 
   <td>如上</td> 
  </tr> 
  <tr> 
   <td><strong>Shard</strong></td> 
   <td>写入流量</td> 
   <td>写入流量最大为5 MB/s。</td> 
   <td>非硬性限制，超过时系统会尽可能服务，但不保证服务质量。</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>写入次数</td> 
   <td>写入次数最大为500次/s。</td> 
   <td>如上</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>读取流量</td> 
   <td>读取流量最大为10 MB/s。</td> 
   <td>如上</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>读取次数</td> 
   <td>读取次数最大为100次/s。</td> 
   <td>如上</td> 
  </tr> 
 </tbody> 
</table>

#### 1.3查询分析与可视化 ####

#### 1.4 保留字段 ####

1.3&1.4 具体查看 该 [**连接**][Link 1]

### 2.Shard ###

#### shard自动分裂：满足如下条件后会自动分裂 ####

*  当写入数据量超出当前Shard的[写入服务能力][Link 2]且持续5分钟以上。
 *  Logstore中readwrite状态的Shard数目未超过设定的最大Shard总数。
 *  注意：最近15分钟内分裂出来的新Shard不会自动分裂。
 *  可在创建logstore时开启自动分裂，并设定shard的最大分裂数

#### shard合并 ####

通过合并操作缩容Shard，日志服务会自动找到指定Shard右侧相邻的Shard，并将两个Shard合并。

*  合并Shard时，必须指定一个处于readwrite状态的Shard，且不能是最后一个readwrite状态的Shard。
 *  合并完成后，所指定的Shard和其右侧相邻Shard的状态变成readonly。同时新生成一个readwrite状态的Shard，新Shard的MD5范围覆盖原来两个Shard的范围。

[Link 1]: https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fhelp.aliyun.com%2Fdocument_detail%2F92264.html%3Fspm%3Da2c4g.11186623.6.562.31a34b10CjqTvC
[Link 2]: https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fhelp.aliyun.com%2Fdocument_detail%2F92571.html%23concept-afx-g3h-hfb