天天看点
返回

elk笔记8--index

elk笔记8--index

  • ​​1. index 创建的几种方式​​
  • ​​1.1 直接创建index​​
  • ​​1.2 按照当前日期创建索引​​
  • ​​1.3 创建带有rollover功能的索引​​
  • ​​2. 索引的常见设置​​
  • ​​2.1 基本设置​​
  • ​​2.2 index 为unassigned的常见处理方式​​
  • ​​2.3 集群为red处理​​
  • ​​2.4 提高消费速度常见方法​​
  • ​​2.5 常见问题​​
  • ​​3. 说明​​

1. index 创建的几种方式

1.1 直接创建index

第一种方式最普通，此类index 写入时在logstash中直接指定index01即可；

其缺点是当日志量大的时候，会影响性能。

PUT index01
{}
out:
{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "index01"
}

1.2 按照当前日期创建索引

该方式创建日志，写入时候每天会创建一个带日期的index，此类写入时在logstash中配置如下：

index => “index02-%{+YYYY.MM.dd}”

PUT /%3Cindex02-%7Bnow%2Fd%7D%3E
{}
out:
{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "index02-2020.06.21"
}

1.3 创建带有rollover功能的索引

该方式新建一个index带日期和序号，并设置一个_write别名；

每次执行rollover的时候，会按照当前日期和和序号+1的方式生成新索引，并将_write别名指向最新索引；

因此实际写入的时候直接使用_write索引即可，该方式比较使用生产中使用；

实际使用的时候，若数据量过大，应该加一个cron定时按照策略进行rollover。

PUT /%3Cindex03-%7Bnow%2Fd%7D-000001%3E
{
  "aliases": {
  "index03_write": {}
  }
}
out:
{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "index03-2020.06.21-000001"
}
rollover:
POST index03_write/_rollover
out:
{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "old_index" : "index03-2020.06.21-000001",
  "new_index" : "index03-2020.06.21-000002",
  "rolled_over" : true,
  "dry_run" : false,
  "conditions" : { }
}

2. 索引的常见设置

2.1 基本设置

  1. index.number_of_replicas 副本数量
  2. index.routing.allocation.require.zone 索引存储的zone
  3. index.routing.allocation.include._name 索引存储的节点名称
  4. index.routing.allocation.include._ip 索引存储的节点ip
  5. index.routing.allocation.total_shards_per_node 索引在每个节点上可以存储多少个分片

2.2 index 为unassigned的常见处理方式

当集群yellow时候，一般为分配未正常分配，包括如下常见4类处理方法：

  1. zone限制 
PUT index_name/_settings
{
  "index" : {
    "routing" : {
      "allocation" : {
        "require" : {
          "zone" : ""
        }
      }
    }
  }
}
  1. include._ip 限制 
PUT index_name/_settings
{
 "index" : {
 "routing" : {
   "allocation" : {
     "include" : {
       "_ip" : ""
        }
      }
    }
  }
}
  1. include._name 限制 
PUT index_name/_settings
{
 "index" : {
 "routing" : {
   "allocation" : {
     "include" : {
       "_name" : ""
        }
      }
    }
  }
}
  1. total_shards_per_node 值过小导致shard无法分配到所有节点上 
PUT index_name/_settings
{
  "index" : {
    "routing" : {
      "allocation" : {
        "total_shards_per_node" : "3" #此值根据节点数量和分片数量更改即可
      }
    }
  }
}

  1. data 节点数量不够，导致主备shard无法分配

    案例说明：

    用户收到告警：集群为yellow

    在集群中通过 GET _cluster/allocation/explain 查看结果如下，即同一个索引的副本和主分片不能出现在同一个节点中, 推测可能节点数量不够；

"explanation": "the shard cannot be allocated to the same node on which a copy of the shard already exists [[id5_equip_v1][1], node[Htz1RdjST-2gdvkti0xfCQ], [P], s[STARTED], a[id=NaGQ1AraS_SQwUKb-1j2xw]]"

继续 GET _cat/nodes?v ， 发现集群中只有一个data节点，3个master节点，因此可以判断是集群节点数量少，而索引设置了非0副本导致yellow的。

解决方法1：
添加data节点，使其能够分配shard；
解决方法2:
用户可以接受的情况下，设置shard的副本为0，一般测试集群可以设置副本为0，正式集群建议设置1个副本
index_name
PUT index_name/_settings
{
  "index": {
    "number_of_replicas":"0"
  }
}

2.3 集群为red处理

笔者由于磁盘异常，且某些测试index没有设置副本，导致节点为red。

此时处理方法包括：

1）删除red的index

所有的数据都会丢失

2）通过reroute对red对应的index分配空的primary shard

丢失的分片数据丢失，没丢失的可以继续使用

GET _cluster/allocation/explain
{
  "index" : "dmesg001-2020.07.15-000003",
  "shard" : 1,
  "primary" : true,
  "current_state" : "unassigned",
  "unassigned_info" : {
    "reason" : "NODE_LEFT",
    "at" : "2020-07-15T15:27:55.563Z",
    "details" : "node_left [J2H0nVv9T-uH-ZymDUJ2yQ]",
    "last_allocation_status" : "no_valid_shard_copy"
  },
  "can_allocate" : "no_valid_shard_copy",
  "allocate_explanation" : "cannot allocate because a previous copy of the primary shard existed but can no longer be found on the nodes in the cluster",
  ......
  }
  
分配分片异常的，可以先通过reroute加retry_failed 参数来初步修复， 也可以尝试 _flush，无法修复的可以尝试分配空分片。
POST /_cluster/reroute?retry_failed=true

POST red_index_name/_flush

POST _cluster/reroute
{
"commands" : [ {
"allocate_empty_primary" : {
"index" : "dmesg001-2020.07.15-000003",
"shard" : 1,
"node" : "node-3",
"accept_data_loss" : true
}
}
]
}

2.4 提高消费速度常见方法

  1. 适当增加分片数量

    当logstash资源充足的时候，shard数量过少可能造成写入瓶颈，因此此时可以 适当增加shard分片数据。

  2. 适当增加logstash数量

    当shard分片数据比较多，logstash数量较少的时候，可能造成消费 瓶颈，此时可以通过增加logstash数量来提高消费速率。

  3. 适当增加kafka topic partion数量

    当分片数量和logstash数量充足的时候，若topic partion过低，也会导致logstash无法提高消费速率，此时可以适当提高topic的partion数量。

  4. 将索引写入到ssd节点

    对于有一定规模的集群，可以设置hot、stale、freeze节点，hot节点用ssd节点，stale节点用普通的机械盘，freeze节点用最差的机械盘。

    写入时候一般将重要的索引直接写入hot节点(保证最快的写入速率)，普通的索引 写入到stale节点，冻结的索引保存在freeze节点。当stale节点中的索引写入速度无法提上去的时候，就可以通过rollover将起分配到hot节点中，从而提高起写入速率。

POST a01_logtail_write/_rollover
{
  "settings": {
  "index": {
  "number_of_shards" : "6",
  "routing": {
    "allocation": {
      "require": {
        "zone": "hot"
          }
        }
      }
    }
  }
}

  1. 去掉副本

    去掉副本可以明显提高写入速率，但节点故障存在一定丢数据的风险；因此 ，当数据不太重要，紧急情况下可以通过去掉副本来快速提高写入速率，数据无lag的时候可以再恢复副本。

  2. 使用hangout代替logstash

    在同等资源下，hangout的消费速率明显比logstash高一般是logstash的2-3倍的消费速率。

2.5 常见问题

  1. index 创建了如何修改shard数量

    正常情况是不允许修改的，对于可以rollover类型，或者按照日期的index，可以通过修改模板来更新shard数量，从而创建下一个index的时候就自动更新了shard数量;

    如下创建模板后，更新settings的shard数据即可：

PUT _template/index_03
{
     "index_patterns": ["index03-*"], 
     "settings": {
       "number_of_shards": 2
     }
   }
  1. 判断集群状态常用的命令 
GET _cluster/allocation/explain
GET _cat/health?v
GET _cat/indices?v&health=yellow
GET _cat/shards?h=index,shard,prirep,state,unassigned.reason
GET index_name/_setting
默认 explain 不会区分primary和非primary，且只能查看1个shard；所以，当有多个shard异常的时候，一般先用_cat/shards?v 查看哪些shard未分配且为主分片，然后再用条件式的explain查看具体原因
GET _cluster/allocation/explain
{
 "index": "my-index-000001",
 "shard": 0,
 "primary": true
}
  1. curl 查询更新信息 
无认证的集群: curl h01:9201/_cat/indices 
有认证的集群：curl -u elastic:elastic [-XGET可以省略] h01:9204/_cat/indices ，需要 -u 参数加入用户认证
使用curl put数据：curl -u elastic:elastic -H "Content-Type: application/json" -XPUT h01:9204/test1122/_settings -d '{"index": { "number_of_replicas": "0"}}' 
XPUT必须要加上，且需要加上-H "Content-Type: application/json"参数，否则会报如下406错误：
{"error":"Content-Type header [application/x-www-form-urlencoded] is not supported","status":406}

3. 说明

elk 索引 数据 elastic 当前日期
上一篇: elk 笔记15--mapping
下一篇: elk笔记6--reindex 实践

继续阅读