Elasticsearch の履歴(No.8)

Elasticsearchを独立させた。Solrと同じくLuceneベース

構成†

INDEX	RDBのDatabaseに相当。この単位でSHADE数が決まるので、更新頻度が違うものはINDEXを分ける
シャード	インデックスを何分割するか？作成時のみしか指定できず
DOCUMENT	RDBの1レコード
FIELD	列定義
CLUSTER	NODEの集合
NODE	ESの1プロセス

RDB	Elasticsearch
Databases	Indices
Tables	Types
Rows	Documents
Fields	Columns

↑

投入までの流れ†

INDEX作成(curl -XPUT "${ES_URL}/${INDEX_NAME}")
検索で使う型を定義するmappingをJSONで指定(curl -XPUT "${ES_URL}/${INDEX_NAME}/_mapping/default" -d @${MAPPING_FILE})

↑

クラスターの可視化†

elasticsearch-head

インストール後以下のURLで参照可能。

http://133.18.30.106:9200/_plugin/head/

↑

プラグインインストール†

yumの場合はコマンドは以下の場所にある

/usr/share/elasticsearch/bin

plugin install プラグイン名
# kuromojiインストール
/usr/share/elasticsearch/bin/plugin install analysis-kuromoji
# watcherのためのライセンスプラグイン
/usr/share/elasticsearch/bin/plugin install elasticsearch/license/latest
# watcher
/usr/share/elasticsearch/bin/plugin install elasticsearch/watcher/latest
# bigdisk
/usr/share/elasticsearch/bin/plugin install lukas-vlcek/bigdesk

↑

アラート†

無料ならelastalert(Yelp開発)。有料ならWatcher(サブスクリプション契約必要)

https://github.com/Yelp/elastalert

↑

情報†

パフォーマンスチューニングの注意点

http://qiita.com/rjkuro/items/e79eec7ffb0511b7c678

↑

td-agentとの連携†

fluent-plugin-elasticsearchのインストール。1.0系だとfluent-gemのパスが違うので注意。

/opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-elasticsearch

↑

Elasticsearch 2.2†

デフォルトはローカルからのみ接続可能なので、以下の変更を入れる。

/etc/elasticsearch/elasticsearch.yml
```
network.host: 0.0.0.0
```

↑

Kibana4.4†

解凍して、host変えて、起動して5601ポートでアクセス。

↑

Beats†

エージェント型だが、マシンの情報を定期的に送ってくれる上にダッシュボードのテンプレートも併せて提供されている。