Elasticsearch の履歴(No.14)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Elasticsearch へ行く。
  • 1 (2016-04-14 (木) 16:03:05)
  • 2 (2016-04-14 (木) 16:18:53)
  • 3 (2016-04-15 (金) 14:17:38)
  • 4 (2016-04-15 (金) 19:54:20)
  • 5 (2016-04-18 (月) 11:31:27)
  • 6 (2016-04-18 (月) 17:43:57)
  • 7 (2016-04-18 (月) 18:25:23)
  • 8 (2016-04-18 (月) 21:51:09)
  • 9 (2016-04-19 (火) 11:50:45)
  • 10 (2016-04-22 (金) 15:43:23)
  • 11 (2016-04-26 (火) 17:02:38)
  • 12 (2016-04-27 (水) 16:59:09)
  • 13 (2016-04-27 (水) 17:51:20)
  • 14 (2016-04-28 (木) 04:30:11)
  • 15 (2016-05-09 (月) 05:16:18)
  • 16 (2016-05-09 (月) 08:16:30)
  • 17 (2016-05-10 (火) 02:58:33)
  • 18 (2016-05-11 (水) 08:57:26)
  • 19 (2016-05-12 (木) 04:15:02)
  • 20 (2016-05-13 (金) 06:55:10)
  • 21 (2016-05-16 (月) 03:42:54)
  • 22 (2016-05-17 (火) 02:46:09)
  • 23 (2016-05-18 (水) 02:39:08)
  • 24 (2016-05-18 (水) 08:37:14)
  • 25 (2016-05-20 (金) 06:30:31)
  • 26 (2016-05-24 (火) 02:11:33)
  • 27 (2016-05-24 (火) 09:17:49)
  • 28 (2016-05-25 (水) 02:18:00)
  • 29 (2016-05-27 (金) 19:19:51)
  • 30 (2016-06-02 (木) 18:48:34)
  • 31 (2016-06-08 (水) 19:04:41)
  • 32 (2016-06-10 (金) 10:47:32)
  • 33 (2016-06-13 (月) 12:37:48)
  • 34 (2016-08-04 (木) 22:22:05)
  • 35 (2018-10-25 (木) 07:52:41)
  • 36 (2019-01-25 (金) 10:13:42)
  • 37 (2019-08-12 (月) 15:33:57)
  • 38 (2020-03-06 (金) 08:10:20)
  • 39 (2020-03-19 (木) 07:51:19)
  • 40 (2020-04-06 (月) 10:28:03)
  • 41 (2020-04-26 (日) 11:54:41)
  • 42 (2020-06-03 (水) 16:00:04)
  • 43 (2020-06-03 (水) 20:38:39)

---

• Elasticsearchを独立させた。Solrと同じくLuceneベース

構成†

• 更新は苦手なのでINDEX単位で日付を付与して、古くなったものはINDEX毎すてていく

AWS Elasticserach Service†

• 基本的なプラグインはインストール済みだが、カスタムプラグインはインストールできない。
• バージョンが古い

Elastic Cloud(旧Found)†

• バージョン選択可能
• 基本プラグイン導入済み
• リージョンも選択可能
• 高い！

運用†

本番環境向け推奨マシンスペック†

実験用途で2GBのマシンに入れたが、結構な割合でOomKillerを発動させたり、落ちてたりする。

• メモリは64gbが理想だが、32−16GBでも大丈夫。8GB以下はインスタンスをたくさん用意しなければならぬ羽目に陥るので結局損。64GB以上でも問題があるので推奨範囲にとどめておくこと。
• CPUのスペックはマルチコアであれば特にハイスペックは要求しない。もしコアあたりの性能アップかコアを増やすかの選択に迫られた時はコアを増やす方向がベターである。
• ディスクはSSDベースにしておけばベター。NASはダメ！
• ネットワークはデータセンター内部にとどめておき、仮に早い専用線があったとしても地理的に離れた場所に配置しない。
• HEAPは初期設定では実運用には適さない。マシンの実メモリの半分程度を最大としつつ、32GBは超えないように設定する。

設定†

投入までの流れ†

1. INDEX作成(curl -XPUT "${ES_URL}/${INDEX_NAME}")
2. 検索で使う型を定義するmappingをJSONで指定(curl -XPUT "${ES_URL}/${INDEX_NAME}/_mapping/default" -d @${MAPPING_FILE})

クラスターの可視化†

• elasticsearch-head

インストール後以下のURLで参照可能。

http://133.18.30.106:9200/_plugin/head/

プラグインインストール†

• インストール済みプラグイン確認

  curl -XGET 'http://localhost:9200/_nodes?plugin=true&pretty'

yumの場合はコマンドは以下の場所にある

/usr/share/elasticsearch/bin

plugin install プラグイン名
# kuromojiインストール
/usr/share/elasticsearch/bin/plugin install analysis-kuromoji
# watcherのためのライセンスプラグイン
/usr/share/elasticsearch/bin/plugin install elasticsearch/license/latest
# watcher
/usr/share/elasticsearch/bin/plugin install elasticsearch/watcher/latest
# bigdisk
/usr/share/elasticsearch/bin/plugin install lukas-vlcek/bigdesk

アラート†

無料ならelastalert(Yelp開発)。有料ならWatcher(サブスクリプション契約必要)

https://github.com/Yelp/elastalert

情報†

パフォーマンスチューニングの注意点

http://qiita.com/rjkuro/items/e79eec7ffb0511b7c678

td-agentとの連携†

• fluent-plugin-elasticsearchのインストール。1.0系だとfluent-gemのパスが違うので注意。

/opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-elasticsearch

Elasticsearch 2.2†

デフォルトはローカルからのみ接続可能なので、以下の変更を入れる。

• /etc/elasticsearch/elasticsearch.yml

  network.host: 0.0.0.0

Kibana4.4†

解凍して、host変えて、起動して5601ポートでアクセス。

Beats†

エージェント型だが、マシンの情報を定期的に送ってくれる上にダッシュボードのテンプレートも併せて提供されている。

トラブルシューティング†

fluentd + ElasticSearchServiceで時折「Cannot get new connection from pool」†

• 以下のパラメータを入れることにより再接続をするようになる。

  reload_connections false

運用履歴†

Kagoya 2G†

限界ぎりぎりまでメモリを使う。何もしてなくても自然に落ちるという・・

Apr 27 02:19:53 v9215 elasticsearch: # There is insufficient memory for the Java Runtime Environment to continue. Apr 28 09:11:22 v9215 elasticsearch: # There is insufficient memory for the Java Runtime Environment to continue. Apr 28 13:01:44 v9215 elasticsearch: # There is insufficient memory for the Java Runtime Environment to continue.