UNIX/Server の履歴(No.110)

外部サーバ†

最近は外部サーバーがメインで構築Ansible化してから移行が自動化されたので頻繁に移行する日々。

期間	サービス名	OSなど	用途	備考
2010/02-2011/01	CoreServer mini	不明	wiki,blogなど	夜アクセス遅かった
2011/01-2012/04	さくらのVPS 512	CentOS 5	wiki,blog,subversion	時折httpdプロセス滞留でメモリ不足気味。いつか再インストールしようと思ったけど結局そのまま利用。7月に一回さくらのメンテ都合で再起動有り
2012/04/04-2014/01/06	さくらのVPS980(v3) 1G HDD100G	CentOS 6.2		値段同じで上位プランへアップグレード。トラブル皆無
2014/01/06-2015/05/31	さくらのVPS980(v3) 1G HDD100G	CentOS 6.4		トラブルなしだが移行訓練を兼ねて再構築。4月20日前後で移行完了
2015/04/03-2016/01/28	さくらのVPS2G (v4)SSD 50G	CentOS 7.0→CentOS 6.4	メインサーバーでアクセスが多いblogサイトのみ最後まで移行せずだが１月末に完全移行！	1GだとTomcatが重いので、スペックアップとCentOS7慣れる意味で平行稼働して移行だが、結局CentOS6.4に戻した
2015/11/16-12/06	カゴヤクラウド VPS1G (v4)	CentOS 7.0	CentOS7でPHPが遅い疑惑を確かめるべくwikiだけ稼働。徐々に増やす予定	wikiでの運用問題なし
2015/12/06-2015/12/25	Azure A1	CentOS 6	Ansible全自動移行テストを兼ねてさまざまなvpsを部分的に運用	wiki,postgres,svnなど対象を増やした
2015/12/25-2016/01/28	カゴヤクラウド VPS1G (v4)	CentOS 7	ほぼ自動構築化してblog以外を移行	自動構築が順調に出来上がった頃
2016/01/28-2016/02/05	Azure A2	CentOS 7.1	すべてを移行したが、I/Oが遅い割に一日400円かかるのでクレジット不足	無駄なリソース削除していなかったので、最後に０円割って課金された！
2016/02/05-2016/03/10	カゴヤクラウド VPS1G	CentOS 7	この後さくらのVPS復帰予定	途中でCloudFrontを導入したため、余裕ありまくり。調子に乗ってElasticSearch入れたら落ちたという！
2016/03/10-2016/03/26	Azure A2	CentOS 7.1	思いつきで移行して、virtualhostのservername設定ミス→リダイレクトループをCloudFrontがキャッシュしてひどいことに！wiki,tools,wwwを移行	AWS新アカウント移行も合わせて行った
2016/03/27-2016/04/03	カゴヤクラウド VPS1G	CentOS 7	さくら再構築までのつなぎ
2016/04/03-2016/05/06	さくらのVPS 2G	CentOS 7	ようやく本命で安定運用
2016/05/07-2016/05/31	Azure A2	CentOS 7.1	西日本アカウントで少し安いのでどこまで持つか（１日３００円）。月初予想グラフは１ヶ月１０００円以上残すが、あてにならん。17日にはまともなデータが出てきた6/12に尽きる予定。その後に一日２６０円なので6/3に切れると現実的な値が出た！	Sakuraも再インストールして課金切れに備えるつもりが直前あわてて作成
2016/05/31-2016/06/30	さくらのVPS 2G	CentOS 7	Azureは三日残して切りのいい月末に移行	2GだとESが使えないかも
2016/06/30-2016/07/15	Azure A2	CentOS 7.2	二ヶ月分の課金を利用して一月持たせる。7/14期限は１５００円残しなのでもっと早くやっておけば・・・。	7/15大障害発生で２週間のjarticと２時間のデータロスト
2016/07/15-2016/07/15	さくらのVPS 2G	CentOS 7	Azureがクソすぎるので緊急代役	しかし反省させるべく一日限り
2016/07/16-2016/08/11,8/12-9/09	Azure A1	CentOS 7.2	A1だと１日154円で31日ある月をまたぐと５００円程度残る。	大障害発生の汚名返上なるか？svnが謎の自宅からアクセス不能に伴い再構築でさくら一日挟み戻る。ElasticSearch系を止めるとメモリはほぼ５割程度。たまに攻撃があるとCPU上がるがほぼ一桁
2016/09/09-2016/10/27	さくらVPS 2G	CentOS 7.2	Azureは攻撃がすごい&Dockerに専念させるために空けておく	なぜかazure経由だとansibleできず。別マシンから実施。移行漏れでMyJCBバッチ三日動かず。
2016/10/28-2016/11/24	Azure A2 のちA1	CentOS 7.2		時折移行してないと忘れるので！課金不足が判明してA1に変更
2016/11/24-2016/12/10	さくらのVPS	公式 CentOS 7	カスタムOSにCentOS7追加されて以後初挑戦	10/31日に追加されていたので急遽入れ替え。しかしviの設定がまさにデフォルトだったりして文字化け
2016/12/10-2017/01/15	Azure A2 のちA1	CentOS 7.2		時折移行してないと忘れるので！課金不足が判明してA1に変更
2017/01/15-2017/02/06	さくらVPS 2G	CentOS 7	Azure7.3入替予定なのでいったん移ってもらう。	ほぼノートラブル！
2017/02/07-3/10	Azure A2	CentOS 7.3	ノートラブルと思いきやCloudFrontでなぜかwwwに飛ぶようになりキャッシュクリア！
2017/03/10-6/11	さくらVPS 2G with WAF	CentOS 7	WAF導入	切替時にVitrualHostが効かない問題。結局再起動忘れという・・・。WAFを有効にしたらpukiwikiがほぼ全滅のため除外設定を入れた
2017/06/11-6/17	Azure A2	CentOS 7.3	さくらのクラウド利用のため短期間
2017/06/17-6/28	さくらのクラウド 8G	CentOS 7.3	さくらのクラウド。かなり快適でVPSと大差なし。もっと有効活用すべきでした！
2017/06/29-9/17	さくらVPS 2G without WAF	CentOS 7	WAFOFF	前回こりごりしたのでWAFOFF
2017/09/17-10/12	Azure A1	CentOS 7.3	MSDNラスト！

↑

歴代の自宅サーバー†

2002/12ぐらいにマシンを買って、めずらしく金をかけてファンレスにして試運転開始。初期のころは割とマシンがおかしくなるケースがあったけど、リムーバブルケースをやめてからはほぼトラブル皆無。通算稼働1000日越えも当たり前に。2010年ごろからメインは外部サーバーに移したので、軽い用途中心だが、ファイルサーバーはもはや手放せない。DN2820まではMAX2GBのサーバーが多かったが、一気に8GBで贅沢にいろいろ実験できる。

期間	マシン	OS	MEMORY	連続稼動日数	通算	備考
2003/05/21-2003/07/25	PC/List/TerminatorK7	RedHat7.3	256M	65	65	連続稼動記録らしいもの樹立
2003/08/11-2003/11/08	PC/List/TerminatorK7	RedHat7.3	256M	89	89	多分上記と同じ構成
2003/11/09-2004/04/12	PC/List/TerminatorTU	DebianGNULinux3.0	512M	126	159	スキーで不在中に掃除間違いでコンセント抜け連続起動は126日あたりでstop。apacheだけ死亡状態のまま約一ヶ月放置！
2004/04/12-2004/06/26	PC/List/TerminatorTU	VineLinux2.6r4	512M	75	75	HDDのみ20G→80GへＵＰして同じマシンで再インストール
2004/06/27-2004/08/31	PC/List/Celeron	VineLinux2.6r4	384M	65	65	04年の猛暑を乗り切った。
2004/09/01-2005/05/12	PC/List/TerminatorTU	VineLinux3.0	512M	253	253	連続稼動最長不倒記録達成
2005/05/12-2005/06/01	PC/List/Celeron	RedHatEnterprise3.0ES	384M	20	20	TU再セットアップ期間中のピンチヒッター
2005/06/01-2005/09/13	PC/List/TerminatorTU	CentOS3.4	512M	104	104	リムーバブルケース騒音のため交換
2005/09/13-2006/01/16	PC/List/TerminatorTU	CentOS3.4	512M	51	125	11/03ファン除去や11/21-22に移動。1/09あたりから挙動不審２回なので前とあわせ通算229日で継続断念
2006/01/16-2006/07/02	PC/List/Celeron	CentOS4.2	384M	120	167	初SELinux。連続稼動は120日ぐらい
2006/07/02-2006/11/27	PC/List/TerminatorTU	VineLinux3.2	512M	82	148	リムーバブルケース不調のためPostgres壊れて急遽停止
2006/11/27-2007/05/15	PC/List/Celeron	CentOS4.2	384M	169	169	二つ前のCentOS(通算336日！)を使いまわした。
2007/05/15-2007/11/24	PC/List/TerminatorTU	VineLinux4.1	512M	171	193	やたら停止するようになったので急遽交換
2007/11/25-2008/09/23	PC/List/Celeron	VineLinux4.1	384M	202	303	特に不具合は無かったが、そろそろ入れ替え時というわけで交代
2008/09/23-2008/12/09	PC/List/Pen4	CentOS 5.2	1G	41	77	一年半ぶりにCentOS復帰
2008/12/09-2008/12/16	PC/List/TerminatorTU	VineLinux4.2	512M	5	7	Windowsサーバ計画の一時代役。５日目以降から何かがおかしいのか論理エラー続発
2008/12/16-2009/09/23	PC/List/Pen4	WindowsServer2003上にCentOS 5.2	1G	281	281	VMでの初運用。微妙に遅いような気がするが、281日連続稼動記録更新
2009/09/23-2010/05/10	PC/List/Celeron	CentOS 5.3	512M	131	229	物理サーバ回帰でSubversion利用開始
2010/05/10-2011/03/13	PC/List/Pen4	CentOS 5.4	1G	306	306	記録更新してまだまだ伸ばせたが、大震災のため泣く泣く停止
2011/03/29-2011/05/25	PC/List/Pen4	CentOS 5.4	1G	58	58	中身そのままで計画停電後再開。埃がすごいのでCeleronに交代
2011/05/25-2011/09/27	PC/List/Celeron	Scientific Linux 6.0	512M	74	125	8/7落雷停電その後ファンから異音がし出したので記録更新とともに停止
2011/10/17-2013/07/08	PC/List/XS35	CentOS5.6 32bit	2G	429	630	超静音PCなので部屋にて起動。5月にSSD置換プランのためいったん停止だが、その後通算と連続稼動記録400日越えでギネス更新。x64を入れられるハードなのに32bit入れてOracleXEは入れられず
2013/07/08-2014/05/18	PC/List/EPOX	CentOS5.9 32bit	2G	284	314	XS35再構築までのピンチヒッターのつもりだが、ファン付なので夏を乗り切らせるつもりが、一転K7越え目標、さらにCeleron越え、TU越え、夏までにPen4越えもいけるか？と思ったら前兆なくHDD巻き込んで故障
2014/05/24-2014/07/14	PC/List/XS35	CentOS6.5 64bit	2G	51	51	2014年夏もフルパワーファンで乗り切れ！・・のつもりがファンをXH61向けに転用＆ReadyNas導入で常用停止
2014/09/13-2014/10/15	PC/List/XS35	CentOS6.5 64bit	2G	32	32	外国留学中に公開鍵認証設定翌朝につながらなくなり、強制電源OFF。原因不明
2014/11/05-2017/07/25	PC/List/XS35	CentOS6.5 64bit	2G	738	265	再び利用開始だが、4年たつのでそろそろ入れ替えるかな。2015/04/24に発生したと思われる突然の電源OFFに恐怖。そこから一年近く連続稼働
2015/07/27-2016/04/13	PC/List/DN2820	CentOS6.7 64bit	8G	155	265	7/27から利用開始だが、時折シャットダウンしてた。連続稼働は11/10から155日
2016/04/13-2016/10/26	PC/List/NUC5i7RYH	CentOS7.2 64bit	16G			ついに16GBのi7でDockerベースとして運用予定。

↑

移行†

Server/移行

↑

通算稼働記録(2015/07/28 現在)†

↑

マシン†

CELERON	1078
TU	1064
XS35	978
PEN4	664
Epox	314
K7	154

↑

OS†

CentOS	2527
VineLinux	1044
2003Server	281
RedHat/RHEL	174
Debian	159
Scientifix Linux	125

↑

連続稼働記録 (2016/04/14)†

↑

上位10傑†

XS35	738
XS35	439
Pen4	306
EPOX	284
Pen4	281
TerminatorTU	253
CELERON	202
TerminatorTU	171
CELERON	169
CELERON	131
TerminatorTU	126

↑

利用中サーバー機能†

↑

自宅†

利用比率と重要性の高いもの順。2010年からレンタルサーバに移してからは内部用途中心

Subversion(mod_svn)
Samba
squid
ruby
webmin(試験運用中)

↑

外部†

Webサーバー(PHP+Postgres+Blog)
WordPress
PostgreSQL
MySQL
CakePHP
バッチ

↑

主要ソフトのサーバー移行手順†

HTMLデータ(wiki,phpも含む）
秘密鍵データ
データベース
cron関係(DDNSアップデートとbackupスクリプト)
bind
squid
BASIC,DIGEST認証情報

↑

我が家のサーバ移行の手順†

さすがに１０数回も移行をしていると決まった手順があるのでそれをまとめた。

主要ソフトのインストール
公開鍵の移動(.ssh/authorized_keys)
cron(/etc/cron.d,/etc/cron.daily)
crontab -eでcron追加する。
SVN
SSLの鍵
メールサーバーの設定

↑

2011/10の移行†

SVNを移行した。Apacheの設定、SVN用ディレクトリの作成、権限付与、SVNリポジトリ移動
レンタルサーバ用バックアップ秘密鍵移植
cron.daily,cron.dのシェル移動、crontab -eの登録

↑

今後の計画†

2006年後半からTUに最後の一仕事（壊れるまでがんばってもらう）
celeronを常にrsyncでミラーしてスタンバイ体制
販売終了してしまう前か2007年夏までにturion64静音マシン購入
のつもりだったけどTerminatorPen4譲り受けて既存マシンでローテーション
XS35を2011年後半からメイン利用。Epoxがサブ候補。そろそろVT対応のサーバーにしたい！
将来的にXH61系がパワフルサーバーマシンとして活躍する予定。高いのでNUCまでは必要ないと思ったが、15000円以下のNUCが手に入ったので、それを2015/05より利用。

↑

運用履歴†

2011/11/2x	HTTPプロセス数が50越えに急増。	httpd再起動
2011/11/28	スワップがなくなる。80プロセス滞留	再起動後、MaxClientを25に減らす
2012/01/22	スワップ利用1G。si4000でディスクI/O急上昇。すべての操作がすさまじくスロー	httpd再起動
2012/06/24	1Gにしてから初のレスポンス悪化。httpdプロセス151滞留！php.iniの設定忘れが原因	VPSコンソールから強制再起動
2013/04/12	JMeterで100スレッドかけたらOutOfMemory頻発！	VPSコンソールから強制再起動
2013/07/17	前日21:05近辺より中国クローラーの800近くのアクセスくらってhttpd260プロセス滞留。OutOfMemory頻発！	VPSコンソールから強制再起動
2013/08/08	自宅サーバのWebmin試験運用中。Apache設定変えて再起動でアクセス不能に！	原因は？
2013/08/13	02:40近辺よりAWSよりwget攻撃9900ほど。httpd260プロセス滞留。OutOfMemory頻発！さすがに対策立てないと・・・	VPSコンソールから強制再起動
2014/11/08	12:00近辺よりCPUとDiskI/Oが急上昇。操作できず	VPSコンソールから強制再起動
2015/05/19	1Gに変更してたのに、MAX Client初期設定のまま。12:40近辺よりCPUとDiskI/Oが急上昇。操作できず	VPSコンソールから強制再起動
2015/08/09	脆弱性対応に伴うメンテナンスが8/24に予定。20日前に通知	手動停止、起動
2016/02/12	Kagoyaの2Gは保証ではないので急上昇してOOMでSSH接続もできず10時ごろ再起動。elasticsearch/td-agentは止めた	VPSコンソールから強制再起動
2016/03/29	CloudFront導入して安心してたらOOM発生。たまたまコンソールに入っていたからすぐ復旧できたが、今後要注意。	VPSコンソールから強制再起動
2016/04/18	Kagoya VPSでElasticSearch試験運用してたらすべてのサービスが止められず、rebootも効かなかった	VPSコンソールから強制再起動
2016/05/25	AzureA2 ES+Kibanaの高負荷で運用していたが、重くなってCloudFrontタイムアウトで慌てて再起動。	コンソールから強制再起動
2016/07/15	新大阪への移動中にA1へのサイズダウンでリブートしたら、削除したストレージアカウントに紐付いていたらしく起動失敗。	Sakuraでそのまま運用し、新しいインスタンスにその日夜までに移行
2016/09/12	19時から20時半までMySQL落ちる	DiskIOが急上昇だが、攻撃者特定はならず
2016/12/16	23時から24時半までMySQL落ちる	22時近辺にDiskIOが数十GBレベルに上昇。ただし日単位でみるとアクセス集中はない。firewalldが止まっていたのと余計なプロセス(kibana/es/td-agent)を停止
2017/08/24	20:50から20分程度MySQL落ちる	InnoDB: Fatal error: cannot allocate memory for the buffer pool

↑

トラブル履歴†

↑

2017/02/24†

A1に下げたがサービスが動き過ぎていたため、いろいろなプロセスが殺される状況であった。とりあえずmariadb再起動したが、また落ちたため、夜に根本対応(kibana,es,td-agent)

Feb 24 05:56:54 FebAzure2 kernel: Out of memory: Kill process 30491 (mysqld) score 101 or sacrifice child
Feb 24 05:56:54 FebAzure2 kernel: Killed process 30491 (mysqld) total-vm:1188868kB, anon-rss:173876kB, file-rss:0kB, shmem-rss:0kB
Feb 24 05:56:56 FebAzure2 mysqld_safe: /usr/bin/mysqld_safe: line 183: 30491 Killed                  nohup /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock < /dev/null >> /var/log/mariadb/mariadb.log 2>&1 >> /var/log/mariadb/mariadb.log 2>&1

Feb 24 18:12:57 FebAzure2 kernel: Out of memory: Kill process 50701 (mysqld) score 95 or sacrifice child
Feb 24 18:12:57 FebAzure2 kernel: Killed process 50701 (mysqld) total-vm:1191648kB, anon-rss:163144kB, file-rss:0kB, shmem-rss:0kB
Feb 24 18:13:00 FebAzure2 mysqld_safe: /usr/bin/mysqld_safe: line 183: 50701 Killed                  nohup /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock < /dev/null >> /var/log/mariadb/mariadb.log 2>&1 >> /var/log/mariadb/mariadb.log 2>&1 >> /var/log/mariadb/mariadb.log 2>&1

nodeが殺されたのちmysqlも！

↑

2014/11/08の高負荷†

2014-11-08 09:35:01,20
2014-11-08 09:40:03,24
2014-11-08 09:45:12,53
2014-11-08 09:50:10,41
2014-11-08 09:55:10,59
2014-11-08 10:00:03,24
2014-11-08 10:05:28,62
2014-11-08 10:10:47,62
2014-11-08 10:15:40,70
2014-11-08 10:20:44,72
2014-11-08 10:25:43,79
2014-11-08 10:30:29,79
2014-11-08 10:35:03,79
2014-11-08 10:40:46,79
2014-11-08 10:50:25,84
2014-11-08 10:56:11,93
2014-11-08 11:27:26,116
2014-11-08 11:45:57,116
2014-11-08 12:11:43,115
2014-11-08 12:40:57,110
2014-11-08 12:50:40,100
2014-11-08 12:55:43,97
2014-11-08 13:32:31,114
2014-11-08 15:11:33,122

Nov  8 11:02:21 www4052ue kernel: httpd invoked oom-killer: gfp_mask=0x200da, order=0, oom_adj=0, oom_score_adj=0

cat access_log | cut -d ' ' -f 1 | sort | uniq -c


82.80.249.170からすさまじいアクセス。2683

この時点ですでにアクセスできなくなっていたとおもわれる。

grep "82.80.249.170" access_log-20141109 | cut -d ' ' -f 4 | sort | uniq -c | sort

時間単位で見てみると秒間５０アクセスくらって死亡している模様。

↑

2015/05/19 高負荷†

プロセス数

2015-05-19 12:45:01,23
2015-05-19 12:50:20,66
2015-05-19 12:55:11,77

↑

DOS対策†

mod_evasive,mod_dosdetector

↑

1309 移行計画†

初回インストールから1年半近くたつので、心機一転再インストールをしたい。いったん自宅サーバーにすべて移行して、負荷状況を見てみたい。

空室情報バッチの移植
Wordpressのakismetのアカウント情報保存

↑

保存すべきもの†

サーバー秘密鍵
SSH用公開鍵
CRON設定
SVN
MySQL
PostgreSQL

↑

自宅に移してもよいもの†

CakePHP
家計簿ツール(Postgres)

↑

移行作業に慎重な検証と手順を要するもの†

WordPress
旧MTコンテンツ

↑

インストールパッケージの確認†

grep Installed /var/log/yum.log*

↑

設定ファイルの保存†

↑

1402移行†

より高負荷に耐えられる構成にして、リリースしたい。

↑

MySQL落ちる問題†

↑

2016/12/17†

InnoDB: Fatal error: cannot allocate memory for the buffer pool

↑

各サーバーの役割†

↑

外部サーバー†

公開web情報
公式SVN

↑

自宅サーバー†

内部SVN(バイナリ）
ファイルサーバー
外部サーバーバックアップ
実験

Counter: 11808, today: 1, yesterday: 2