2002/12ぐらいにマシンを買って、めずらしく金をかけてファンレスにして試運転開始。初期のころは割とマシンがおかしくなるケースがあったけど、リムーバブルケースをやめてからはほぼトラブル皆無。通算稼働1000日越えも当たり前に。2010年ごろからメインは外部サーバーに移したので、軽い用途中心だが、ファイルサーバーはもはや手放せない。DN2820まではMAX2GBのサーバーが多かったが、一気に8GBで贅沢にいろいろ実験できる。
期間 | マシン | OS | MEMORY | 連続稼動日数 | 通算 | 備考 |
2003/05/21-2003/07/25 | PC/List/TerminatorK7 | RedHat7.3 | 256M | 65 | 65 | 連続稼動記録らしいもの樹立 |
2003/08/11-2003/11/08 | PC/List/TerminatorK7 | RedHat7.3 | 256M | 89 | 89 | 多分上記と同じ構成 |
2003/11/09-2004/04/12 | PC/List/TerminatorTU | DebianGNULinux3.0 | 512M | 126 | 159 | スキーで不在中に掃除間違いでコンセント抜け連続起動は126日あたりでstop。apacheだけ死亡状態のまま約一ヶ月放置! |
2004/04/12-2004/06/26 | PC/List/TerminatorTU | VineLinux2.6r4 | 512M | 75 | 75 | HDDのみ20G→80GへUPして同じマシンで再インストール |
2004/06/27-2004/08/31 | PC/List/Celeron | VineLinux2.6r4 | 384M | 65 | 65 | 04年の猛暑を乗り切った。 |
2004/09/01-2005/05/12 | PC/List/TerminatorTU | VineLinux3.0 | 512M | 253 | 253 | 連続稼動最長不倒記録達成 |
2005/05/12-2005/06/01 | PC/List/Celeron | RedHatEnterprise3.0ES | 384M | 20 | 20 | TU再セットアップ期間中のピンチヒッター |
2005/06/01-2005/09/13 | PC/List/TerminatorTU | CentOS3.4 | 512M | 104 | 104 | リムーバブルケース騒音のため交換 |
2005/09/13-2006/01/16 | PC/List/TerminatorTU | CentOS3.4 | 512M | 51 | 125 | 11/03ファン除去や11/21-22に移動。1/09あたりから挙動不審2回なので前とあわせ通算229日で継続断念 |
2006/01/16-2006/07/02 | PC/List/Celeron | CentOS4.2 | 384M | 120 | 167 | 初SELinux。連続稼動は120日ぐらい |
2006/07/02-2006/11/27 | PC/List/TerminatorTU | VineLinux3.2 | 512M | 82 | 148 | リムーバブルケース不調のためPostgres壊れて急遽停止 |
2006/11/27-2007/05/15 | PC/List/Celeron | CentOS4.2 | 384M | 169 | 169 | 二つ前のCentOS(通算336日!)を使いまわした。 |
2007/05/15-2007/11/24 | PC/List/TerminatorTU | VineLinux4.1 | 512M | 171 | 193 | やたら停止するようになったので急遽交換 |
2007/11/25-2008/09/23 | PC/List/Celeron | VineLinux4.1 | 384M | 202 | 303 | 特に不具合は無かったが、そろそろ入れ替え時というわけで交代 |
2008/09/23-2008/12/09 | PC/List/Pen4 | CentOS 5.2 | 1G | 41 | 77 | 一年半ぶりにCentOS復帰 |
2008/12/09-2008/12/16 | PC/List/TerminatorTU | VineLinux4.2 | 512M | 5 | 7 | Windowsサーバ計画の一時代役。5日目以降から何かがおかしいのか論理エラー続発 |
2008/12/16-2009/09/23 | PC/List/Pen4 | WindowsServer2003上にCentOS 5.2 | 1G | 281 | 281 | VMでの初運用。微妙に遅いような気がするが、281日連続稼動記録更新 |
2009/09/23-2010/05/10 | PC/List/Celeron | CentOS 5.3 | 512M | 131 | 229 | 物理サーバ回帰でSubversion利用開始 |
2010/05/10-2011/03/13 | PC/List/Pen4 | CentOS 5.4 | 1G | 306 | 306 | 記録更新してまだまだ伸ばせたが、大震災のため泣く泣く停止 |
2011/03/29-2011/05/25 | PC/List/Pen4 | CentOS 5.4 | 1G | 58 | 58 | 中身そのままで計画停電後再開。埃がすごいのでCeleronに交代 |
2011/05/25-2011/09/27 | PC/List/Celeron | Scientific Linux 6.0 | 512M | 74 | 125 | 8/7落雷停電その後ファンから異音がし出したので記録更新とともに停止 |
2011/10/17-2013/07/08 | PC/List/XS35 | CentOS5.6 32bit | 2G | 429 | 630 | 超静音PCなので部屋にて起動。5月にSSD置換プランのためいったん停止だが、その後通算と連続稼動記録400日越えでギネス更新。x64を入れられるハードなのに32bit入れてOracleXEは入れられず |
2013/07/08-2014/05/18 | PC/List/EPOX | CentOS5.9 32bit | 2G | 284 | 314 | XS35再構築までのピンチヒッターのつもりだが、ファン付なので夏を乗り切らせるつもりが、一転K7越え目標、さらにCeleron越え、TU越え、夏までにPen4越えもいけるか?と思ったら前兆なくHDD巻き込んで故障 |
2014/05/24-2014/07/14 | PC/List/XS35 | CentOS6.5 64bit | 2G | 51 | 51 | 2014年夏もフルパワーファンで乗り切れ!・・のつもりがファンをXH61向けに転用&ReadyNas導入で常用停止 |
2014/09/13-2014/10/15 | PC/List/XS35 | CentOS6.5 64bit | 2G | 32 | 32 | 外国留学中に公開鍵認証設定翌朝につながらなくなり、強制電源OFF。原因不明 |
2014/11/05-2016/11/25 | PC/List/XS35 | CentOS6.5 64bit | 2G | 533 | 265 | 再び利用開始だが、4年たつのでそろそろ入れ替えるかな。2015/04/24に発生したと思われる突然の電源OFFに恐怖。そこから一年近く連続稼働 |
2015/07/27-2016/04/13 | PC/List/DN2820 | CentOS6.7 64bit | 8G | 155 | 265 | 7/27から利用開始だが、時折シャットダウンしてた。連続稼働は11/10から155日 |
2016/04/13-2016/10/26 | PC/List/NUC5i7RYH | CentOS7.2 64bit | 16G | ついに16GBのi7でDockerベースとして運用予定。 |
CELERON | 1078 |
TU | 1064 |
XS35 | 978 |
PEN4 | 664 |
Epox | 314 |
K7 | 154 |
CentOS | 2527 |
VineLinux | 1044 |
2003Server | 281 |
RedHat/RHEL | 174 |
Debian | 159 |
Scientifix Linux | 125 |
XS35 | 533 |
XS35 | 439 |
Pen4 | 306 |
EPOX | 284 |
Pen4 | 281 |
TerminatorTU | 253 |
CELERON | 202 |
TerminatorTU | 171 |
CELERON | 169 |
CELERON | 131 |
TerminatorTU | 126 |
さすがに10数回も移行をしていると決まった手順があるのでそれをまとめた。
期間 | サービス名 | OSなど | 用途 | 備考 |
2010/02-2011/01 | CoreServer mini | 不明 | wiki,blogなど | 夜アクセス遅かった |
2011/01-2012/04 | さくらのVPS 512 | CentOS 5 | wiki,blog,subversion | 時折httpdプロセス滞留でメモリ不足気味。いつか再インストールしようと思ったけど結局そのまま利用。7月に一回さくらのメンテ都合で再起動有り |
2012/04/04-2014/01/06 | さくらのVPS980(v3) 1G HDD100G | CentOS 6.2 | 値段同じで上位プランへアップグレード。トラブル皆無 | |
2014/01/06-2015/05/31 | さくらのVPS980(v3) 1G HDD100G | CentOS 6.4 | トラブルなしだが移行訓練を兼ねて再構築。4月20日前後で移行完了 | |
2015/04/03-2016/01/28 | さくらのVPS2G (v4)SSD 50G | CentOS 7.0→CentOS 6.4 | メインサーバーでアクセスが多いblogサイトのみ最後まで移行せずだが1月末に完全移行! | 1GだとTomcatが重いので、スペックアップとCentOS7慣れる意味で平行稼働して移行だが、結局CentOS6.4に戻した |
2015/11/16-12/06 | カゴヤクラウド VPS1G (v4) | CentOS 7.0 | CentOS7でPHPが遅い疑惑を確かめるべくwikiだけ稼働。徐々に増やす予定 | wikiでの運用問題なし |
2015/12/06-2015/12/25 | Azure A1 | CentOS 6 | Ansible全自動移行テストを兼ねてさまざまなvpsを部分的に運用 | wiki,postgres,svnなど対象を増やした |
2015/12/25-2016/01/28 | カゴヤクラウド VPS1G (v4) | CentOS 7 | ほぼ自動構築化してblog以外を移行 | 自動構築が順調に出来上がった頃 |
2016/01/28-2016/02/05 | Azure A2 | CentOS 7.1 | すべてを移行したが、I/Oが遅い割に一日400円かかるのでクレジット不足 | 無駄なリソース削除していなかったので、最後に0円割って課金された! |
2016/02/05-2016/03/10 | カゴヤクラウド VPS1G | CentOS 7 | この後さくらのVPS復帰予定 | 途中でCloudFrontを導入したため、余裕ありまくり。調子に乗ってElasticSearch入れたら落ちたという! |
2016/03/10-2016/03/26 | Azure A2 | CentOS 7.1 | 思いつきで移行して、virtualhostのservername設定ミス→リダイレクトループをCloudFrontがキャッシュしてひどいことに!wiki,tools,wwwを移行 | AWS新アカウント移行も合わせて行った |
2016/03/27-2016/04/03 | カゴヤクラウド VPS1G | CentOS 7 | さくら再構築までのつなぎ | |
2016/04/03-2016/05/06 | さくらのVPS 2G | CentOS 7 | ようやく本命で安定運用 | |
2016/05/07-2016/05/31 | Azure A2 | CentOS 7.1 | 西日本アカウントで少し安いのでどこまで持つか(1日300円)。月初予想グラフは1ヶ月1000円以上残すが、あてにならん。17日にはまともなデータが出てきた6/12に尽きる予定。その後に一日260円なので6/3に切れると現実的な値が出た! | Sakuraも再インストールして課金切れに備えるつもりが直前あわてて作成 |
2016/05/31-2016/06/30 | さくらのVPS 2G | CentOS 7 | Azureは三日残して切りのいい月末に移行 | 2GだとESが使えないかも |
2016/06/30-2016/07/15 | Azure A2 | CentOS 7.2 | 二ヶ月分の課金を利用して一月持たせる。7/14期限は1500円残しなのでもっと早くやっておけば・・・。 | 7/15大障害発生で2週間のjarticと2時間のデータロスト |
2016/07/15-2016/07/15 | さくらのVPS 2G | CentOS 7 | Azureがクソすぎるので緊急代役 | しかし反省させるべく一日限り |
2016/07/16-2016/08/11,8/12-9/09 | Azure A1 | CentOS 7.2 | A1だと1日154円で31日ある月をまたぐと500円程度残る。 | 大障害発生の汚名返上なるか?svnが謎の自宅からアクセス不能に伴い再構築でさくら一日挟み戻る。ElasticSearch系を止めるとメモリはほぼ5割程度。たまに攻撃があるとCPU上がるがほぼ一桁 |
2016/09/09-2016/10/27 | さくらVPS 2G | CentOS 7.2 | Azureは攻撃がすごい&Dockerに専念させるために空けておく | なぜかazure経由だとansibleできず。別マシンから実施。移行漏れでMyJCBバッチ三日動かず。 |
2016/10/28-2016/11/24 | Azure A2 のちA1 | CentOS 7.2 | 時折移行してないと忘れるので!課金不足が判明してA1に変更 | |
2016/11/24-2016/12/31 | さくらのVPS | 公式 CentOS 7 | 10/31日に追加されていたので急遽入れ替え。しかしviの設定がまさにデフォルトだったりして文字化け |
2011/11/2x | HTTPプロセス数が50越えに急増。 | httpd再起動 |
2011/11/28 | スワップがなくなる。80プロセス滞留 | 再起動後、MaxClientを25に減らす |
2012/01/22 | スワップ利用1G。si4000でディスクI/O急上昇。すべての操作がすさまじくスロー | httpd再起動 |
2012/06/24 | 1Gにしてから初のレスポンス悪化。httpdプロセス151滞留!php.iniの設定忘れが原因 | VPSコンソールから強制再起動 |
2013/04/12 | JMeterで100スレッドかけたらOutOfMemory頻発! | VPSコンソールから強制再起動 |
2013/07/17 | 前日21:05近辺より中国クローラーの800近くのアクセスくらってhttpd260プロセス滞留。OutOfMemory頻発! | VPSコンソールから強制再起動 |
2013/08/08 | 自宅サーバのWebmin試験運用中。Apache設定変えて再起動でアクセス不能に! | 原因は? |
2013/08/13 | 02:40近辺よりAWSよりwget攻撃9900ほど。httpd260プロセス滞留。OutOfMemory頻発!さすがに対策立てないと・・・ | VPSコンソールから強制再起動 |
2014/11/08 | 12:00近辺よりCPUとDiskI/Oが急上昇。操作できず | VPSコンソールから強制再起動 |
2015/05/19 | 1Gに変更してたのに、MAX Client初期設定のまま。12:40近辺よりCPUとDiskI/Oが急上昇。操作できず | VPSコンソールから強制再起動 |
2015/08/09 | 脆弱性対応に伴うメンテナンスが8/24に予定。20日前に通知 | 手動停止、起動 |
2016/02/12 | Kagoyaの2Gは保証ではないので急上昇してOOMでSSH接続もできず10時ごろ再起動。elasticsearch/td-agentは止めた | VPSコンソールから強制再起動 |
2016/03/29 | CloudFront導入して安心してたらOOM発生。たまたまコンソールに入っていたからすぐ復旧できたが、今後要注意。 | VPSコンソールから強制再起動 |
2016/04/18 | Kagoya VPSでElasticSearch試験運用してたらすべてのサービスが止められず、rebootも効かなかった | VPSコンソールから強制再起動 |
2016/05/25 | AzureA2 ES+Kibanaの高負荷で運用していたが、重くなってCloudFrontタイムアウトで慌てて再起動。 | コンソールから強制再起動 |
2016/07/15 | 新大阪への移動中にA1へのサイズダウンでリブートしたら、削除したストレージアカウントに紐付いていたらしく起動失敗。 | Sakuraでそのまま運用し、新しいインスタンスにその日夜までに移行 |
2016/09/12 | 19時から20時半までMySQL落ちる | DiskIOが急上昇だが、攻撃者特定はならず |
2014-11-08 09:35:01,20 2014-11-08 09:40:03,24 2014-11-08 09:45:12,53 2014-11-08 09:50:10,41 2014-11-08 09:55:10,59 2014-11-08 10:00:03,24 2014-11-08 10:05:28,62 2014-11-08 10:10:47,62 2014-11-08 10:15:40,70 2014-11-08 10:20:44,72 2014-11-08 10:25:43,79 2014-11-08 10:30:29,79 2014-11-08 10:35:03,79 2014-11-08 10:40:46,79 2014-11-08 10:50:25,84 2014-11-08 10:56:11,93 2014-11-08 11:27:26,116 2014-11-08 11:45:57,116 2014-11-08 12:11:43,115 2014-11-08 12:40:57,110 2014-11-08 12:50:40,100 2014-11-08 12:55:43,97 2014-11-08 13:32:31,114 2014-11-08 15:11:33,122
Nov 8 11:02:21 www4052ue kernel: httpd invoked oom-killer: gfp_mask=0x200da, order=0, oom_adj=0, oom_score_adj=0
No
cat access_log | cut -d ' ' -f 1 | sort | uniq -c 82.80.249.170からすさまじいアクセス。2683
この時点ですでにアクセスできなくなっていたとおもわれる。
grep "82.80.249.170" access_log-20141109 | cut -d ' ' -f 4 | sort | uniq -c | sort
時間単位で見てみると秒間50アクセスくらって死亡している模様。
2015-05-19 12:45:01,23 2015-05-19 12:50:20,66 2015-05-19 12:55:11,77
mod_evasive,mod_dosdetector
grep Installed /var/log/yum.log*
より高負荷に耐えられる構成にして、リリースしたい。