![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2020-09-29T11:29:48+00:00","default:wikiadmin","wikiadmin") #author("2021-10-14T22:57:52+00:00","default:wikiadmin","wikiadmin") #contents *外部サーバ [#o1fb406e] -基本スペック 2016年中盤から2G -基本スペック さくらの512Mからスタートし、2016年中盤から2G。2018/05からお名前.comメイン利用 |メモリ|2G| |CPU|2-3コア| |ディスク|30-100GB| 最近は外部サーバーがメインで構築Ansible化してから移行が自動化されたので頻繁に移行する日々。 |期間|サービス名|OSなど|用途|備考| |2010/02-2011/01|CoreServer mini|不明|wiki,blogなど|夜アクセス遅かった| |2011/01-2012/04|さくらのVPS 512|CentOS 5|wiki,blog,subversion|時折httpdプロセス滞留でメモリ不足気味。いつか再インストールしようと思ったけど結局そのまま利用。7月に一回さくらのメンテ都合で再起動有り| |2012/04/04-2014/01/06|さくらのVPS980(v3) 1G HDD100G|CentOS 6.2||値段同じで上位プランへアップグレード。トラブル皆無| |2014/01/06-2015/05/31|さくらのVPS980(v3) 1G HDD100G|CentOS 6.4||トラブルなしだが移行訓練を兼ねて再構築。4月20日前後で移行完了| |2015/04/03-2016/01/28|さくらのVPS2G (v4)SSD 50G|CentOS 7.0→CentOS 6.4|メインサーバーでアクセスが多いblogサイトのみ最後まで移行せずだが１月末に完全移行！|1GだとTomcatが重いので、スペックアップとCentOS7慣れる意味で平行稼働して移行だが、結局CentOS6.4に戻した| |2015/11/16-12/06|カゴヤクラウド VPS1G (v4)|CentOS 7.0|CentOS7でPHPが遅い疑惑を確かめるべくwikiだけ稼働。徐々に増やす予定|wikiでの運用問題なし| |2015/12/06-2015/12/25|Azure A1|CentOS 6|Ansible全自動移行テストを兼ねてさまざまなvpsを部分的に運用|wiki,postgres,svnなど対象を増やした| |2015/12/25-2016/01/28|カゴヤクラウド VPS1G (v4)|CentOS 7|ほぼ自動構築化してblog以外を移行|自動構築が順調に出来上がった頃| |2016/01/28-2016/02/05|Azure A2|CentOS 7.1|すべてを移行したが、I/Oが遅い割に一日400円かかるのでクレジット不足|無駄なリソース削除していなかったので、最後に０円割って課金された！| |2016/02/05-2016/03/10|カゴヤクラウド VPS1G|CentOS 7|この後さくらのVPS復帰予定|途中でCloudFrontを導入したため、余裕ありまくり。調子に乗ってElasticSearch入れたら落ちたという！| |2016/03/10-2016/03/26|Azure A2|CentOS 7.1|思いつきで移行して、virtualhostのservername設定ミス→リダイレクトループをCloudFrontがキャッシュしてひどいことに！wiki,tools,wwwを移行|AWS新アカウント移行も合わせて行った| |2016/03/27-2016/04/03|カゴヤクラウド VPS1G|CentOS 7|さくら再構築までのつなぎ|| |2016/04/03-2016/05/06|さくらのVPS 2G|CentOS 7|ようやく本命で安定運用|| |2016/05/07-2016/05/31|Azure A2|CentOS 7.1|西日本アカウントで少し安いのでどこまで持つか（１日３００円）。月初予想グラフは１ヶ月１０００円以上残すが、あてにならん。17日にはまともなデータが出てきた6/12に尽きる予定。その後に一日２６０円なので6/3に切れると現実的な値が出た！|Sakuraも再インストールして課金切れに備えるつもりが直前あわてて作成| |2016/05/31-2016/06/30|さくらのVPS 2G|CentOS 7|Azureは三日残して切りのいい月末に移行|2GだとESが使えないかも| |2016/06/30-2016/07/15|Azure A2|CentOS 7.2|二ヶ月分の課金を利用して一月持たせる。7/14期限は１５００円残しなのでもっと早くやっておけば・・・。|7/15大障害発生で２週間のjarticと２時間のデータロスト| |2016/07/15-2016/07/15|さくらのVPS 2G|CentOS 7|Azureがクソすぎるので緊急代役|しかし反省させるべく一日限り| |2016/07/16-2016/08/11,8/12-9/09|Azure A1|CentOS 7.2|A1だと１日154円で31日ある月をまたぐと５００円程度残る。|大障害発生の汚名返上なるか？svnが謎の自宅からアクセス不能に伴い再構築でさくら一日挟み戻る。ElasticSearch系を止めるとメモリはほぼ５割程度。たまに攻撃があるとCPU上がるがほぼ一桁| |2016/09/09-2016/10/27|さくらVPS 2G|CentOS 7.2|Azureは攻撃がすごい&Dockerに専念させるために空けておく|なぜかazure経由だとansibleできず。別マシンから実施。移行漏れでMyJCBバッチ三日動かず。| |2016/10/28-2016/11/24|Azure A2 のちA1|CentOS 7.2||時折移行してないと忘れるので！課金不足が判明してA1に変更| |2016/11/24-2016/12/10|さくらのVPS|公式 CentOS 7|カスタムOSにCentOS7追加されて以後初挑戦|10/31日に追加されていたので急遽入れ替え。しかしviの設定がまさにデフォルトだったりして文字化け| |2016/12/10-2017/01/15|Azure A2 のちA1|CentOS 7.2||時折移行してないと忘れるので！課金不足が判明してA1に変更| **2017 [#se307471] |2017/01/15-2017/02/06|さくらVPS 2G|CentOS 7|Azure7.3入替予定なのでいったん移ってもらう。|ほぼノートラブル！| |2017/02/07-3/10|Azure A2|CentOS 7.3|ノートラブルと思いきやCloudFrontでなぜかwwwに飛ぶようになりキャッシュクリア！|| |2017/03/10-6/11|さくらVPS 2G with WAF|CentOS 7|WAF導入|切替時にVitrualHostが効かない問題。結局再起動忘れという・・・。WAFを有効にしたらpukiwikiがほぼ全滅のため除外設定を入れた| |2017/06/11-6/17|Azure A2|CentOS 7.3|さくらのクラウド利用のため短期間|| |2017/06/17-6/28|さくらのクラウド 8G|CentOS 7.3|さくらのクラウド。かなり快適でVPSと大差なし。もっと有効活用すべきでした！|| |2017/06/29-9/17|さくらVPS 2G without WAF|CentOS 7|WAFOFF|前回こりごりしたのでWAFOFF| |2017/09/17-10/12|Azure A1|CentOS 7.3|MSDNラスト！|| |2017/10/12-2018/03/06|さくらVPS 2G with WAF|CentOS 7|WAF導入|この後乗り換え予定| **2018 [#a257fd5a] |2017/11/12-2018/03/06|Sakura 2G|| |2018/03/06-2018/03/12|KAGOYA V2KVM|お名前.com移行向けにAnsible適用実験。初の本番運用| |2018/03/12-2018/03/14|お名前.com VPS 2G|お名前.comのスナップショットを使いたくて短期間| |2018/03/14-2018/03/28|Sakura 2G|解約後のラストスパート| |2018/03/28-2018/03/30|お名前.com VPS 2G|ElasticSearch勉強のために開ける| |2018/03/30-2018/04/30|Sakura 2G|解約後のラストスパート| *歴代の自宅サーバー [#l5731bc6] 2002/12ぐらいにマシンを買って、めずらしく金をかけてファンレスにして試運転開始。初期のころは割とマシンがおかしくなるケースがあったけど、リムーバブルケースをやめてからはほぼトラブル皆無。通算稼働1000日越えも当たり前に。2010年ごろからメインは外部サーバーに移したので、軽い用途中心だが、ファイルサーバーはもはや手放せない。DN2820まではMAX2GBのサーバーが多かったが、一気に8GBで贅沢にいろいろ実験できる。 |期間|マシン|OS|MEMORY|連続稼動日数|通算|備考| |2003/05/21-2003/07/25|[[PC/List/TerminatorK7]]|RedHat7.3|256M|65|65|連続稼動記録らしいもの樹立| |2003/08/11-2003/11/08|[[PC/List/TerminatorK7]]|RedHat7.3|256M|89|89|多分上記と同じ構成| |2003/11/09-2004/04/12|[[PC/List/TerminatorTU]]|DebianGNULinux3.0|512M|126|159|スキーで不在中に掃除間違いでコンセント抜け連続起動は126日あたりでstop。apacheだけ死亡状態のまま約一ヶ月放置！| |2004/04/12-2004/06/26|[[PC/List/TerminatorTU]]|VineLinux2.6r4|512M|75|75|HDDのみ20G→80GへＵＰして同じマシンで再インストール| |2004/06/27-2004/08/31|[[PC/List/Celeron]]|VineLinux2.6r4|384M|65|65|04年の猛暑を乗り切った。| |2004/09/01-2005/05/12|[[PC/List/TerminatorTU]]|VineLinux3.0|512M|253|253|連続稼動最長不倒記録達成| |2005/05/12-2005/06/01|[[PC/List/Celeron]]|RedHatEnterprise3.0ES|384M|20|20|TU再セットアップ期間中のピンチヒッター| |2005/06/01-2005/09/13|[[PC/List/TerminatorTU]]|CentOS3.4|512M|104|104|リムーバブルケース騒音のため交換| |2005/09/13-2006/01/16|[[PC/List/TerminatorTU]]|CentOS3.4|512M|51|125|11/03ファン除去や11/21-22に移動。1/09あたりから挙動不審２回なので前とあわせ通算229日で継続断念| |2006/01/16-2006/07/02|[[PC/List/Celeron]]|CentOS4.2|384M|120|167|初SELinux。連続稼動は120日ぐらい| |2006/07/02-2006/11/27|[[PC/List/TerminatorTU]]|VineLinux3.2|512M|82|148|リムーバブルケース不調のためPostgres壊れて急遽停止| |2006/11/27-2007/05/15|[[PC/List/Celeron]]|CentOS4.2|384M|169|169|二つ前のCentOS(通算336日！)を使いまわした。| |2007/05/15-2007/11/24|[[PC/List/TerminatorTU]]|VineLinux4.1|512M|171|193|やたら停止するようになったので急遽交換| |2007/11/25-2008/09/23|[[PC/List/Celeron]]|VineLinux4.1|384M|202|303|特に不具合は無かったが、そろそろ入れ替え時というわけで交代| |2008/09/23-2008/12/09|[[PC/List/Pen4]]|CentOS 5.2|1G|41|77|一年半ぶりにCentOS復帰| |2008/12/09-2008/12/16|[[PC/List/TerminatorTU]]|VineLinux4.2|512M|5|7|Windowsサーバ計画の一時代役。５日目以降から何かがおかしいのか論理エラー続発| |2008/12/16-2009/09/23|[[PC/List/Pen4]]|WindowsServer2003上にCentOS 5.2|1G|281|281|VMでの初運用。微妙に遅いような気がするが、281日連続稼動記録更新| |2009/09/23-2010/05/10|[[PC/List/Celeron]]|CentOS 5.3|512M|131|229|物理サーバ回帰でSubversion利用開始| |2010/05/10-2011/03/13|[[PC/List/Pen4]]|CentOS 5.4|1G|306|306|記録更新してまだまだ伸ばせたが、大震災のため泣く泣く停止| |2011/03/29-2011/05/25|[[PC/List/Pen4]]|CentOS 5.4|1G|58|58|中身そのままで計画停電後再開。埃がすごいのでCeleronに交代| |2011/05/25-2011/09/27|[[PC/List/Celeron]]|Scientific Linux 6.0|512M|74|125|8/7落雷停電その後ファンから異音がし出したので記録更新とともに停止| |2011/10/17-2013/07/08|[[PC/List/XS35]]|CentOS5.6 32bit|2G|429|630|超静音PCなので部屋にて起動。5月にSSD置換プランのためいったん停止だが、その後通算と連続稼動記録400日越えでギネス更新。x64を入れられるハードなのに32bit入れてOracleXEは入れられず| |2013/07/08-2014/05/18|[[PC/List/EPOX]]|CentOS5.9 32bit|2G|284|314|XS35再構築までのピンチヒッターのつもりだが、ファン付なので夏を乗り切らせるつもりが、一転K7越え目標、さらにCeleron越え、TU越え、夏までにPen4越えもいけるか？と思ったら前兆なくHDD巻き込んで故障| |2014/05/24-2014/07/14|[[PC/List/XS35]]|CentOS6.5 64bit|2G|51|51|2014年夏もフルパワーファンで乗り切れ！・・のつもりがファンをXH61向けに転用＆ReadyNas導入で常用停止| |2014/09/13-2014/10/15|[[PC/List/XS35]]|CentOS6.5 64bit|2G|32|32|外国留学中に公開鍵認証設定翌朝につながらなくなり、強制電源OFF。原因不明| |2014/11/05-2015/06/12|[[PC/List/XS35]]|CentOS6.5 64bit|2G|-|265|フィリピン帰ってきてから、2015/04に謎のヒューズ切れが・・しかし原因判明まで２ヶ月！| |2015/06/12-2017/06/18|[[PC/List/XS35]]|CentOS6.5 64bit|2G|738|265|停電原因判明で順調に記録を伸ばしていたが、まさかの掃除中にアダプター抜くというミスで連続稼働記録失う。| |2017/06/18-2020/09/02|[[PC/List/XS35]]|CentOS6.9 64bit|2G|1171|1171|停電乗り越えて気がつけば1000日連続稼働超えた。アダプターとSSDはやっぱり強いが9/2に落ちてたのを月末で気が付かず| |2015/07/27-2016/04/13|[[PC/List/DN2820]]|CentOS6.7 64bit|8G|155|265|7/27から利用開始だが、時折シャットダウンしてた。連続稼働は11/10から155日| |2016/04/13-2016/10/26|[[PC/List/NUC5i7RYH]]|CentOS7.2 64bit|16G|||ついに16GBのi7でDockerベースとして運用予定。| |2017/07/06-|[[PC/List/DeskMini110]]|VMware ESXi 6.5|32G|||たくさんのVMが二十四時間稼働中| *移行 [#saa890ff] [[Server/移行]] *通算稼働記録(2015/07/28 現在) [#l4a6fe3b] **マシン [#w7178330] |CELERON|1078| |TU|1064| |XS35|978| |PEN4|664| |Epox|314| |K7|154| **OS [#ae912290] |CentOS|2527| |VineLinux|1044| |2003Server|281| |RedHat/RHEL|174| |Debian|159| |Scientifix Linux|125| *連続稼働記録 (2016/04/14) [#j845d2e0] **上位10傑 [#o517d3d0] |XS35|1042| |XS35|738| |XS35|439| |Pen4|306| |EPOX|284| |Pen4|281| |TerminatorTU|253| |CELERON|202| |TerminatorTU|171| |CELERON|169| |CELERON|131| |TerminatorTU|126| *利用中サーバー機能 [#j6fa612b] **自宅 [#l9a2a9f0] -利用比率と重要性の高いもの順。2010年からレンタルサーバに移してからは内部用途中心 +Subversion(mod_svn) +Samba +bind **外部 [#sffbc241] +Webサーバー(PHP+Postgres+Blog) +WordPress +PostgreSQL +MySQL +CakePHP +バッチ *主要ソフトのサーバー移行手順 [#w326c8e3] +HTMLデータ(wiki,phpも含む） +秘密鍵データ +データベース +cron関係(DDNSアップデートとbackupスクリプト) +bind +squid +BASIC,DIGEST認証情報 **我が家のサーバ移行の手順 [#t69723b7] さすがに１０数回も移行をしていると決まった手順があるのでそれをまとめた。 +主要ソフトのインストール +公開鍵の移動(.ssh/authorized_keys) +cron(/etc/cron.d,/etc/cron.daily) +crontab -eでcron追加する。 +SVN +SSLの鍵 +メールサーバーの設定 ***2011/10の移行 [#kf198fc3] +SVNを移行した。Apacheの設定、SVN用ディレクトリの作成、権限付与、SVNリポジトリ移動 +レンタルサーバ用バックアップ秘密鍵移植 +cron.daily,cron.dのシェル移動、crontab -eの登録 *今後の計画 [#kda92fe7] -2006年後半からTUに最後の一仕事（壊れるまでがんばってもらう） -celeronを常にrsyncでミラーしてスタンバイ体制 -販売終了してしまう前か2007年夏までにturion64静音マシン購入 -のつもりだったけどTerminatorPen4譲り受けて既存マシンでローテーション -XS35を2011年後半からメイン利用。Epoxがサブ候補。そろそろVT対応のサーバーにしたい！ -将来的にXH61系がパワフルサーバーマシンとして活躍する予定。高いのでNUCまでは必要ないと思ったが、15000円以下のNUCが手に入ったので、それを2015/05より利用。 **運用履歴 [#u6ce29ef] |2011/11/2x|HTTPプロセス数が50越えに急増。|httpd再起動| |2011/11/28|スワップがなくなる。80プロセス滞留|再起動後、MaxClientを25に減らす| |2012/01/22|スワップ利用1G。si4000でディスクI/O急上昇。すべての操作がすさまじくスロー|httpd再起動| |2012/06/24|1Gにしてから初のレスポンス悪化。httpdプロセス151滞留！php.iniの設定忘れが原因|VPSコンソールから強制再起動| |2013/04/12|JMeterで100スレッドかけたらOutOfMemory頻発！|VPSコンソールから強制再起動| |2013/07/17|前日21:05近辺より中国クローラーの800近くのアクセスくらってhttpd260プロセス滞留。OutOfMemory頻発！|VPSコンソールから強制再起動| |2013/08/08|自宅サーバのWebmin試験運用中。Apache設定変えて再起動でアクセス不能に！|原因は？| |2013/08/13|02:40近辺よりAWSよりwget攻撃9900ほど。httpd260プロセス滞留。OutOfMemory頻発！さすがに対策立てないと・・・|VPSコンソールから強制再起動| |2014/11/08|12:00近辺よりCPUとDiskI/Oが急上昇。操作できず|VPSコンソールから強制再起動| |2015/05/19|1Gに変更してたのに、MAX Client初期設定のまま。12:40近辺よりCPUとDiskI/Oが急上昇。操作できず|VPSコンソールから強制再起動| |2015/08/09|脆弱性対応に伴うメンテナンスが8/24に予定。20日前に通知|手動停止、起動| |2016/02/12|Kagoyaの2Gは保証ではないので急上昇してOOMでSSH接続もできず10時ごろ再起動。elasticsearch/td-agentは止めた|VPSコンソールから強制再起動| |2016/03/29|CloudFront導入して安心してたらOOM発生。たまたまコンソールに入っていたからすぐ復旧できたが、今後要注意。|VPSコンソールから強制再起動| |2016/04/18|Kagoya VPSでElasticSearch試験運用してたらすべてのサービスが止められず、rebootも効かなかった|VPSコンソールから強制再起動| |2016/05/25|AzureA2 ES+Kibanaの高負荷で運用していたが、重くなってCloudFrontタイムアウトで慌てて再起動。|コンソールから強制再起動| |2016/07/15|新大阪への移動中にA1へのサイズダウンでリブートしたら、削除したストレージアカウントに紐付いていたらしく起動失敗。|Sakuraでそのまま運用し、新しいインスタンスにその日夜までに移行| |2016/09/12|19時から20時半までMySQL落ちる|DiskIOが急上昇だが、攻撃者特定はならず| |2016/12/16|23時から24時半までMySQL落ちる|22時近辺にDiskIOが数十GBレベルに上昇。ただし日単位でみるとアクセス集中はない。firewalldが止まっていたのと余計なプロセス(kibana/es/td-agent)を停止| |2017/08/24|20:50から20分程度MySQL落ちる| InnoDB: Fatal error: cannot allocate memory for the buffer pool| |2017/11/26|20:50からレスポンス悪化|OutOfMemoryが発生していたようだが、原因不明| *トラブル履歴 [#u94e2b9f] *2017/02/24 [#se6bd07f] -A1に下げたがサービスが動き過ぎていたため、いろいろなプロセスが殺される状況であった。とりあえずmariadb再起動したが、また落ちたため、夜に根本対応(kibana,es,td-agent) Feb 24 05:56:54 FebAzure2 kernel: Out of memory: Kill process 30491 (mysqld) score 101 or sacrifice child Feb 24 05:56:54 FebAzure2 kernel: Killed process 30491 (mysqld) total-vm:1188868kB, anon-rss:173876kB, file-rss:0kB, shmem-rss:0kB Feb 24 05:56:56 FebAzure2 mysqld_safe: /usr/bin/mysqld_safe: line 183: 30491 Killed nohup /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock < /dev/null >> /var/log/mariadb/mariadb.log 2>&1 >> /var/log/mariadb/mariadb.log 2>&1 Feb 24 18:12:57 FebAzure2 kernel: Out of memory: Kill process 50701 (mysqld) score 95 or sacrifice child Feb 24 18:12:57 FebAzure2 kernel: Killed process 50701 (mysqld) total-vm:1191648kB, anon-rss:163144kB, file-rss:0kB, shmem-rss:0kB Feb 24 18:13:00 FebAzure2 mysqld_safe: /usr/bin/mysqld_safe: line 183: 50701 Killed nohup /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock < /dev/null >> /var/log/mariadb/mariadb.log 2>&1 >> /var/log/mariadb/mariadb.log 2>&1 >> /var/log/mariadb/mariadb.log 2>&1 nodeが殺されたのちmysqlも！ *2014/11/08の高負荷 [#b853780e] 2014-11-08 09:35:01,20 2014-11-08 09:40:03,24 2014-11-08 09:45:12,53 2014-11-08 09:50:10,41 2014-11-08 09:55:10,59 2014-11-08 10:00:03,24 2014-11-08 10:05:28,62 2014-11-08 10:10:47,62 2014-11-08 10:15:40,70 2014-11-08 10:20:44,72 2014-11-08 10:25:43,79 2014-11-08 10:30:29,79 2014-11-08 10:35:03,79 2014-11-08 10:40:46,79 2014-11-08 10:50:25,84 2014-11-08 10:56:11,93 2014-11-08 11:27:26,116 2014-11-08 11:45:57,116 2014-11-08 12:11:43,115 2014-11-08 12:40:57,110 2014-11-08 12:50:40,100 2014-11-08 12:55:43,97 2014-11-08 13:32:31,114 2014-11-08 15:11:33,122 Nov 8 11:02:21 www4052ue kernel: httpd invoked oom-killer: gfp_mask=0x200da, order=0, oom_adj=0, oom_score_adj=0 No cat access_log | cut -d ' ' -f 1 | sort | uniq -c 82.80.249.170からすさまじいアクセス。2683 この時点ですでにアクセスできなくなっていたとおもわれる。 grep "82.80.249.170" access_log-20141109 | cut -d ' ' -f 4 | sort | uniq -c | sort 時間単位で見てみると秒間５０アクセスくらって死亡している模様。 *2015/05/19 高負荷 [#zb182d30] -プロセス数 2015-05-19 12:45:01,23 2015-05-19 12:50:20,66 2015-05-19 12:55:11,77 *DOS対策 [#z078fce0] mod_evasive,mod_dosdetector *1309 移行計画 [#qd1184a8] -初回インストールから1年半近くたつので、心機一転再インストールをしたい。いったん自宅サーバーにすべて移行して、負荷状況を見てみたい。 -空室情報バッチの移植 -Wordpressのakismetのアカウント情報保存 **保存すべきもの [#l2dc6017] +サーバー秘密鍵 +SSH用公開鍵 +CRON設定 +SVN +MySQL +PostgreSQL **自宅に移してもよいもの [#b5f7f9b6] +CakePHP +家計簿ツール(Postgres) **移行作業に慎重な検証と手順を要するもの [#h1af2724] +WordPress +旧MTコンテンツ **インストールパッケージの確認 [#g50705f0] grep Installed /var/log/yum.log* **設定ファイルの保存 [#udea6941] *1402移行 [#y7272d38] より高負荷に耐えられる構成にして、リリースしたい。 *MySQL落ちる問題 [#n45b8f72] **2016/12/17 [#g1ebc891] InnoDB: Fatal error: cannot allocate memory for the buffer pool *各サーバーの役割 [#vd811030] **外部サーバー [#i841ac3f] +公開web情報 +公式SVN **自宅サーバー [#f40a4996] +内部SVN(バイナリ） +ファイルサーバー +外部サーバーバックアップ +実験 #counter
