论坛风格切换
   
 
  • 4228阅读
  • 2回复

[公告][全日流公告]关于09年11月19日连续一个星期出现问题的缘由 [复制链接]

上一主题 下一主题

发帖
2303
金錢
561180
聲望
213
貢獻
0
交易币
100
同盟币
1300
只看楼主 倒序阅读 0 发表于: 2009-11-28
关于09年11月19日连续一个星期出现问题的缘由

事件是从11月19日也就是上个礼拜四晚上八点忽然服务器登入不了, 一开始以为是移动机房的交换机又抽经了, 直至周五上午依然无法登入, 各大站长以及好友分别在QQ上急呼我才发现问题严重了

我随后立即联系运营商(他们和机房是两个单位)才了解到我们的机房老板中移动被央视天天访谈连续点名批评了2天, 移动怕了所以在19日晚上大规模封闭上海怒江机房的某几个IP段, 受影响的站点多大三四百个。

跟着就是无止尽的检查, 要每台机器排查是不是网站全部备案了, 而又逢周五, 排查工作不可能一日完成, 周六周日又不上班, 这样拖到了周一。 我们周一上午就和营运商开始疲劳式的电话“骚扰”, 告诉他们我们的IP下网站是全部备案的, 可营运商说这不是他们能够决定的, 机房不解封就是不解封, 我们只能催不能左右。到了周一晚, 营运商的客服被我们逼的没办法又一次上交解封表格给中移动怒江机房, 但那个时候我的感觉已经很不妙, 如果想解封早就解封了, 其实几百个主机如果周末加加班是完全可以全部排查的, 并且可以解封。 而机房一直都不给回应。。。我们把底线定在周二

周二上午我们依旧联系客服, 并且开始准备后着, 客服还是说等回应, 在中午的时候我们发现这么等下去可能会无止尽的被查封中, 因为机房并没有给什么理由解封, 而对外他们只是宣称依然在排查之中。 果然到了周二下午四点我们服务器依然处于查封中, 我们立刻和客服商量换机房了, 而客服也开始帮我们安排苏州的机房, 但最后我毅然决定留在上海机房, 只不过换掉移动, 因为移动这次的封查感觉是很不负责任的行为, 所以我们决定换到上海真如电信机房

周三, 我们以为可以顺利搬家, 但出现了等待真如机房的工单, 所以迟迟没有下落, 而我的担忧也渐渐升级到另一个层面:如果服务器拿不回来怎么办? 因为在网上已经看到不少站长拿不回自己的服务器, 移动不光卡着不解封, 还不给服务器。 还好我们营运商是租用机房的整个机柜,所以交涉上比较方便。

周四上午, 机房拿到工单, 周四下午在漫长的等待中终于换到了新的机房

原以为一切噩梦结束, 可发现上架没多久就会自动掉线, 那个时候已经是下午五点, 我们和机房的技术员一直疲劳的排查原因, 但很可惜: 此题无解~ 最后逼于无奈, 只好走最后一招: 重装系统

但由于我们原来的系统是unix并非windows系统, 所以机房无法当天安装, 再加上又是很晚了, 所以只好拖到周五, 而我知道周五又是到周末, 如果解决不了, 又是一个周末, 我们已经拖不起了, 但没办法, 只能赌一次~ 我想感恩节, 或许我们能够恢复

周五上午, 我早早就联系客服, 让他告诉机房技术准备安装unix, 并且严格叮嘱千万不能格式化了我们数据盘, 只能格式系统盘, 如果数据盘格了, 我们就真的说88了

跟着漫长的等待, 到了下午一点多, 客服QQ呼叫我, 说三点准备安装了, 我们兴奋了, 开始进入备战状态, 因为他安装完毕后, 我们可能面临两个结果: 一)安装失败, 查出硬体出事, 这是最糟糕的  二)安装成功, 将后续工作转移给我们, 技术下班走人, 而我们呢就不能有半点差错, 否则又得等周一, 等不起了

终于在四点半(离技术下班半个小时前)安装完毕, 并且排除了最糟糕的情况, 我们可以登入主机, 接下来就是我们利用远端程序安装服务器所需要的所有软件

四点到六点这段时间, 我们首先升级了unix系统(机房并不是安装最新的系统, 导致安全漏洞很多), 这个阶段极为危险, 只要升级出错, 服务器又将瘫痪, 又要等了。 不过上天眷恋我们, 终于顺利完工, 再重新启动主机的时候, 我们额头真的有流汗, 怕重启不成彻底失败

六点开始, 我们进入安装应用软件:apache, mysql, php, 以及恢复配置文件阶段

unix系统是用编译安装的, 所以每个软件都耗时耗力, 而且并不是很顺利, 所以本来八点可以完工的, 拖到0点结束, 本以为可以顺利上架了, 开启apache发现无法运行php模块。。。。于是又删除重装。。。终于到凌晨3点上架, 经历一个星期的瘫痪主机恢复~

关于查封的新闻以及无辜站长遭殃的新闻请查阅以下链接:

http://www.002pc.com/master/Info/zhanchangzixun/20.html


同时我们要感谢以下人士:


1)在和营运商交涉中积极帮我们打电话给客服,几乎所有白天的电话都是他打的:麻辣论坛的水区版主-RedCometWL
2) 岩田站长YY,雅美站长hou以及结衣站长one配合在站长群中解释最新进度, 稳定了民心起到很大作用
3) T神, 全日流的资深技术员, 从换好机房, 他和我基本没有怎么好好睡, 我们俩交换工作才保证了服务器以最快速度上架恢复正常



最后我要申明:这次是突发事件, 但也反应了我们其中的漏洞, 在断网一个星期之内, 我们应该要有一个临时的平台给其论坛访问, 不至于损失流量, 关于这点我们已经启动临时平台机制, 在以后发生这种灾难, 我们会自动将服务器指向一个临时平台

再次感谢各位的耐心以及包容, 谢谢

全日流技术组

评价一下你浏览此帖子的感受

精彩

感动

搞笑

开心

愤怒

无聊

灌水
发帖
9
金錢
8
聲望
0
貢獻
0
交易币
0
同盟币
0
只看该作者 1 发表于: 2009-11-28
感激啊。可以在这里回帖吗?
发帖
63
金錢
89
聲望
5
貢獻
0
交易币
0
同盟币
0
只看该作者 2 发表于: 2009-11-30
非常感謝你們 辛苦了^^
快速回复
限1000 字节
 
上一个 下一个
      联系我们|无图版|手机浏览|清除Cookies 关于我们   联系我们