Ser CIO, y la noche que un incendio me puso a prueba

Octubre de 1999, era una noche bastante fría cuando siendo CIO del Principal Financial Group en Argentina, recibo la llamada que todos los líderes de TI temen. Era casi la medianoche y el sonido insistente del teléfono rompió el silencio. Al contestar, escuché la voz medio cortada y los gritos del jefe de seguridad del edificio:

—Se está incendiando el centro de cómputos, y todo el cuarto piso está comprometido. Ya hay bomberos en camino.

En el primer instante me paralice. Es ese momento en que sabes que hacer, pero no que hacer en primer lugar. Estaba en juego, no solo la infraestructura sino la continuidad del negocio. 

En lugar de entrar en pánico, recuerdo haber respirado hondo y pensé que durante meses armamos el plan de recuperación ante desastres junto con la casa matriz en EEUU, y que había llegado el  momento que nunca se espera, o sea, ponerlo en práctica.  

El incendio y la analogía del naufragio  

Un datacenter en llamas es el equivalente digital de un barco hundiéndose en alta mar. Si no hay botes salvavidas listos y bien mantenidos, no importa cuán grande o lujoso sea el barco: todo se pierde. Nuestro "bote salvavidas" se había diseñado con precisión quirúrgica.  

Pensé en a quién llamar primero, y lo que se te ocurre es llamar al gerente general. Pero me detuve y pensé que él no iba a poder hacer nada ahora, solo alarmarse, y preferí activar la parte operativa para luego informar con acciones ya en marcha.

Llamé a dos colaboradores que a su vez debían hacer llamadas a proveedores que tenían que estar 7x24 atentos según lo acordado en el plan y el SLA. Y así fue. En solo media hora ya había camiones con equipos nuevos listos para ser despachados. El tema era adonde, porque hasta ahí no sabía el estado edilicio y los daños. 

El plan de recuperación contemplaba un cambio rápido hacia un datacenter secundario ubicado a algunas cuadras  con capacidad de asumir las operaciones críticas en menos de 12 horas. Lo bueno es que habían realizado simulacros regularmente, identificando y corrigiendo fallas.

Saqué mi auto y siendo de madrugada, pasé varios semáforos en rojo camino al edificio, mientras llamaba y despertaba al gerente general para informarle de lo sucedido. Al llegar había 3 dotaciones de bomberos, y vi las mangueras ingresando al edificio y subiendo por las escaleras. Contra la voluntad de algunos, logré llegar al cuarto piso solo para encontrar un humo irrespirable que me obligó a bajar. 

El equipo en acción  

Mientras el fuego consumía físicamente el datacenter principal, el equipo técnico repasó el proceso de recuperación. Los datos habían sido respaldados y almacenados antes de las 15 en una caja de seguridad bancaria como todos los días…año 1999, hoy sería otro medio u otro lugar, pero el concepto prevalece.

En menos de 10 horas  

Antes de amanecer y con el fuego extinguido, se concluyó que la estructura edilicia estaba intacta, los racks estaban hechos cenizas pero había lugar para otros y el cableado embebido en la pared estaba intacto. 

Vestido con una remera blanca llena de ceniza y la cara negra, fui a ver al gerente general y al directorio reunido en una sala en otro piso para informar que en menos de 10 horas íbamos a estar operativos, que solo se perdió la información que ese día iba a respaldarse, y que la almacenada off site sería restaurada muy pronto en los equipos que ya estaban en camino.

Me desplomé en una silla, me agarré la cabeza y me quebré. Ahí largué toda la tensión de una noche de terror pero en la que todo lo previsto ante desastres, funcionó. 

Un cerrado aplauso me sacó del letargo, algo que no esperaba y me sorprendió, En sus cabezas esto iba a demorar semanas y cuando dije menos de 10 horas, no podían creerlo.

La pérdida del datacenter principal fue significativa, pero no catastrófica.  

Es como si un director de orquesta tuviera un grupo de músicos suplentes listos para entrar al escenario en caso de que alguien faltara —reflexioné — en mi cabeza la música nunca se detuvo.

Lecciones para la resiliencia  

Por la tarde y sin haber dormido me encontraba en una reunión virtual con EE.UU y el CEO local explicando cómo el plan de recuperación había sido clave para evitar una interrupción mayor.  

La experiencia de esa noche no solo fortaleció al equipo de TI, sino que también sirvió para que vean que la tecnología no se trata solo de innovación, sino también de resiliencia.  

Tal como un piloto confía en su plan de vuelo, confié en el plan de recuperación. 

Y aunque el incendio fue un momento de crisis, también fue una oportunidad para demostrar que, en TI, la preparación es la diferencia entre el caos y la continuidad.