Estado de la Red Noticias e Información

Se ah recibido notificacion de haber caido en lista negra con hotmail por lo que los correos electronicos no estan llegando a sus usuarios, nos encontramos trabajando en ello para resolver el problema.

Se va a realizar un mantenimiento de optimizacion al servidor A01

Debido a problemas anteriores en Miami, Dallas y Los Angeles se esta realizando un mantenimiento por lo que estos estan offline, viendose obligados a desviar el trafico hacia francia para evitar que los servicios queden offline.  America del sur, como, Chile, Argentina, Colombia y Parte del Sur de Mexico se estan viendo afectados por que pasan por miami generalmente. Por lo que estan siendo enrutados hacia francia.

Como comprobarlo? En el momento de realizar un mtr o un tracert desde su PC a ragnarokhost.net veran que pasan por servidores de Francia.

Aqui un ejemplo de un mtr desde chile:

xe-3-1-10-GRTVAPEM1.red.telefonica-wholesale.net -    0 |   36 |   36 |   20 |   33 |   57 |   27 |

|Xe12-0-2-0-grtmiabr3.red.telefonica-wholesale.net -    0 |   36 |   36 |  119 |  139 |  196 |  120 |   <<< Telefonica Miami sin comunicacion a Canada.

|Xe7-0-1-0-grtnycpt3.red.telefonica-wholesale.net -   40 |   15 |    9 |    0 |  161 |  196 |  166 | <<< Desviando hasta Londres

|Xe-0-0-0-4-grtlontlw1.red.telefonica-wholesale.net -    0 |   36 |   36 |  222 |  240 |  338 |  228 |  <<< Telefonica Londres

|Xe0-0-6-0-grtmadad1.red.telefonica-wholesale.net -   70 |   10 |    3 |  235 |  250 |  269 |  269 |

|                         th2-g1-a9.fr.eu -   59 |   12 |    5 |    0 |  234 |  245 |  225 |   <<<<< Red del centro de datos en Francia, de aqui para abajo.

|                         rbx-g1-a9.fr.eu -   13 |   24 |   21 |    0 |  249 |  281 |  261 |

|                         rbx-g1-a9.fr.eu -    0 |   36 |   36 |  225 |  245 |  286 |  255 |

|                vac1-1-n7.fr.eu.firewall -    0 |   36 |   36 |  234 |  256 |  283 |  250 |

|                  vac1-2-n7.fr.eu.tilera -    0 |   36 |   36 |  223 |  241 |  279 |  268 |

|                  vac1-2-n7.fr.eu.tilera -    0 |   36 |   36 |  235 |  249 |  287 |  240 |

|                  vac1-2-n7.fr.eu.tilera -   78 |    9 |    2 |  238 |  247 |  256 |  238 |

|                         vac1-3-n7.fr.eu -   88 |    8 |    1 |    0 |  258 |  258 |  258 |

Existe un corte en la conexion entre Beauharnois y Canada por lo que el trafico tuvo que ser redirigido para evitar la interrupcion total del trafico en la red.

Hace aproximadamente a las 9:50AM GMT-6 se ah presentado un incremento en la latencia hacia los nodos de ragnarokhost.net El problema no son nuestros servicios, aparentemente lo que han avisado es que uno de los proveedores principales esta teniendo dificultades por lo que el trafico se esta desviando por otro proveedor secundario, este proveedor secundario no tiene latencia baja como el primario, pero evita la interrupcion del servicio en caso de falla.

Se estan realizando investigaciones.

Seguiremos informando.

 Aproximadamente a partir de las 4:20PM horario GMT-7 se detecto una desconexion, la cual de inmediato se reporto. El centro de datos respondio lo siguiente:

Que el conector de red no se ah conectado correctamente al servidor por lo que se corto la comunicacion.

No entendemos el por que estaban jugando con el cable de red de nuestro servidor, estaremos investigando e informando por este medio.

Se detectaron problemas por desconexiones por parte del server1, se esta trabajando en colaboracion con el centro de datos para dar con el problema.

Esto a causado lag y desconexiones al servidor, cabe mencionar que el servidor no se ah apagado en ningun momento, solo han existido desconexiones de red que en este momento se estan investigando.

------------------
------------------
Todo fue falsa alarma, este error detectado fue falla de su sistema de monitoreo. Que detectaba desconexiones pero todo era local, no hacia el exterior. Todo bien.

Estimado

Debido a una falla en el server 2, tuvimos que mover los vps a otro nodo de forma inmediata lo cual ocasionara un cambio en la ip de su servidor, actual mente estamos migrando clientes para minimizar su tiempo off.

Se ah iniciado un disgnostico completo de hardware al servidor2, problema que causaba cuellos de botella o problemas de rendimiento en el servidor debido a una falla de hardware.

Hace unos minutos hubo una pequeña desconexion en el centro de datos que aloja el server5, rapidamente fuimos notificados por los ingenieros. Rapidamente fue detectada la desconexion y solucionada. Estaran al pendiente para ver que todo se mantenga estable.

Se ah iniciado el proceso de migracion del server4 a otro centro de datos con mejor control de trafico.

El servidor nitrox sera apagado por un par de horas a partir de las 00:35 (03:35 chile nuevo horario).

Debido a problemas en las redes que han provocado lag el dia del domingo 19 de agosto por causas aun no explicables los servidores seran reiniciados por completo para realizar un diagnostico a profundidad.

Este paso se dejo como ultima alternativa ya que era poco probable existiera problemas en nuestros servidores ya que los niveles de carga y trafico estaban en niveles normales.

Las protecciones estando activas no lograron hacer nada al no existir algún ataque o trafico excedente.
Pruebas de MTR (conectividad entre cliente> servidor y Servidor> cliente no mostraron problema alguno.
El centro de datos nos apoyo realizando una investigacíon dentro de sus redes y nuestras redes y nada salio fuera de lo normal.

Después de enviado este correo daremos 30 minutos de espera para proceder a reiniciar los servidores.

Seguiremos informando.

El cliente que este provocando el mal funcionamiento de los servidores le sera removido el servicio de manera permanente y no se le prestaran servicios en un futuro, demasiado fria la decision pero es justa para mantener estabilidad en nuestros servicios activos.

--------

Se ah procedido a reparar y optimizar bases de datos de los servidores de ragnarok para un mejor rendimiento antes de empezar a poner online los servidores.

El dia Martes 22 de Mayo por la noche se realizara un mantenimiento correctivo al servidor de bases de datos MySQL2, esto para optimizar bases de datos y servidor en general. El mantenimiento va a requerir apagar el servidor MySQL por lo que los VPS se deberan apagar durante el mantenimiento para no arriesgar los datos.

OBJETIVO: 
Acelerar la velocidad de respuesta entre paneles y servidor MySQL.
Optimizar el uso de recursos del servidor MySQL para un mejor rendimiento.

Disculpen las molestias que esto pueda ocacionar. Todo por un mejor servicio.

 

Horario: 22/05/2012 22:00 - 23/05/2012 00:00

 

Actualizo:

 

Hemos detectado algunas tablas con fallas de integridad y dicha reparación alargara más de lo previsto la puesto online del servicio aproximada mente se extenderá por 2 horas más para garantizar el normal y correcto funcionamiento del servidor mysql.

 

 

 

Los servicios de softlayer estaran en mantenimiento el miercoles 28 de marzo. El tiempo de inactividad previsto maximo es de 2Hrs. Es un mantenimiento que no pudo ser omitido ni retrasado.

 

Seguiremos informando, debido al corto alcance de este mensaje se enviara un correo electronico a los clientes.

 

La actualzacion que se realizo a los servidores Genesis, Nitrox y MySQL en parte fue todo un exito, pero por alguna razon, la actualizacion del nodo Genesis Fallo provocando errores Gravez en el nucleo por lo que ah estado inestable.

De este modo se realizara una reinstalacion de emergencia del nodo Genesis donde ya toda la informacion de tu carpeta HOME ya fue respaldada en un servidor remoto.

Tu DB no se vera afectada ya que esta se encuentra alojada ne otro Servidor Dedicado.

Esto se realizara a las 23:30 horario de chile. y 19:30 GMT-6

Esto tomara un tiempo de aproximadamente 3 horas.

Aun que antes de ese tiempo van a ir quedando online los VPS uno por uno con sus correspondientes IP por lo que no sera necesario modificar el cliente ya que se te asignara la misma IP.

 

 

 

Se realizara un mantenimiento de emergencia hoy dia 2 de marzo del 2012 a las 20:00 GMT-6, 00:00 En horario de chile.

Este mantenimiento se realizara a todos los servidores Nitrox, Genesis y MySQL para liberar carga y realizar actualizaciones de nucleo del sistema operativo.

Con este mantenimiento debe de retirarse los problemas de lag que quedaron despues del ataque DDoS.

 

Este mantenimiento dejara todos los servidos de ragnarok Offline al mismo tiempo ya que se trabajara en el servidor MySQL principalmente por lo que sera necesario apagar todos los VPS.

Este mantenimiento se tiene previsto que demorara 3hr maximo, si es posible menos.

 

Seguiremos informando

 

 

El servidor Genesis fue victima de un ataque DDoS masivo dejandolo inhabilitado de manera que quedo inaccesible para todos.

Recibimos la ayuda del centro de datos y Genesis fue conectado a Cisco Guard para la proteccion AntiDDoS, esto para identificar, bloquear y reportar al responsable a las autoridadez correspondientes.

El servidor Genesis quedara conectado a Cisco Guard mientras los ataques continuen o no disminuyan.

Si los ataques disminuyen al momento de desconectarnos de CISCO GUARD se sentira una ligera de desconexion mientras se hace el desvio de trafico.

Seguiremos notificando por medio de este medio.

 

-------

29/02/2012

Los ataques al servidor genesis no han parado por consecuente esta provocando lag en los servidores y caidas, estamos trabajando con el centro de datos para dar solucion al problema.

 

---

El servidor Genesis a pocas horas de declararlo fuera de peligro ante los ataques DDoS terminamos recibiendo mas ataques de este modo provocacion la saturacion del servidor Genesis.

 

Durante el trabajo de estabilidad nos dimos cuenta que no solo nosotros fuimos los afectados con el DDoS, si no que tambien servidores agenos a ragnarokhost.net tuvieron problemas de DDoS y ademas problemas de hack en base de datos.

 

Cabe recordar que En ragnarokhost.net tu base de datos esta segura ya que realizamos backups cada tercer dia de forma automatica, de este modo para prevenirnos en caso de algun problema mayor  de intrusion para los que estamos protegidos y prevenidos.

 

EL dia de hoy el servidor Sahara recibio un fuerte ataque DDoS que este fue enfrentado de inmediato, Por parte del centro de datos que aloja el servidor Sahara Bloqueo todo el trafico entrante al servidor web de esde modo librandonos de la carga del DDoS, pero este bloqueo de IP que nos puso el centro de datos tenia una duracion de 3 Horas por lo que todo ese tiempo estuvimos con las paginas web inaccesibles.

Estaremos atentos a cualqueir otra actividad sospechosa.

 

Debido a los continuos problemas presentados en nuestro servidor web ALACER, nos cambiaremos de centro de datos, como se habia mencionado en FaceBook hace un par de dias.

Durante la migracion existiran problemas de conexion con el servidor MySQL de ragnarok por lo que los scripts enlazados a esta, tendran problemas mientras que los DNS de resuelven correctamente dentro de su liocalidad.

Esta migracion significa que el servicio o tu pagina web este offline, en todo momento sera accesible, lo que si es probable que exista un ligero rollback debido a que algunosaun no les resuelve y aun siguen entrando al antiguo servidor cuando otros ya entran al nuevo.

Como acelerar el proceso para que resuelvan? Lo que puedes hacer es desconectar el modem 5 minutos y limpiar el cache de tu navegador para que ya este resolviendo a los nuevos dns.

La migracion demorara almenos 1 o 2 Horas ya que se alojan muchos sitios en este servidor.

El servidor ah iniciado una migracion de centro de datos con el fin de mejorar la calidad del servidor web. Este proceso dura un par de horas, pero puede causar un rollback en la informacion de sus pagina web, principalmente foros.

Otra falla que puedan detectar es que fallen los paneles de control del servidor de ragnarok debido a los permisos por IP asignados.

Los errores trabajaremos para resolverlos lo mas rapido posible. Un saludo.

El servidor web ah recibido ataques todo el dia 8 de diciembre.

Estamos tratando de detenerlos, pero al hacerlo dura un momento sin recibir ataques y luego se reanudan.

Estamos trabajando en estabilizar el servidor web.

Disculpen por las molestias.

Durante hoy dia 5 de diciembre del 2011 se detecto perdida de paquetes por lo que varios de nuestros clientes notaron desconexion o lag, un lag en general, esto fue debido a una falla en los routers DAR01.DAL05 y DAR02.DAL05 dentro del centro de datos donde estamos alojados asi que fue problema interno

El problema de inmediato cuando me llego la alerta al movil del monitoreo se reporto el problema al centro de datos para que iniciaran una investigacion.

Y como se menciono, fue pósitivo, hubo un problema interno del centro de datos por lo que programaron un mantenimiento urgente, los datos son los siguientes.

Se llevara acabo el dia Miercoles 7 de diciembre a las 00:00 - 05:00 el mantenimiento esta programado durar 5 horas como un tiempo maximo pero esperan los ingenieros terminarlo en 3 horas solamente asi que se trabajara lo mas rapido posible.

El servicio no sera interrumpido pero lo mas seguro es que exista perdida de paquetes y latencia algo elevada, esto sera durante la madrugada asi que no creemos que afecte mucho.

Mantendremos informados ante cualquier acontecimiento.

Para mas detalles adjunto aqui mismo el mensaje de softlayer dando el aviso.

-----------------------

SoftLayer Engineers will be performing an emergency code upgrade on DAR01.DAL05 and DAR02.DAL05 to correct bugs that have been identified while working with Juniper. During the maintenance, each DAR will be upgraded one at a time during which traffic will be shifted to the other device. Customers can expect to see traffic shift between both devices and may see brief latency/packet loss as routes re-converge.

The maintenance has been scheduled for Wednesday Dec 7th from 12:00AM to 5:00 AM. While the maintenance window is 5 hours, SoftLayer Engineers expect the work to be completed within 3 hours.

-------------------------

Se realizara un mantenimiento al servidor para optimizar el uso de recursos en el mismo.

El mantenimiento sera realizado el 21 de noviembre (lunes) a las: 00:00 Hora de chile, 21:00 Hora de Mexico , 20:00Hr Hora central

Se realizara un mantenimiento al servidor para optimizar el uso de recursos en el mismo.

El mantenimiento sera realizado el 21 de noviembre (lunes) a las: 00:00 Hora de chile, 21:00 Hora de Mexico , 20:00Hr Hora central

Se ah detectado paquetes perdidos con america del sur provocado por telefonica y algunos de VTR, nos estamos poniendo en contacto con los proveedores a travez de softlayer para dar solucion al problema que a todos a algunos nos esta provocando.

 

Esto esta generando desconexiones por parte de los usuarios de aquellas regiones y lag durante el juego.

Despues de dos ocaciones que el servidor nitrox colapsa y por mas que revisabamos no encontrabamos causa ya que los niveles de carga del servidor no subian, asi que todo estaba a niveles correctos, el servidor solamente dejaba de responder.

Despues de estar trabajando buscando el por que dimos con el problema de raiz, esto se debe a que el disco duro tiene problemas lo que causaba que el disco duro quedara en modo de solo lectura (se bloqueaba) por lo que no respondia.

A causa de esto se realizara un mantenimiento de urgencia el 12/10/2011 a las 00:00hr GMT-5 para hacerle pruebas al disco duro de ser posible la correcion se relizara su debido mantenimiento, pero de lo contrario en caso de ser irreversible se optara por cambiar el disco duro para evitar la perdida de informacion.

ATENCION:

PARA REALIZAR ESTE MANTENIMIENTO SE REQUIERE DESCONECTAR EL SERVIDOR POR LO QUE QUEDARAN OFFLINE LOS SERVIDORES VPS ALOJADOS EN NITROX.

Softlayer ah programado un mantenimiento al backbone de houston, TX. Este mantenimiento es en otro centro de datos, nosotros estamos en DALLAS, pero probablemente nos veamos afectados en cuestion de rendimiento para los usuarios que atraviezan por houston, TX para llegar a DALLAS.

Los ingenieros trabajaran para mitigar el impacto, No se  esperan interrupciones en el servicio, solo un decremento en el rendimiento de la red.

MENSAJE ORIGINAL:
=================================

SoftLayer Engineers will be performing maintenance on the SoftLayer Technologies backbone in Houston, TX. During this maintenance, Engineers will be adding new Juniper MX backbone routers to the existing Houston, TX backbone infrastructure. These routers will provide further capacity for future growth. Due to the scope of this change, the work has been scheduled for the following day:

Wednesday, October 12th 00:00 - 04:00 CDT

During this maintenance, customers will likely experience periods of latency/packet loss for routes traversing the backbone through Houston, TX to either Miami, FL or Dallas, TX. Customers with services in the Houston, TX facility will also likely see performance degradation during this change. Engineers will make all attempts to mitigate the impact to customers.

=================================

 

Son las 5:21am y llego el reporte del servidor nitrox esta caido, estamos trabajando para solucionar el problema.

El problema fue resuelto temporalmente, se dejo todo el dia funcionando el servidor nitrox sin presentar ningun problema.

El problema es la unidad de disco duro que esta presentando fallas y esta se bloquea evitando la escritura del mismo.

La accion tomada fue el reinicio de todo el nodo nitrox.

 

Para una solucion permantente se programara un mantenimiento para realizar pruebas al disco duro y repararlo, de ser necesario ser reemplazado.

El servidor Nitrox en este momento esta presentando dificultades, estamos investigando y haciendo lo posible por estabilizarlo. Una vez que tengamos mas informacion sera publicada aqui mismo.

 

Disculpen las molestias.

----

El servidor ya fue estabilizado, ahorita ya pueden ir encendiendo sus emuladores, estamos investigando la causa del problema.

 

-----

La tarjeta de red publica del servidor tuvo problemas por lo que fallo la conectividad, esta tuvo que ser reemplazada por lo que se tuvo que proceder a apagar el servidor, cambiar la tarjeta y volver a encenderlo, ya esta trabajando todo correctamente.

 

Los emuladores ya fueron puestos online.

El centro de datos donde alojamos el servidor web ah informado sobre un mantenimiento correctivo en la red, esto para reemplazar un switch que ah estado dando problemas.

Esto provocara probablemente una perdida de conectividad del servidor web entre 5 y 10 min.

Esto significa que los servicios web quedaran offline por el tiempo indicado.

En este momento estamos realizando modificaciones a los permisos del servidor web para incrementar la seguridad. Probablemente a algunos en los foros les de error 500 pero estamos trabajando en ello

 

Si te aparece ese error por favor reportalo.

El centro de datos acava de enviar un aviso que el dia 18 de septiembre realizara un mantenimiento a su red principal. Esto con el fin de realizar cambios y correcciones a las politicas existentes que en ocaciones puede causar conflictos en algunas regiones.

EL MANTENIMIENTO SERA LLEVADO A CABO DE 00:01 HASTA 08:00. TIEMPO QUE DURARA EL MANTENIMIENTO. Esto no significa que todo ese tiempo estaran las desconexiones si no que dentro de ese tiempo los ingenieros estaran trabajando y en algun momento sentiran los problemas momentaneos.

Avisan que durante el mantenimiento podran sentir desde un incremento de latencia, perdida de paquetes hasta perdida total de conectividad del servidor ya que se realizaran correcciones por completo y sera necesario realizar desconexiones momentaneas.

Esto afectara a todos nuestros servidores, NITROX, GENESIS y SQL y a toda la red publica y privada (VPN) y la interconexion entre los demas centros de datos de softlayer.

 

Les dejo el mensaje original.-------------------------------------------

SoftLayer Scheduled Backbone Maintenance [09/18/2011]
Date: Sunday, September 18, 2011 (09/18/2011)
Start Time: 12:01 AM CDT
End Time: 08:00 AM CDT
Services affected: Public / Private Networks
Location: GLOBAL
Duration: 7.9833333333333 hours

==================================================

* RESCHEDULE OF PREVIOUS BACKBONE MAINTENANCE *

SoftLayer Engineers will be performing global maintenance on the SoftLayer Technologies backbone. During this change, Engineers will be implementing a number of policy changes along with correcting existing policies. Previously scheduled maintenance uncovered issues with existing policies that were required to perform the backbone maintenance. These policies must be corrected before the true backbone changes can be implemented. Due to the scope of this change, the work has been scheduled for the following day:


Sunday, September 18th 00:01 - 08:00 CDT


During this maintenance, customers will likely experience periods of latency/packet loss and may experience complete loss of connectivity for brief moments as configurations are updated. This will also impact customer traffic between datacenters on the public and private networks. Engineers will make all attempts to mitigate the impact to customers.

==================================================

We appreciate your patience during this work and welcome your feedback.

Thanks,
SoftLayer Network Engineering

Softlayer inicio el mantenimiento que se habia programado para esta noche, pero durante el proceso encontraron problemas con las politicas de enrutamiento lo cual impide continuar con el mantenimiento que se programo hoy dia a las 00:01 a 08:00am CDT. Ya los cambios que se habian echo tuvieron que ser desechos para poder solucionar el problema.

Debido al problema presenciamos una perdida de conexion por un par de minutos lo que no estaba contemplado.

Los ingenieros de softlayer del centro de datos DAL05 van a retrasar el mantenimiento y fue programado hoy mismo 6 de septiembre a las 05:00 a 13:00UTC

Asi para poder solucionar el problema y continuar con el mantenimiento. Solucionado el problema que fue detectado e iniciando el mantenimiento no debe existir interrupcion en el servicio aseguran los ingenieros.

Recuerda que este mantenimiento es a la red donde se encuentran los servidores de ragnarok.

 

EL dia 6 de septiembre del 2011 softlayer realizara un mantenimiento al Backbone de la red.

Servidores involucrados:
NITROX, GENESIS y SQL

EL mantenimiento se realizara:

Martes 6 de septiembre a las  00:01 - 08:00 CDT

Probablemente puedan experimentar latencias algo elevadas y/o perdida de paquetes durante este mantenimiento.

Ya otras veces se han echo este tipo de mantenimientos y no nos ah causado ningun problema pero la notificacion se da a los clientes en caso de sentir problemas ya saben a que se debe.

Softlayer ah anunciado el dia de hoy 23 de junio del 2011 que entrara en mantenimiento global a las redes de sus centros de datos, esto para apoyar al crecimiento constante de la red.

Softlayer asegura no abra interrupciones en el servicio, pero es probable que aumente la latencia o tiempo de respuesta del servidor (al hacer el ping) o presentar ligera perdida de paquetes enviados y recibidos.

Este mantenimiento se llevara a cavo en los siguientes horarios:

Saturday June 25th 00:00 - 04:00 EDT
Sunday June 26th 00:00 - 04:00 EDT

Un saludo a todos.

Los clientes reportaron desconexiones del servidor, no se caia pero perdian conectividad.

El centro de datos reporto que el problema fue sufrido por los servidores detras de  fcr01.dal05 quien proporciona conectividad a nuestro servidores.

El problema fue solucionado gracias a los ingenieros de redes.

 

Eduardo Saenz Robles

-----------------------------

RagnarokHost.net