NOV
Call the back up
2010 à 10:57 35 commentairesOù l’on parle de cette fameuse histoire de sites disparus.
Alors, je m’assoie comme un Pierre Bellemard dans mon rocking chair, allume ma pipe et alors que les premières volutes de fumée s’en vont caresser le plafond, je vais vous raconter l’histoire de comment j’ai failli perdre tous mes sites, comme un con.
Et là, grand -père à l’air un peu con car il n’y a rien d’épique ou d’héroïque ou même de spectaculaire dans cette aventure.
…………………………
//De Dedi à Oxa
En gros, tous mes sites étaient hébergés sur une vaillante Dédibox XL. Avec Decate et son ossature Magento pas franchement légère en terme de bande passante et de ressource serveur, nous avons décidé de chercher un hébergement plus haut de gamme.
Cela tombait bien, Pomm3, un très bon pote du Street Club, est aussi l’un des patrons d’Oxalide, une boîte d’hébergement et infogérance haut de gamme. Un déjeuner plus tard, il nous fait une offre qu’on ne peut refuser et nous décidons de migrer tous nos sites chez lui.
Plein de mails avec le chef de projet, de préparation, de vhosts à changer et autre jargon auquel je ne comprend rien. Decate débarque chez Oxalide et nous le lançons dans la foulée. Et dans la foulée de la foulée, j’envoie une lettre en recommandé de fin de contrat à Online mi-Octobre, pensant que tous les sites ont été migrés. Alors que nan.
…………………………
//Débande passante
Jules, le dev en chef de Colorz, pensait de son côté que je n’avais pas résilié mon abonnement et a donc un peu laissé traîner la migration des sites. Ce qui devait arriver arriva : Online a formaté la machine début Novembre, pendant que j’étais en train de roucouler à l’étranger. Ensuite, ça a été très vite :
- Mail de la Team Lense car le site est down.
- Je check, pareil pour MonsieurLâm
- Je mail Jules, il ne trouve pas la machine, chelou
- “Ah, ptet parce que j’ai payé la dernière facture en retard”
- “Ok bah ça va revenir alors”
- “Bah nan, c’était la dernière facture genre finale, j’ai résilié tu sais, comme prévu”
- “WAT ???”
Et là, on a compris que ça allait être le bordel. J’ai pas dormi de la nuit, suis rentré en chien à Paris pour qu’on m’annonce que notre serveur avait été reformaté et sûrement re-alloué à quelqu’un d’autre.
On joint Bibi (qui aidait Colorz sur l’infogérance) pour lui demander le dernier back up des sites et là, drama : ça fait des mois qu’il a arrêté de backuper. Il n’a plus rien. Nous non plus.
Une cascade de gaffes et de mésententes, l’envie de pleurer et j’ai même été prendre un verre dans le bar irlandais du coin, c’est vous dire.
Des centaines d’articles, de guides, des milliers de photos, de commentaires… Pouf pouf.
Après nous être regardé dans le blanc de l’oeil et en silence, nous mettons en branle l’opération Condor d’Argent, à savoir récupérer un max de chose à tout prix. Pendant que je fais tourner les demandes d’aide, Theo prépare le pire, à savoir de nouveaux blog temporaires, Jules se bat avec la hotline d’Online, qui ne peut rien faire et David fait jouer ses relations.
En parallèle, les admins et les lecteurs de Lense et SMS abattent un boulot formidable en envoyant images, cache, textes qu’ils ont en stock. Remerciement aussi à Jérôme (mon compagnon de Motus) qui développe un script pour aspirer Internet (TOUT) et regurgiter tout ce qui aurait attrait à ce blog. Et pour cela, je vous remercie profondément, la quantité de mails et d’infos a été impressionnante.
…………………………
//6 degrés de zyva, aide-moi quoiii
C’est pourtant côté relations que les choses vont se décanter, grâce à la fameuse loi des 6 degrés de séparation. Qui vont nous permettre d’atteindre le boss d’Online. Dans mon fantasme, ça donnerait ça :
- Lâm joue à Starcraft II avec Obama
- Obama croise régulièrement Sarko
- Sarko a donné naissance à Hadopi
- Hadopi déteste Niels
- Niels en touche deux mots au boss de Dedibox
- Le boss de Dedibox missionne Son “N -1″
En vrai de vrai, David connaît bien Simon qui est super pote avec Jeremie et les deux connaissent Niels et après quelques mails passés dans les hautes sphères d’Iliad (la maison mère de Free et Online), nous voici en relation avec Arnaud, boss d’Online, et l’un de ses admins Antoine qui a une solution que je devine en gros être un back up de back up, perdu quelque part dans l’océan de disques durs et de serveurs de chez Online.
Après quelques longues heures de recherche, on nous remet l’accès à un l’intégralité de nos données. Ca paraît tellement simple, dit comme cela.
…………………………
//La morale de cette histoire les enfants,
Cette fatigante aventure ne nous le dira jamais assez : backupez toutes vos données, sauvegardez, répliquez, que ce soit des sites ou des données persos. Pierre en fait d’ailleurs une excellente série d’articles sur Lense (hop et hop).
En attendant, Decate et Lense seront chez Oxalide quand MonsieurLam, SMS et de futurs projets resteront chez Online, que je remercie encore grandement car ils n’avaient aucune obligation d’aider un client 100% dans son tort. C’est ptet mes photos de loutres qui les ont attendri.
Finalement, cette pause aura eu un effet positif : dans l’optique de tout recommencer à zéro, j’ai commencé à dessiner les contours d’une nouvelle version de ce blog, qui sera radicalement différente. On ne s’arrête jamais, hein…
Post non corrigé, zyva les fautes de céfran.
Ouf, tout est bien qui fini bien. ^^
Pour ton blog, vous pouviez aussi tenter des récupérations d’articles depuis le cache de Google ;)
Haha bien joué, c’est marrant on est pas du tout étonné que ça puisse t’arriver ^^
Content du retour à la normale en tout cas :)
Bonne continuation dude !
Ouuffff !!! Ok ça fout la trouille, je vais refaire un back up. A tout à l’heure pour le fridance.
Ca prouve qu’il reste encore des IT d’exception doues de cette grande qualite en informatique que la maniaquerie.
…Et ca me rechauffe le coeur.
(t’as eu chaud aux fesses quand meme)
Quite an adventure…. tu devrais faire un mini film à la 24H Chrono…
Comme je compatie!
Apres un probleme serveur dans ma derniere boite, je me rappel avoir remonte des dizaines d’articles de blogs a la main a partir du cache de google. Pour un site tres connu mais personne n’est au courant chut ! Je connais le desespoir et l’impuissance de ces moments la!
mieux vaux trop backuper que pas assez..
Bien sorti au final ! okaeri
la morale de l’histoire c’est vive le guanxi ~
récemment j’ai lu une interview de l’excellent DJ Superpitcher, qui expliquait qu’il avait bouclé un album il y a quelques années, mais que son DD avait ensuite crashé. hop, plus d’album. ça parait fou.
Comme dirait amedé “quelle aventure!”
Mais ça fait du bien de te relire!
Quel suspense ! Vous avez eu bien de la chance en tout cas. Je suis curieuse de voir la nouvelle version du blog du coup :)
Il y aurait donc une backup de backup chez Online…
Sur leur initiative ?? (autrement posé : les données récupérées, tu les avais toi-même backupées ?)
… because là, je m’interroge soudainement de la violation des données/confidentialité/sécurité/etc.
Ces situations sont un enfer… Moi j’ai eu très peur (pour toi et les deux fois ou j’ai été à ta place !)
Parce que je suis un gars cool je te mets un backup en place sur tes serveurs GRATOS (:p)
Et parce que je suis encore plus cool je ferai un article sur la récup des données perdues #krkrkr
Ils (les blogs) s’agrandirent et eurent plein de posts heureux … Happy end!
Mais, c’est clair, ce qui tout désamorcé, ce sont tes photos de bébés loutres. ^-^
Comme quoi, la solidarité existe aussi sur Internet!
c est de ces conneries qu’on apprend…mais là la douche aurait été froide …l’univers a été clément
Donc en résumé… Oxalide n’a pas cassé ton site ! (je le dis pour ceux qui m’ont envoyé des mails !!!)
@lâm pour info, la sauvegarde de tes données decate & lense se sont bien passées ce matin… comme tous les matins ^^
La gueule du post sponso!
C’est le genre d’erreurs qu’on ne fait qu’une fois (comme dans Doom se cacher des monstres derrière un baril d’essence: pas bon).
Petit rappel important:
- les backups doivent être AUTOMATIQUES — si on les fait à la main, c’est toujours au moment qu’on en a besoin qu’on a oublié de faire la procédure depuis des lustres
- les backups doivent vous DIRE quand tout se passe bien ou mal (quand on ne reçoit plus de mails, c’est que tout est mort, vous le savez et il faut agir MAINTENANT)
- les backups doivent être FINS (mois/semaine/jour/heure) voire permettre de remonter dans un historique (je veux ce fichier tel qu’il était il y a deux semaines)
- les backups doivent être sur PLUSIEURS SITES différents (si GRODOIGT formatte par hasard une machine, il ne ruinera qu’un jeu de backup, pas tout).
- les backups doivent être REJOUÉS régulièrement (idéalement au moins tous les mois pour s’assurer que les archives utilisées sont exploitables).
Petite technique personnelle: toutes les données sont synchronisées par rsync(1) depuis le serveur principal sur une machine de confiance. Les DB sont dumpées régulièrement. Les fichiers de config sont sous contrôle de révision (git). Ces données sont répliquées sur des serveurs partagés, hors site. Comme c’est un risque de compromission, ces archives particulières hors site sont synchronisées chiffrées avec duplicity [1]. Le script principal fait donc des sauvegardes automatiques en clair (vers un serveur de confiance) et chiffrées (vers une machine partagée) régulièrement et lance des alertes: tout va bien (mail 1) ou pas (mail 2). Que j’efface tous les jours le coeur léger. Mon serveur secondaire est régulièrement et automatiquement rechargé avec les données de sauvegarde (sauf les données de configuration, naturellement). En me connectant sur le site secondaire je peux rapidement voir si tant les backups que les restaurations fonctionnent. Une erreur se voit tout de suite.
C’est une tannée à mettre en place et à concevoir, c’est vraiment facile à tenir et à vérifier et c’est un peu comme une assurance: quand on n’a rien on le paye toujours trop cher. Mais quand un pépin arrive, je n’ai en général qu’une entrée DNS à changer (et supporter un court lost-update) pour avoir un peu de temps pour étudier ce qui s’y passe.
HtH,
— Ben
[1] http://www.nongnu.org/duplicity/
Quand je pense qu’une semaine avant tout ça tu me faisais un speech sur les back up en me disant, je te cite : “c’est inadmissible aujourd’hui de perdre 50 photos dans son ordinateur”…
Hu hu hu
Vous avez quand même des égos surdimensionnés, parce que c’était quand même pas une grosse perte.
Les gens accordent maintenant plus d’importance à leur vie numérique, c’est dingue.
Ya pas un gars ici qui a une photocopie de son passeport quelque part, un double des clefs de leur appart planqué somewhere, un archivage minutieux des négatifs de leurs photos papier, …
(même si tout ça peut se refaire faire, comme ce blog multi-caché sur bon nombre de moteurs ou archiveurs)
Qu’est ce qui te fait dire ça ? Tu as décidé qu’on n’avait pas sécurisé papiers d’identité, clefs etc ? Bah détrompes toi, c’est mon cas.
Et ces sites, ce n’est pas que de l’égo, surtout Lense. C’est du boulot, de l’argent, des gens, un capital etc. T’es assez réducteur je trouve.
C’est sur que (sh + (rsync + ssh)) + cronjob = la lune :O
Ben a entièrement raison (même si il est un peu extrémiste, on dirait un stratégie de backup sur bande son truc) pour le coup et on va pas cracher sur Colorz ou les méthodes de chacuns mais bon.. C’est tout comme pour le coup.
On va juste rappeler les bonnes pratiques web :
- Environnement de dev
- Environnement de preprod
- Environnement de prod
+ backup quotidien (au moins pour la base de données).
Et comme le web évolue dans le bon sens, utiliser git avec plusieurs remote le tout executé via sh, c’est pas mal non-plus !
Enfin bon, on a vu pire hier soir chez Orange Labs sur lessitesmoinscherdeleclerc.com
Comme Ben, mais en moins parano, j’ai mes scripts de backup tout auto (sql / web / conf) qui font un joli .tar.gz quotidien qui est conservé en local et rsync chaque nuit sur une machine hors-site dédiée au stockage des backups.
En parallèle, je rsync aussi les données vitales (mails surtout) toutes les 15mn afin d’avoir une sauvegarde la plus récente possible en cas de crash en pleine journée. Et tous nos serveurs sont virtualisés, et pour une grande partie répliqués à chaud, de façon à être capable de se relancer sur un autre host en quelques minutes.
Et pour terminer, tout le matos réseau est du Cisco only et les serveurs du HP only avec garantie J+1. Le Supermicro qui claque au bout de 3 ans en moyenne, c’est terminé pour ma part.
T’as du être un peu comme ça http://i.imgur.com/nBuOm.jpg
Gny, GNII.
Oh la galère !
Ben si c’était assez épique quand même.
Sauf ton respect, ça ne doit pas être bien lourd un site comme ton blog, quelques centaines de Mo de données tout au plus non ?
Il y avait 3 sites, donc quelques Go je pense.
[...] qui comptent mais la fin de ce billet sans queue ni tête c’est d’avoir constaté (via monsieurlam -encore-), que la loi derrière mon projet sans nom avait droit à des théories, des études, des [...]
C’est qui Niels ? Chez iliad, c’est Xavier Niel sans s.
Comme quoi, il est toujours bon de vérifier à plusieurs reprises que tout est bien migré avant de résilier un serveur. Par prudence, je conseille à mes clients de garder le serveur un mois de plus que prévu au cas où on tomberait dans une situation similaire.
Enfin tout est bien qui finit bien, une preuve encore que le staff online/dedibox est efficace :)
L’histoire qui ne m’étonne pas de toi :)
[...] photos de voitures, mais mon disque de backup contenant toutes mes images vient de sauter (pas de panique ce coup-ci, ce n’était qu’un backup). Du coup, en voici une, prise à [...]