Petit compte rendu de l’une des conférences qui a eu lieu à La Cantine, le 20 mai 2013, pour Paris Big Data. Je suis arrivé en retard et parti trop tôt, on peut donc parler de conférence au hasard. Heureux hasards ou qualité constante des interlocuteurs Big Data, ce fut très intéressant : présentation d’Aerospike une base NoSQL conçue pour les disques SSD. Les SSD font partie des récentes évolutions de l’informatique. On peut espérer des gains de x3 ou 4 justes en changeant des disques à plateau par des SSDs, pour les bases de données. Ça, c’est l’approche ordinateur personnelle, pour les serveurs, il faut un peu plus de finesses. Les disques SSDs sont loin d’être égaux entre eux : prix, performances, capacités, durée de vie. Fusion IO a une excellente réputation avec ses cartes PCI-Express, et leurs deux plus gros clients sont Apple et Facebook. Utiliser des disques grands publics dans des serveurs est globalement une mauvaise idée. Une anecdote poignante parle d’un exemple de déploiement de disques OCZ, avec 20 morts à la fin de la semaine. La vedette du moment est le S3700 de Intel, avec une connexion SAS, plus classique que du PCI-Express et “ce…

Le monde se résume à un gros tas de données, un peu de chiffres, beaucoup de texte. Tel est le principe des Big Datas. Il existe deux types de données : les statiques et les mobiles. Paradoxalement, on s’autorise à modifier les données statiques alors que l’on considère immuable un événement, une modification étant considéré comme un nouvel événement qui amende le précédent. Les événements peuvent faire évoluer un état, et ainsi constituer des données statiques. Une ligne dans un log, un tweet, une opération boursière, une commande sql sont des exemples d’événements. Journalisation Un des usages les plus simple de ce principe est la journalisation : on enregistre de manière simple les événements, les uns à la suite des autres, puis de temps en temps, on consolide ces informations, ce qui est une action plus couteuse. C’est comme ça que fonctionne la journalisation des systèmes de fichiers, ou même des bases de données. Ces mêmes bases utilisent une variante pour la réplication sur une autre machine : les événements sont transférés au fur et à mesure sur une autre machine qui va les appliquer sur son propre référentiel de données. Voila, vous avez une réplication master/slave. La journalisation peut…

Belle offensive d’OVH dans le domaine du Cloud avec son offre de stockage à la S3 et le backup qui va avec. Proposer des Linux virtualisés est devenu un classique, les offres hards de type kimsufi/dedibox existent toujours, mais ce n’est pas ici que la bataille à lieu, être son propre admin ne fait pas rêver, c’est devops que l’on veut être! Pour ça, il faut des services, et surtout ne pas avoir à assumer des drames. Le premier des drames en informatique en général, et dans le Cloud en particulier est le stockage des données. La réponse simple à ce problème compliqué est le stockage de données immuables et redondées, comme l’a démontré S3. À vous de faire la jointure avec vos outils, vos bases de données et autres fichiers uploadés. OpenStack devient de plus en plus présent (avec sa sortie de Grizzly) bien poussé par VMware qui voit là un moyen de caser ses produits. OpenStack propose une API neutre et standard et laisse derrière la possibilité de choisir les briques qui vont bien selon le gout des admins (ou des commerciaux). L’idée est que les devs n’aient pas à recommencer le pari d’AWS, et de toute façon,…

Http est un protocole client-serveur. Son côté omniprésent en a fait le meilleur ami des firewalls. HTTP fonctionne partout, tout le temps. Quelques fois, des proxys malicieux d’entreprise affichent des pedobears à la place de la page espérée, mais globalement, ça fonctionne. Le deuxième ami d’HTTP est curl. Cet outil en ligne de commande, qui se démène pour gérer une multitude de protocoles n’est connu que pour son implémentation de référence d’HTTP. Pour éviter des trolls infinis sur le choix de client HTTP, qui lui est infini (allez regarder ce qui se fait en Ruby, pour rigoler), les exemples d’API REST (et donc HTTP) se font en curl. Curl, lingua franca de l’HTTP. Même Chrome propose dans ses outils de dev “copier cette requête comme une commande curl”. HTTP a été conçu dans l’idée d’un serveur public contacté par un client potentiellement privé (inaccessible derrière un NAT). Dans les faits, il est inaccessible, seuls les fous se connectent directement sur internet, sans passer par un routeur. Il n’est pas farfelu de vouloir amorcer une discussion depuis le serveur. Il y a plusieurs niveaux de violence pour arriver à faire ça : Le polling. Le client pose et repose la question…

Passmaker est une solution de Plateform As A Service libre (sous Mozilla Public Licence 2.0), en python, bénéficiant d’un joli site, d’une doc touffue et d’un code propre. Il lorgne clairement sur Heroku, et rends hommage à AWS, en dédiant une partie de sa doc à l’installation sur EC2, RDS et S3. Paasmaker s’articule autour d’un superviseur et d’un routeur dynamique. Les applications utilisent l’incontournable manifest, la plupart des langages sont gérés (python, tornado, node, php, ruby…), un outil en ligne de commande permet de déployer simplement, une API REST est aussi fournie, il y a une phase de baking (préparation de l’application : installation, compilation …), et ensuite un déploiement atomique, avec une possibilité de rollback. Le routage est assuré par Nginx qui va piocher dans un Redis. Un système de cron est mis à disposition des applications. L’architecture utilise des plugins, en interne, et fournit de la doc pour en proposer de nouveaux. L’objectif de Paasmaker est de proposer du scaling horizontal, en rajoutant des workers qui seront utilisés par le dispatcheur. Le dev est fait sur Mac et cible de l’Ubuntu sur EC2, on a le triplet hipster, mais il n’y a rien de bloquant pour utiliser…

Dotcloud vient de lâcher le morceau. Après avoir livré son fleuron, Docker, qui porte haut l’étendard de LXC, ils livrent d’autres bouts de la stack. L’enthousiasme est réel sur github, ils ont eut plein de ★ très rapidement. Dotcloud n’a pas uniquement fait ça pour rendre le monde meilleur, mais aussi pour se débarrasser de leurs leechs. Dotcloud vends une solution d’hébergement Cloud, avec jusqu’à récemment un modèle freemium. Pour arrêter de bosser gratos, ils ont donc libéré la suite des outils nécessaire pour faire du dotcloud, dans sa maison, avec une doc pour faire la migration. Donc, le petit freemium, soit il devient client, soit il déploie son bazar un peu plus loin. Je suis de mauvaise foi, la plupart des services gratis et populaire qui ferment, ils donnent rarement les billes pour changer de fournisseurs, et là, les billes, ce sont les sources. Certains outils peuvent faire ricaner, comme hipache, un apache pour les hipsters, un truc en node capable de router des websockets. Ricanez, mais pour l’instant, seul une bêta de haproxy sait faire ça. Leur rpc aussi est fourni, zeroRPC, du msgpack over zeromq, mot compte double. Au-delà du buzzword, c’est surtout un protocole concis, typé,…

La tentation d’AWS. Amazon Web Service nous propose tout, tout de suite, à la portée d’un clic. Vous devez céder de manière aussi impulsive que pour acheter le dernier Marc Levy. Votre âme, euh, votre carte bleue leur appartient déjà : One click to buy©. Google, avec son Google App Engine, son offre équivalente à AWS, propose approche plus pédagogique. Quand on prend du GAE, on le sent passer : le code est spécifique et contraignant, le python périmé (était, c’est du joli 2.7 maintenant, sinon, tu n’as qu’à faire du go, comme tout le monde), le résultat chaotique, tout ça pour avoir le frisson de la big table et du scaling intergalactique. Tel un Pablo Escobar dealant à un coin de rue, Google nous préviens : “Nous, on scale, mais toi, ta carte bleue, elle scale?”. AWS est le nouveau caïd. Internet a de toute façon un modèle binaire, un gagnant, plein de loosers. Aucune offre de Cloud alternative ne propose autre chose qu’une dedibox virtualisée. Joyent peut être? Ne cherchez pas, la CIA (les gentils dans HomeLand, les méchants dans JFK) demande gentiment à Amazon la permission d’avoir un petit bout d’AWS, privé, rien que pour eux. Voilà,…

Petit test du TL-WR702N, boitier wifi ridicule. Par sa taille (6x6x1), sa couleur (bleu layette, les hypsters choisiront le vert amande) et son prix (moins de 25€), sa simplicité de prise en main (les instructions sont écrites dessous, et il peut faire AP, routeur, client, pont ou répéteur). Il est alimenté en USB, et un transfo est fournit, battery include, donc. Concrètement, il transforme n’importe quoi qui a un port Ethernet en n’importe quoi Wifi. Il ne faut pas non plus s’emballer, il a peu de RAM, un OS simple, et pas d’antenne externe, mais le “juste ça marche” reste toujours un moment de bonheur. D’ailleurs, j’ai des boitiers wifi à ouvrir et à flasher avec un port série et un convertisseur de tensions, juste j’en bave. Les aventuriers pourront tenter le modèle au-dessus, qui accepte les clefs 3G, mais il est plus simple de directement utiliser E585 de HUAWEI, avec un petit forfait sans engagement à 20€ on devient maitre du monde sans fil (aucun, en fait, il a une batterie). Oui, pour plusieurs machines, ça fonctionne mieux qu’un smartphone en tethering. Tous ces jouets restent des objets terriblement mainstream, sans challenge. Voici le enc28j60 un port Ethernet pour…

La confusion règne parmi les outils de gestion de serveurs : chef, puppet, salt, fabric et autres noms bizarres. À quoi ça sert? Lesquels vont passer l’hiver? Est-ce que je risque d’investir sur un tréteau ? Petit retour en arrière. Ok, le Cloud computing va sauver le monde, un peu comme les voitures hybrides ou les lasagnes au tofu. Il faut effectivement des outils pour gérer ses serveurs, mais la notion même de serveur est en train de disparaitre, la virtualisation se généralise, et les conteneurs légers finalisent cette invasion. Le serveur, cette grosse boite que l’on range dans une armoire de 19 pouces de large n’est maintenant qu’un élément hardware comme un autre, tout comme une barrette de ram, un disque dur ou un switch réseau. Le devops déploie son code sur un service d’hébergement, code qui est lui-même un service qui s’appuie sur d’autres services (cache, persistance, recherche… ), il regarde ce qui se passe via des services de monitoring, le client regarde son service d’analyse pour apprécier la réussite du projet, et les utilisateurs vont utiliser ce service. Bref, tout le monde se fout des détails du monde réel, on ne veut que des services : le…

Lots of server tools were made for private hosting. Behind your firewall, nobody knows you are naked. But, in 2013, it’s Cloud time, everybody got its own naked virtual server, flavored with some SAAS. Some major services, like memcached recently got its authenticated version, REST ones can be easily proxified, but others, with classical sockets, remain unauthenticated : patching protocols is painful. UDP services don’t like authentication, just use them in localhost, and forget mutualized hosting, LXC is now trendy. Mutalized hosting is like the subway, just use a light container like Velib (parisian bike as a service). TCP services can easily handle some authentication. With a persistent connection, it’s easier, it’s just a simple FSM (Finite State Machine), first give some credentials, and switch from not authenticated state to authenticated state. Mysql can do it, so you can. If you like standards, use SASL, and don’t bother, just handle PLAIN authentication, nobody can beat shared secret or SSL for security. SSL is also a secret weapon, it replaces a classical socket with a secured none. SSL is a protocol which handles protocols. SSL can use authentication with certificates, and magically add authentication without modifying the guest protocol. SSL authentication…