STAGE - Assistant(e) data sciences / big data (92)

Mission

Au sein de VSC Technologies, notre direction a pour mission d’assurer le bon fonctionnement des applications en production développées par VSCT et tout particulièrement du socle applicatif du site bien connu http://www.voyages-sncf.com.

Du fait de la position de leader de ce site marchand parmi les acteurs français du Web, le nombre de transactions est extrêmement important et génère une quantité encore plus importante de logs.

L’architecture BigData (HDFS, ElasticSearch, etc.) centralisant et hébergeant ces traces applicatives constitue une véritable mine d’or d’informations à partir des quelles, dans le cadre du suivi de production, il est facile d’effectuer à grande échelle ces tâches classiques :

- Calcul d’indicateurs métrologiques pour mesurer les performances de l’application

détection, compréhension et correction des anomalies, même lorsque le travail d’investigation nécessite la traversée de couches logicielles.

Mais nous voulons aller beaucoup plus loin : nous voudrions être capable de détecter et anticiper automatiquement tout comportement anormal, voire même prédire l’état de la production. Quelques expérimentations menées en ce sens nous ont montré que ce vieux rêve de la prédiction était à portée de mains.

Il s’agit alors dans le cadre de ce stage de « faire parler » les logs, que ce soit par des techniques classiques ou d’autoapprentissage (machine learning), quitte même à les croiser avec d’autres sources de données : logs système, données Graphite, sondes logicielles, résultat d’exécution de robots.

Vos responsabilités seront :

-L’inventaire des données existantes et l’identification éventuelle de nouveaux indicateurs métrologiques

- La réalisation, sous environnement Linux, de nombreux POC en testant les diverses technologies de machine learning : Mahout, PredictionIO, MLib, etc.

- La réalisation de vos tâches en mode agile type SCRUM

- La présentation à l’équipe de « démos » pour montrer l’avancée de vos travaux

- La production d’un compte rendu de stage (LaTeX ou PowerPoint)

Profil

Nous recherchons un(e) étudiant disponible pour effectuer un stage de 6 mois à temps plein, aimant les nouvelles technologies et les mathématiques, maîtrisant Java et connaissant théoriquement les principes des méthodologies agiles.

Si vous aimez Java8, Scala et jouez avec les nouvelles technologies, n'hésitez pas à nous contacter.

Postulez ici