Comment évaluer les compétences réelles d'un développeur ?

Triplebyte livre les résultats d'une analyse de données de recrutement

Quand on arrive à la question d’évaluer les compétences réelles d’un développeur au cours d’un recrutement, plusieurs facteurs entrent en jeu. Les compétences du recruteur lui-même, sa connaissance et sa pratique du métier, ainsi que les méthodes utilisées dans le processus de recrutement peuvent permettre d’embaucher l’oiseau rare ou à l’opposé, se retrouver avec un développeur dont les compétences réelles ne reflètent pas celles qu’on a supposées pendant le processus d’embauche. De manière générale, l’évaluation des compétences peut dépendre fortement de la méthode utilisée.

Plusieurs méthodes existent à ce jour. Les entreprises embauchent les développeurs en se basant sur diverses variables comme l'éducation et le niveau d’étude, l'expérience professionnelle, et la capacité à résoudre des problèmes de codage sur un tableau blanc. Mais selon Triplebyte, une société spécialisée dans le recrutement de professionnels de l’IT, aucune de ces méthodes ne marchent vraiment dans la plupart des cas. Triplebyte a donc opté pour un processus de recrutement qui permet d’identifier les capacités de programmation générale d’un développeur grâce à un système de notation que la société a mis en place.

Dans un billet de blog, Ammon Bartram de Triplebyte écrit que « ce dont l'industrie a besoin est une façon de sélectionner les candidats en regardant leurs capacités réelles », et non en se basant sur l’école où ils sont allés ou les entreprises dans lesquelles ils ont travaillé dans le passé.

La société a donc mis en place un processus qui lui permet d’atteindre cet objectif. Il s’agit d’un processus en 4 étapes qui débute par un test technique en ligne, suivi par un entretien téléphonique de 15 minutes pour discuter d’un projet technique réalisé par le candidat dans le passé. Le test technique en ligne comprend un exercice de programmation du style FizzBuzz et un quiz de programmation à choix multiples qui nécessite de comprendre du code réel, en analysant par exemple une fonction, et en choisissant lesquels parmi plusieurs bugs proposés sont présents dans le code.

La 3è étape est une interview de 45 minutes par écran partagé où le candidat écrit du code, et la dernière est une autre interview par écran partagé de 2h où le développeur travaille sur un projet technique plus vaste qu’il choisit dans un ensemble réduit de projets.

Pour permettre au candidat d’être à l’aise pendant le codage, ce dernier a le choix de son environnement de développement et du langage de programmation. Il travaille également avec son ordinateur personnel.

Après avoir évalué 300 candidats en 30 jours, la société livre les résultats de l’analyse des données issues de son processus de recrutement.

L’analyse révèle que le quiz de programmation à choix multiples est un fort prédicteur de la réussite dans les entretiens de codage. « Près de la moitié de la performance de l’interview (48%) peut être expliquée par le score obtenu dans le quiz », explique Bartram en ajoutant que « 39% peut être expliqué par le temps d'achèvement du quiz ». Les candidats ayant terminé le plus vite le QCM sont donc susceptibles d’être de meilleurs programmeurs.

En ce qui concerne le test de style FizzBuzz, il ne permet pas réellement d’expliquer la performance des candidats au test de programmation. L’analyse révèle en fait qu’il n’y a pas de corrélation entre la bonne résolution du test de FizzBuzz et l'obtention d'un bon score dans l'interview de codage.

Un autre résultat qui est ressorti de l’analyse de Triplebyte montre que les candidats qui ont été impressionnants quand il fallait parler des expériences passées ont été dans certains cas très décevants quand il s’agissait d’accomplir des tâches de programmation relativement simples. A l’opposé, les candidats qui ont eu du mal à être convaincants lorsqu’il s’agissait de parler des expériences passées, ont été les meilleurs dans les exercices de codage.

Les résultats de l’analyse sont toutefois à prendre avec un peu de réserve. Contacté par un média pour plus de détails, le PDG et co-fondateur de Triplebyte Harj Taggar précise qu’ils ne testent pas de connaissances de langages spécifiques, mais « juste la capacité de programmation générale ».

Source : Triplebyte

Et vous ?

Que pensez-vous des résultats de l’analyse de Triplebyte ?

Quelle est la meilleure façon d’évaluer les compétences d’un développeur ?