Bonjour,
je passe en ce moment des entretiens d'embauche. Plusieurs recruteurs m'envoient des petits questionnaires/challenges à réaliser préalablement à l'entretien technique, rien de nouveau sous le soleil.
Etant un gros flemmard incompétent informaticien appliqué à optimiser son temps de travail, j'ai recours à chatGPT/gemini/claude etc.. pour me préparer les réponses à ces questionnaires.
Sans surprise, ces LLM réussissent super bien ces tâches (clairement il y a eu des trucs équivalents qui leurs ont servi de modèle, et ils recrachent du code et des commentaires très propres). Je relis le code, j'efface les trucs qui font trop "réponse de LLM", j'ajoute une typo pour faire genre c'est un humain qui a écrit le code, et je renvoie.
A ma surprise, j'ai eu des félicitations pendant un entretien technique sur la qualité du code envoyé (lol?) et j'ai vraiment reconnu la partie en question.
Du coup, je suis confus.
- Je peux dire que je suis pas qualifié pour le poste (c'est l'AI qu'il faut embaucher)
- Je peux rien dire et faire bosser le LLM 100% du temps (travaille, esclave!)
- Je peux dire que comme google, je suis trop fort pour relire du code écrit par un LLM et du coup je suis overqualified pour le job
et toi "lamatelas", que ferais tu?
# Circonspection
Posté par Voltairine . Évalué à 7 (+6/-0). Dernière modification le 04 novembre 2024 à 16:30.
En tant que recrutrice je sais évidemment que les candidats vont aller pomper les réponses sur le web ou interroger diverses AI. J'ai donc bien vérifié les réponses toutes faites que je m'attends à retrouver.
Si je félicite un candidat pour le code copier/coller qu'il m'a fourni ce sera bien entendu ironique et surtout dans l'espoir de provoquer une réaction de sa part.
Bref ce type de questionnaire,à moins d'être complètement idiote, est bien destiné à tester le candidat, mais pas sur ses capacités à
pisserproduire du code.[^] # Re: Circonspection
Posté par octane . Évalué à 4 (+2/-0).
bon, ok :-(
# Test technique = flan
Posté par aiolos . Évalué à 9 (+7/-0).
En vrai, si le test est passé avec brio avec l'usage d'un LLM, c'est soit qu'il ne sert pas à détecter grand chose, soit que le travail qu'on va te demander va être chiant comme la mort… Dans les deux cas, ce n'est pas très bon signe.
Après, c'est peut-être mon point de vue de senior, qui n'a pas eu trop de difficulté à trouver un travail d'archi et qui a pu se permettre d'envoyer péter à peu prêt quiconque envoyait un test technique de ce genre… Et du point de vue du recruteur, je n'ai jamais vu de test technique qui m'ait appris beaucoup plus de chose que ce que j'avais déjà perçu après un premier entretien technique.
En gros, tu vas trouver quatre profils :
- le junior/reprise d'emploi : ça fait le taf, mais c'est pas très propre ;
- le gars qui sort de 2 ans d'ESN/Software factory : c'est carré, c'est joli, c'est polissé, mais c'est sans surprise ;
- le senior qui a torché le truc rapidement, et qui va te faire des petits trucs, sympa à avoir (conteneur docker, CI/CD, Swagger, etc.) ;
- le nul : il a rien fait ou de la merde.
Donc en fait, tout ça, tu peux le détecter en discutant autour d'un code à toi, voir un extrait du code du produit sur lequel le candidat devra bosser, amha, et tu ne demandes pas à des gens qui ne travaillent pas pour toi de prendre du temps à travailler pour un résultat hasardeux. Et comme en plus, tu ne peux pas vérifier l'origine réelle du code (aide d'un pote, ChatGPT et consorts, etc.), tu devra vérifier dans tous les cas si le gars en face comprend le code qu'il t'a envoyé.
D'ailleurs la seule fois où j'ai cédé et fait l'exercice, l'entretien a bifurqué sur autre chose après 30 secondes de discussion sur l'exercice qui m'avait pris un peu plus de 2h à faire, et pour lequel j'avais appris à me servir d'un framework connu que je n'avais jamais eu à utiliser…
Donc, pour conclure : en l’absence d'autre motivation (produit intéressant, équipe sympa, stack technique motivante), si t'es pressé de trouver et que le marché n'est pas trop bouché chez toi, tu prends le taf, et si ça te plait pas, tu commences tout de suite à chercher autre chose. Si tu peux te permettre d'attendre, tu pourras sans doute trouver mieux.
# Entrtien techniques
Posté par totof2000 . Évalué à 8 (+6/-0).
Pour ma part, ma boite (ESN) me demande de faire des entretiens techniques auprès de candidats, et en général je ne fais pas passer de test techniques tout fait. Je préfère m'attarder sur ce que la personne m'a indiqué comme expérience, et creuser à ce niveau pour savoir comment elle réfléchit. Pour moi les tests techniques à l'ancienne (QCM, connaitre l'option exacte d'un bête fichier de confguration, etc …), je trouver que ça ne sert pas à grand chose aujourd'hui : toutes les réponses sont sur des forums techniques, ou maintenant disponibles auprès des IA. Je préfère demander à la personne comment elle s'y prendrait pour résoudre tel ou tel problème, ou comment elle s'y est pris pour mettre en place quelque chose qui est mentionné dans son CV. En général on arrive vite à savoir si la personne racconte n'importe quoi ou non, si elle maitrise les choses autant qu'elle le prétend.
Maintenant, si vous avez des suggestions sur des tests qui peuvent réellement débusquer les mythos des personnes sérieuses je suis preneur.
[^] # Re: Entrtien techniques
Posté par octane . Évalué à 3 (+1/-0).
Précisément. Savoir se servir d'une IA, ça pourrait passer comme une compétence super utile?
[^] # Re: Entrtien techniques
Posté par totof2000 . Évalué à 4 (+2/-0).
bah, pour moi, l'IA, c'est un moyen, au même titre qu'un moteur de recherche. Mais pour lui poser les bonnes questions et avoir les bonnes réponses, il faut savoir un mnimum de quoi on parle. Et c'est toute cette partie amont de l'interrogation de l'IA qui m'intéresse. Après un test intéressant pourrait être une copie d'une réponse d'IA à une question, ou l'IA répond d'une manière peu précise ou avec des erreurs, et demander à la personne en face ce qu'elle pense de cette réponse, et ce qu'elle en fait.
[^] # Re: Entrtien techniques
Posté par arnaudus . Évalué à 4 (+2/-1).
Je doute que de se servir d'un outil en le cachant à son employeur soit une qualité recherchée… Le test sert peut-être à repérer les champions qui vont copier-coller les rapports confidentiels dans chatGPT pour les traduire parce qu'ils ont pipeauté leur niveau d'anglais dans leur CV? :-)
Tout dépend du contexte, mais produire deux bouts de code, l'un qu'on a sorti spontanément, l'autre qu'on a affiné avec Google et ChatGPT, ça va représenter à la fois son propre niveau et sa capacité à se documenter, tout en mettant en avant l'honnêteté de la démarche et le respect de ses futurs collègues (on ne considère pas l'entretien comme une compétition où l'employeur essaye de piéger les candidats et où les candidats se permettent de tricher sur leurs capacités).
Gruger sur les CV ou les entretiens, ça en dit pas mal sur les gens, leur confiance en eux, la manière dont ils se projettent dans leur job, etc. D'après un DRH avec qui j'en avais parlé, seuls les manipulateurs passent à travers les gouttes, mais c'est un trait de personnalité, pas quelque chose qu'on peut travailler (même si on le veut de toutes ses forces, on ne peut pas devenir manipulateur). Si tu poses la question "est-ce que c'est convenable de pipeauter sur ses capacités professionnelles" sur un forum, c'est sûr que tu es hors de cette catégorie.
# test technique
Posté par tkr . Évalué à 10 (+9/-0). Dernière modification le 04 novembre 2024 à 18:17.
test technique sans interlocuteur en présentiel ou en visio pendant le test = rédhibitoire
le test technique devient pour les techiciens, ce que la "motivation vidéo" est au monde du recrutement : un truc à vomir.
personne ne sait si le contenu envoyé sera :
-réellement vu, corrigé et jugé
-supprimé directement, ou traine sur les serveurs de la boite pendant des années
-utilisé pour se foutre du candidat (vidéo solo ou rédaction du test)
J'ai déjà vu des équipes s'échanger les vidéos de candidats sur whapp, pour se payer leur tete ; les résultats de tests techniques ne sont pas en reste (teleperformance impose des tests rédactionnels à ses candidats, là aussi ça tourne dans les boucles)
pour moi tout ce qui se fait lors d'un recrutement, est fait en temps réel avec le recruteur ; c'est un échange 1-1, il n'y a aucune raison que le recruteur se prenne des privilèges d'imposer des "devoirs à la maison" aux candidats pour éliminer ceux qui ne veulent pas s'investir "à 200%"
c'est typiquement ce genre de pratiques qui pullulent sur linkedin, où les recruteurs font comme si ils s'investissaient à fond, comme le candidat selon eux devrait le faire.. pour moi c'est une boite #àfuir.
suffit de voir le r/linkedin pour en avoir le coeur net.
un recrutement = des échanges, des vérifications de connaissances, compétences, par voie orale exclusivement, ou en présentiel dans l'entreprise. Jamais en solo derrière ton ordi, c'est 100% de temps gaspillé sur le recruteur te répond "on prend quelqu'un d'autre"
les tests techniques via @web pour moi c'est une no go zone depuis des années. Et je suis loin d'être un cas unique de refus de ce genre de pratiques (comme l'indécente "vidéo de motivation" très tendance)
my 2 cents.
[^] # Re: test technique
Posté par gUI (Mastodon) . Évalué à 8 (+5/-0). Dernière modification le 04 novembre 2024 à 20:18.
Je valide à 100% (au moins).
Je suis dans un domaine où ça se pratique pas trop (logiciel embarqué), mais il y a qques années je suis tombé dans une boîte un peu refroidie par un recrutement raté (sur le plan technique mais aussi humain… un beau ratage). Du coup ils ont mis en place un "test technique" :
staticsur une variable ou sur une fonctionDu coup ça a été un échange d'1h environ, où d'ailleurs on a bien rigolé. Ce que je savais ça allait très vite, et ce que je savais pas précisément je disais des trucs comme "bon ça je le sais pas trop, je chercherais évidemment sur Internet tel et tel truc, mais à mon avis on doit pas être trop loin de blablabla".
J'ai pris le poste, ça s'est bien passé, bref cet entretien a eu son utilité, clairement, mais parce que il était vraiment adapté à ce poste, fait par l'équipe avec laquelle j'allais bosser tous les jours.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: test technique
Posté par octane . Évalué à 3 (+1/-0).
bah, je sais pas, ça me parait être une bonne illustration de ce que je vais faire par la suite. (le test c'était pas un fizzbuzz, hein, c'était de vrais bouts de codes à écrire/relire et des questions un peu plus ouvertes). Et l'entretien qui a suivi était intéressant, ça permet de poser des questions des deux côtés.
Je le prends pas comme ça. C'est pour un poste en remote, j'ai pas envie de prendre le train (le payer) et perdre une journée pour 2h d'entretien en début de processus. Le gars me file un devoir, il me dit "passe 2h dessus, pas plus de 4h".
Je vois un peu ce qui est demandé, s'il me faut 8h pour le faire, c'est déjà un signe, pareil s'il me faut 30mn. Là, fallait (entre autre) coder des trucs en java, d'où mon ami chatGPT. si ça avait été du fizzbuzz ou recoder un quicksort, j'aurai drop la candidature. La qualité de l'exercice demandé, ça va dans les deux sens :-)
je suis nul à l'oral, et un recruteur qui m'entend dire "bin euh, bin euh" ça va pas m'aider. Je file mon github, là, ça parle.
La vidéo de motivation -> poubelle.
[^] # Re: test technique
Posté par totof2000 . Évalué à 3 (+1/-0). Dernière modification le 05 novembre 2024 à 11:56.
Ca peut se faire en visio
En soi, qu'un candidat utilise une IA pour résoudre un problème n'est pas un problème en soi, tant que la personne a l'honnêteté de me le dire. L'IA est un outil que j'utilise moi-même, alors pourquoi devrais-je mépriser un candidat qui fait pareil?. En effet, si un candidat me remet du code dans un langage/domaine que je connais, je vais le challenger sur celui-ci, lui poser des questions sur ses choix techniques, savoir pourquoi il a fait ces choix, etc .. lui demander pourquoi il n'a pas utilisé telle autre solution. S'il a utilisé une IA, mais qu'il a compris ce que l'IA lui répondait, pour moi ça va. Par contre, s'il n'a fait que du copier/coller + adaptation à la marge, ça se sentira, et pour moi ce sera un nogo.
Ca dépend du contexte: si tu dois travailler en équipe, il te faut un minimum savoir communiquer avec les autres, expliquer ce que tu fais et pourquoi. L'époque ou les gens codaient leur projet seuls dans un garage est révolue. D'autre part, l'oral permet de savoir si tu as bien compris ce que tu fais ou non. Pour ma part quand je fais passer des entretiens techniques, j'essaie de mettre à l'aise la personne en face de moi, et je m'efforce d'être bienveillant, notamment quand je constate que la personne a des difficultés pour s'exprimer. Mon but n'est pas de lui faire passer un entretien de Français, mais avant tout de savoir s elle sait de quoi elle parle. Enfin, avoir une personne qui a des difficultés à l'oral, mais qui fait l'effort pour l'exercice, même ponctué de euh … euh, pour moi c'est un plus.
# Mon avis
Posté par gUI (Mastodon) . Évalué à 9 (+6/-0).
Au fond de toi tu le sais si t'as été un escroc ou juste un petit malin qui a gagné du temps. Tu sais aussi que mentir sur ses propres capacités c'est l'assurance d'un poste compliqué dans lequel tu prendras pas de plaisir.
Bref, si le poste te branche, prends-le. Tu raconteras plus tard à la machine à café comment t'as fait, le jour où ta crédibilité sera déjà installée.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: Mon avis
Posté par octane . Évalué à 2 (+0/-0).
il y a vraiment une frontière entre les deux?
[^] # Re: Mon avis
Posté par totof2000 . Évalué à 3 (+1/-0).
Bien sûr. Un escroc va chercher à te tromper et à te mentir. Certains escrocs sont des petits malins qui cherchent à gagner du temps, mais tous les petits malins qui cherchent à gagner du temps ne sont pas forcément des escrocs.
[^] # Re: Mon avis
Posté par fearan . Évalué à 4 (+1/-0).
Un escroc n'a pas les compétence et s'est servi d'une aide pour faire semblant, un petit malin à les compétences mais à utilisé une aide pour ne pas perdre du temps.
Le premier aura du mal à répondre aux attentes du projet, le second sera force de proposition et pourra s'intégrer correctement.
Le premier j'en veux pas, le second je prends.
Mais bon si un LLM a pu répondre aux questions c'est que les questions sont trop scolaires. Une bonne idée pour les baiser c'est de rajouter du bruit dans l'énoncé:
Age du capitaine, durée d'un Paris Lille en train et comparaison avec un trajet en voiture avec exemple de calcul de moyenne entre les deux; dans l'idéal il faut que ce bruit s'accorde bien à l'énoncé pour pas faire trop artificiel,
on peut aussi faire un truc qui est un poil moins scolaire, comme trier une liste dans l'ordre croissant puis inverser l'ordre entre le 2-(n-1). Tu peux aussi demander un tri selon une fonction bien alambiqué (nombre de majuscules - nombre de minuscule + valeur chiffres chiffres, mais si le cinquième caractère est un @ on ajoute 42).
Il ne faut pas décorner les boeufs avant d'avoir semé le vent
[^] # Re: Mon avis
Posté par arnaudus . Évalué à 2 (+0/-1).
Les LLMs sont quand même souvent capables de gérer pas mal de choses… Il ne faut pas partir du principe qu'ils ne savent répondre qu'à des requêtes simples.
Par contre, c'est très très difficile de repérer les manipulateurs (ce que tu appelles les escrocs), même pour un professionnel, et je pense que tu peux partir du principe que tu ne les repèreras pas, sauf par exemple si tu as l'impression que le candidat est "trop parfait" (il a deviné tes attentes et y a répondu sans aucun lien avec la réalité). Le seul moyen de confronter un manipulateur c'est des tests d'aptitude en conditions réelles (un entretien en anglais, 10 minutes devant un ordinateur et un bout de code à faire en temps réel et en expliquant, etc), même si un très bon manipulateur peut quand même s'en sortir (en te tirant les vers du nez sans que tu le réalises, ou en t'embobinant sur la raison pour laquelle il n'a pas pu faire le test—il ne faut jamais sous-estimer les capacités des escrocs à se tirer de situations apparemment inextricables). Mais dans les faits, le manipulateur se débrouillera toujours pour que tu n'aies pas recours à de tels tests. Du coup, à mon avis, la seule chose que tu peux faire est de garder en tête que quelles que soient les circonstances, il y a toujours une possibilité pour que la personne en face de toi soit un manipulateur (et surtout, ne jamais se convaincre que le candidat n'en n'est pas un).
# les tests lol
Posté par ash . Évalué à 2 (+1/-0).
Les tests techniques c'est juste du flan, soit c'est pipotisé comme tu le démontre soit c'est sur site donc en condition de stress pas représentatif du travail au quotidien.
Si on veut connaitre les compétences techniques de quelqu'un il y a ses dépôts git, mais c'est un peu plus de boulot pour le recruteur…
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.