Evaluation de la performance d'un jury sensoriel

Du panel, donc il y a une problématique importante aussi, savoir si le panel est performant. Donc dans les entreprises ou les laboratoires d'analyse sensorielle qui font du suivi de produits, ils ont des panels d'analyse sensorielle et assez régulièrement ils veulent s'assurer que le panel reste performant. Et si le panel devient un peu moins performant, éventuellement réentraîner les juges. Alors donc nous, on va s'intéresser à comment évaluer la performance d'un panel et la fonction de Sensominer qui permet de faire ça, ça va être la fonction qu'on appelle panel_perf pour panel performance. Alors c'est en fait une analyse de variance qui est réalisée dans un premier temps. Donc dans cette analyse de variance, on explique la note la note de saveur sucrée par exemple, en fonction d'un effet produit, un effet juge, un effet séance et les interactions juge-produit, juge-séance et produit-séance. Jusque-là c'est le même modèle que précédemment. Et donc on a un tableau récapitulatif avec toutes les probabilités critiques. Donc une ligne correspond à un descripteur et puis pour chaque descripteur on a réalisé l'analyse de variance, on a récupéré le test de l'effet produit, le test de l'effet juge, le test de l'effet session et le test de chacune des interactions. Et on a mis les probabilités critiques de chacun de ces tests pour chacun des descripteurs. Donc sur la première ligne, pour la saveur de lait, on a la probabilité critique de l'effet produit, de l'effet juge. Donc de l'effet produit, c'est 10⁻⁴⁰, 3 × 10⁻⁴⁰. Pour l'effet juge, 7 × 10⁻¹¹. L'effet séance, c'est pas significatif, 0,09. Produit-juge, 6,8× 10⁻³. Produit-séance, 0,118. Et juge-séance, 0,0154. Et dans ce tableau, alors la dernière colonne correspond à la médiane des probabilités critiques, ce qui nous intéresse pas trop dans ce cas-là. Les lignes du tableau sont triées descripteurs sont triés par probabilité critique croissante pour l'effet produit, donc le descripteur le plus caractérisant au moins caractérisant pour l'effet produit. Alors par rapport aux tests de tout à l'heure, on n'a pas exactement les mêmes valeurs. Par exemple, pour l'arôme de cacao, on n'a pas exactement la même probabilité critique parce qu'on a un test qui est réalisé cette fois par rapport à l'interaction produit-juge et par rapport à ce modèle-là. Tout à l'heure on n'avait pas exactement le même modèle. Alors qu'est-ce qu'on peut dire quand on voit ce tableau? Bien là-dessus on peut dire pas mal de choses par rapport à la performance du jury. Donc première chose, on voit que la colonne produit, toutes les probabilités critiques sont inférieures à 5%. Donc ça, ça veut dire que pour tous les descripteurs, le jury a réussi à voir des différences entre les produits. Ça veut dire que le jury n'est pas trop mauvais, il arrive à caractériser les produits. Et quand je dis qu'il arrive à caractériser, c'est qu'il met des notes différentes entre produits et c'est significatif. Ça veut dire qu'il y a une sorte de consensus entre les juges pour dire que certains produits ont des notes plus élevées que d'autres, moins élevées que d'autres. Les différences de notes, c'est pas lié au hasard parce qu'il y a eu des mesures faites par plusieurs juges à plusieurs séances et les différences entre produits sont suffisamment fortes pour pouvoir pouvoir affirmer qu'il y a un réel effet produit. Alors on peut voir aussi, c'est qu'il y a un effet juge pour tous les descripteurs. Donc ça veut dire ça, que le jury, on l'avait entraîné, il était un peu entraîné. Alors c'était pas des juges, c'était pas des grands experts, c'était des étudiants du cursus agroalimentaire, mais qui avaient quand même suivi 2 séances d'entraînement sur les saveurs fondamentales notamment. Et malgré ça, eh bien, il y a des différences d'utilisation de l'échelle. Il y en a qui mettent des notes plus élevées, tous produits confondus, plutôt plus élevées, et d'autres des notes plutôt plus basses. Donc ça, on le voit sur le jury étudiant, mais même sur des jurys bien entraînés, des jurys d'experts, on voit systématiquement cet effet juge. Donc ça, ça signifie que c'est indispensable de mettre l'effet juge dans le modèle, parce que sinon il va gonfler la résiduelle et on aura plus de mal à voir de différence. Donc c'est pas surprenant ici de voir un effet juge systématique. L'effet séance, il n'y en a quasiment pas, juste pour l'amertume. Et de toute façon, c'est pas un effet qui nous intéresse trop, donc là, bon ben, c'est pas une information sur laquelle on va s'attarder. Alors, produit-juge, l'interaction produit-juge, et là on voit qu'il y a pas mal de descripteurs pour lesquels il y a une interaction significative. Donc tous les juges n'évaluent pas les produits exactement de la même façon. Certains juges vont considérer que pour certains produits, il y a une saveur de lait qui est plus forte que ce que disent les autres juges, ou moins forte que ce que disent les autres juges. Donc il n'y a pas un consensus entre les juges. Alors là, on a vu tout à l'heure que pour l'interaction, s'il y a une interaction significative, il faut absolument aller regarder quel type d'interaction est-ce que Est-ce que c'est une interaction qui est problématique dans le sens où il y a par exemple des juges qui vont dire que la saveur d'un produit est très forte quand d'autres diront qu'elle est très faible? Ou bien est-ce que c'est juste un écart de notes qui est un petit peu différent mais globalement les juges rangent les produits dans le même ordre? Celui qui a une faible saveur de lait pour un juge, il a une faible saveur de lait pour tous les juges. Mais pour certains juges, la saveur de lait est proche de 0 quand pour d'autres elle est proche de 2 ou 3. Donc cette interaction-là, on va avoir besoin de la visualiser. Donc on verra après comment visualiser cette interaction qui peut être problématique.

Je vais faire une petite parenthèse ici sur l'interprétation de l'effet produit et sur l'interprétation de l'interaction produit-juge. Donc si on prend le premier descripteur sur la saveur de lait, il y a un effet produit qui est significatif, donc on a envie de dire que les juges arrivent à bien discriminer les produits ils sont en accord pour différencier les produits. Ils sont d'accord pour dire que certains produits sont avec une plus forte saveur de lait ou certains produits avec une plus faible saveur de lait. Comme il y a une interaction produit-juge, ça signifie également que les juges ne sont pas complètement en accord sur la description des produits. Donc il y a une sorte de petit paradoxe ici, mais en fait comme l'effet produit est testé par rapport à l'interaction produit-juge, cela signifie que les différences entre produits sont plus importantes que les petites différences de notation d'un juge à l'autre pour un même produit. Donc le fait de tester l'effet produit par rapport à l'interaction produit-juge, on fait ce test-là parce que l'effet juge est aléatoire, eh bien ça signifie que les différences entre produits sont très fortes et donc les juges arrivent à se mettre d'accord pour discriminer les produits.

La colonne produit-séance, eh bien on voit que pour quasiment tous les descripteurs il n'y a pas d'interaction produit-séance. Ça signifie que le jury est répétable dans son jugement. Il a caractérisé les produits, on a vu qu'il y avait une caractérisation des produits et des différences entre produits, et il n'y a pas d'interaction produit-séance, donc le jury caractérise les produits de la même façon aux 2 séances. Donc ça, c'est plutôt bien. Il y a juste un problème pour le descripteur sticky, collant. Donc là, il y a une interaction significative, donc il n'y a pas répétabilité du jugement entre la séance 1 et la séance 2. Donc ça, c'est effectivement problématique. Et là encore, il faudra qu'on aille voir ce qui se passe pour cette interaction produit-séance. Pourquoi est-ce qu'elle est significative? Et la dernière colonne, donc juge-séance, c'est juste une interaction qui permet de savoir si les juges utilisent l'échelle de notes de la même façon à chaque séance, mais ça on s'y intéresse pas trop. Pour récapituler, il y a un effet produit pour tous les descripteurs, donc il y a une discrimination des produits. Les juges voient des différences, des différences significatives entre les produits. Donc ça c'est intéressant dans une optique de caractériser les produits. Il y a un effet juge pour tous les descripteurs, donc une utilisation différente de l'échelle de notes, mais ça c'est vraiment pas problématique. Et puis il y a des effets séance et des interactions qui sont significatives pour certains descripteurs et pas pour d'autres. Si je vais plus dans le détail sur l'étude de la performance d'un juge ou d'un jury, donc un juge ou un jury est performant s'il met des notes bien différentes. Si je veux caractériser les produits, je veux que le juge mette des notes très différentes entre les produits. Alors c'est bien de mettre des notes très différentes, mais il faut aussi que ces notes très différentes soient répétables dans le temps. S'il évalue plusieurs fois, il faut qu'il émette mis des notes différentes et que ce soit les mêmes produits qui soient caractérisés comme ayant des notes élevées et les mêmes produits qui soient caractérisés comme ayant des notes faibles. Donc on veut discriminer beaucoup. Si je pousse à l'extrême, si un juge met toujours la même note quel que soit le produit, il met une note de 5 pour tous les produits, c'est pas du tout intéressant si je veux caractériser un ensemble de produits. Par contre, il peut être répétable, il met la note de de 5 à tous les produits à la première séance, note de 5 à tous les produits à la deuxième séance, il est parfaitement répétable, mais ça nous intéresse pas du tout parce qu'il n'a pas discriminé. Donc on veut à la fois bien discriminer et être bien répétable dans le temps. Un hôte qui discriminerait beaucoup, qui mettrait une note de 0 au produit 1 et 10 au produit 2, et à la deuxième séance qui ferait exactement l'inverse, 10 au produit 1, 0 au produit 2, ce serait complètement inintéressant. Il discriminerait beaucoup, il serait pas répétable, c'est pas intéressant. Donc ce qu'on veut, c'est les deux choses simultanément: bien discriminer et être bien répétable. Alors on peut étudier la répétabilité du jury, évaluer la répétabilité des juges dans leur ensemble. Alors la répétabilité des juges dans leur ensemble, je peux l'évaluer par l'interaction produit-séance dans le modèle. Donc si l'interaction produit-séance est significative, les juges dans leur ensemble, donc le jury, n'évaluent pas les produits de la même manière d'une séance à l'autre. Donc ça, c'est problématique. Car les juges ne seront pas répétables. Donc c'est simple pour évaluer la répétabilité de l'ensemble du jury, il suffit de regarder l'interaction produit-séance. Et donc là, j'ai repris la colonne qui correspondait à produit-séance et j'ai trié les probabilités critiques par ordre croissant. Donc on voit qu'il y a juste un descripteur qui pose problème, c'est le descripteur collant. Et donc pour ce descripteur, on peut se poser la question: tous les produits n'ont pas été évalués de la même façon aux 2 séances. Alors pourquoi? Est-ce que c'est parce que les juges n'étaient pas répétables? Ou alors c'est un descripteur qui est difficile et les juges n'ont pas réussi à bien répéter l'évaluation? Ce serait un peu surprenant parce qu'ils ont quand même réussi à caractériser les produits, à considérer que certains produits étaient peu collants et d'autres plus collants. Ou alors est-ce que certains produits ont été modifiés? Ça, c'est plus la la mise en place de l'expérience. Est-ce que par exemple il y a un chocolat qui était sorti du frigidaire plus tôt et donc il était plus collant à une séance et moins collant à une autre? C'est des hypothèses qu'on peut faire, qui sont difficiles à vérifier a posteriori. On peut faire quelques hypothèses, mais c'est pas forcément simple de savoir ce qui a pu se passer, pourquoi il n'y a pas répétabilité pour le descripteur collant. Mais par contre, pour tous les autres descripteurs, il n'y a pas de problème, le jury est répétable. Alors je vais rentrer un peu dans le détail de l'étude de l'interaction produit séance pour le caractère collant, pour le descripteur collant. Donc là c'est la fonction interact qui va m'estimer les interactions. Donc dans ce tableau vous avez les coefficients de l'interaction, donc les alpha bêta ik, produit i séance k. Alors la somme des alpha bêta ik est égale à 0 quand je somme sur les i. Pour un k donné ou quand je somme sur les k pour un i donné. Donc ça veut dire que la somme en ligne de chaque ligne vaut 0 et la somme en colonne vaut 0. C'est la contrainte du modèle d'analyse de variance qui implique ça. Alors ce qu'on voit, c'est qu'il y a des coefficients qui sont assez proches de 0. Par exemple, pour le chocolat 6, l'écart de notation entre la séance 1 et la séance 2 pour le chocolat 6 est très faible. Par contre, pour le chocolat 4, on voit qu'il y avait une valeur de +0,7 à la séance 1 et de -0,7 à la séance 2. Donc un écart de notes qui était de 1,4 point entre les notations à la séance 1 et à la séance 2 pour le chocolat 4. Autre façon de visualiser l'interaction, c'est de faire un graphe avec des lignes brisées. Donc comme tout à l'heure, si les lignes brisées sont parallèles, ça signifie qu'il n'y a pas d'interaction. Et tout écart au parallélisme montrera l'interaction. Alors la ligne brisée en rouge correspond à la séance 2, la ligne brisée en violet correspond à la séance 1. Donc ce qu'on voit, c'est que pour le chocolat 4, il y a un écart au parallélisme qui est très important. Donc on retrouve l'information que le chocolat 4 a été évalué de façon très différente à la séance 1 et à la séance 2. Alors comment sont faites les lignes brisées ici pour le chocolat 5 par exemple? Vous avez en abscisse la moyenne des notes du chocolat 5, tous juges et toutes séances confondues. Et puis le point en violet correspond à la séance 1 et correspond donc à la moyenne des notes du chocolat 5, tous juges confondus, pour la séance 1 seulement. Et en rouge, c'est la moyenne des notes du chocolat 5, tous juges confondus, pour la séance 2 uniquement. Le graphe permet de voir quels sont les chocolats qui ont de faibles Le chocolat 5 a tendance à avoir de faibles valeurs et le chocolat 3 a tendance à avoir des valeurs élevées. Donc ça, c'est les abscisses qui nous disent ça. Et puis après, on voit les différences qu'il peut y avoir entre la séance 1 et la séance 2. Et là, on voit clairement que pour le chocolat 4, il y a une très grande différence entre les notations à la séance 1 et à la séance 2. Et c'est ça qui va fortement contribuer à l'interaction. Est-ce que pour ce chocolat, il y a eu un problème lors d'une des séances? C'est difficile vraiment d'y répondre maintenant, mais on peut suspecter un problème pour ce chocolat particulier. Une autre façon de faire, c'est d'essayer de quantifier la contribution à l'interaction de chacun des produits. Quels sont les produits qui contribuent le plus à l'interaction? Pour calculer la contribution d'un produit à l'interaction produit-séance, Bien, je vais calculer la somme des coefficients au carré. La somme des coefficients correspond aux produits qui m'intéressent, donc au produit i par exemple. Pour le produit i, je calcule la somme des coefficients au carré, des alpha bêta ij au carré. Les coefficients de chacune des séances, je les élève au carré et je fais la somme. Donc globalement, s'il n'y a pas d'interaction qui concerne ce produit, s'il n'y a que des zéros alpha bêta i1, alpha bêta i2, alpha bêta i3, etc. Est égal à zéro, ça voudra dire que ce produit i ne contribue pas à l'interaction. Et s'il y a des coefficients qui sont très différents de zéro, eh bien ça va contribuer à l'interaction. Donc je regarde la somme des coefficients qui concernent le produit i et je divise par la somme des coefficients, de tous les coefficients qui concernent tous les produits. Et donc en faisant ça, eh bien je peux construire un diagramme en barres pour visualiser les contributions Et on voit ici clairement qu'il y a un produit qui contribue très fortement à l'interaction. Alors comment est-ce qu'on va analyser ce genre de diagramme? Ce qu'on va se dire, c'est que s'il y a une interaction et que toutes les barres sont à peu près de la même hauteur, ça veut dire qu'il n'y a aucun produit qui contribue particulièrement à l'interaction. Et donc il y a une interaction qui est présente mais qui n'est pas liée à un produit particulier. Et quand on est dans le cas de notre exemple, Mais on voit qu'il y a un produit qui contribue très fortement à l'interaction. Dans ce cas-là, on peut suspecter un problème sur ce produit particulier. Est-ce qu'il n'y a pas eu un changement sur ce produit? C'est certainement ce chocolat qui contribue et qui fait qu'il y a une interaction significative. Alors je peux m'intéresser aussi à la répétabilité des juges. Donc est-ce que les juges dans leur ensemble sont répétables? Pour le jury, je m'intéressais à produit-séance. Pour les juges, j'ai envie de m'intéresser à l'interaction produit-séance-juge. Est-ce que les produits lors des différentes séances par les différents juges sont évalués de la même façon? Mais ça, c'est impossible parce que je peux pas construire un modèle avec l'interaction produit-séance-juge, parce que pour une combinaison des 3 facteurs produit-juge-séance, j'ai qu'une seule donnée, j'ai pas de répétition. Donc je peux pas mettre cette interaction triple dans le modèle et avoir une résiduelle Et donc je peux pas faire de test sur cette interaction triple. Donc impossible d'étudier le premier modèle. Alors autre idée, c'est qu'on peut travailler juge par juge et se dire, bien, je vais m'intéresser à un juge et je vais voir si ce juge est répétable. Dans ce cas-là, je récupère les données uniquement d'un seul juge, un juge qui a évalué tous les produits lors de 2 séances. Donc j'ai 6 produits, 2 séances, je m'intéresse à un jeu de données avec 12 données. Et là, eh bien, j'aurais envie de tester le modèle produit+ séance+ l'interaction produit-séance et d'avoir ce modèle pour chacun des juges. Là encore, c'est impossible parce que j'ai pas de répétition. Un même juge, un même produit à une même séance, j'ai une seule donnée. Donc la seule chose qu'on puisse faire, c'est d'évaluer la répétabilité des juges à travers la variance résiduelle. La variance résiduelle du modèle global, la résiduelle c'est en fait l'interaction triple produit/juge/séance. Donc si la variance résiduelle est faible, ça signifie que l'interaction produit/juge/séance est assez faible. Ça c'est juste qualitatif, juste descriptif, il n'y a aucun test possible. La seule chose que je puisse faire, c'est éventuellement comparer la variance résiduelle d'un descripteur à l'autre. Ou alors si je travaille juge par juge, je peux comparer d'un juge à l'autre la variance résiduelle, ou d'une étude à l'autre éventuellement. Donc là j'ai comparé la variance résiduelle du modèle complet d'un descripteur à l'autre. Alors c'est pas la variance résiduelle que j'ai mise mais l'écart-type résiduel, parce que l'écart-type c'est dans les mêmes unités que les données initiales. Donc le descripteur qui a la répétabilité la plus forte, c'est sur la saveur de cacao. Sur la saveur de cacao, la saveur de vanille, saveur de lait, c'est là qu'on a les écarts-types résiduels les plus faibles. Les juges évaluent de façon plus précise. Et les descripteurs les plus difficiles, où la variance est la plus importante, c'était sur l'odeur de lait, le granuleux, l'odeur de cacao, le collant. On a des variances résiduelles qui étaient plus fortes. Alors, si je m'intéresse à la performance d'un juge, toujours, donc quel peut être l'objectif d'évaluer, d'étudier la performance d'un juge? Éventuellement, si on veut sélectionner les juges les plus performants pour constituer un panel d'experts. Imaginons qu'on ait 29 étudiants ici et qu'on se dise, bien, on va prendre les meilleurs pour former un panel, un vrai panel, et donc on veut prendre les 12 meilleurs juges pour constituer un panel. Donc ça, c'est un premier objectif. L'objectif le plus fréquent dans l'évaluation de la performance d'un juge, c'est plutôt pour essayer de voir s'il ne faut pas qu'un juge se réentraîne sur certains descripteurs. On voit qu'un juge n'est plus trop performant sur certains descripteurs, on va lui demander de se réentraîner. Alors quand est-ce qu'un juge est performant? C'est toujours pareil, s'il discrimine beaucoup, C'est ce qu'on disait pour le jury, il faut qu'il donne des notes très différentes. Il faut qu'il soit répétable dans le temps, d'une séance à l'autre il faut qu'il dise la même chose. Et ce qu'on demande aussi à un juge, c'est qu'il soit en accord avec ce que dit le jury. On pourrait être très répétable et ne pas bien évaluer le descripteur qui est demandé. Un juge qui confondrait par exemple acidité et amertume, on lui demande d'évaluer l'amertume et il met des notes d'acidité, il est bien répétable, C'est pas très intéressant comme information quand nous on est en train de lui demander l'amertume, d'évaluer l'amertume. Donc quelque chose en plus par rapport à un jury, c'est demander au juge d'être en accord avec les notes mises par les autres membres du jury. Alors maintenant je m'intéresse uniquement à la performance d'un juge donné. Donc si je m'intéresse à la performance d'un juge donné, je vais utiliser les notes mises par ce juge uniquement. Donc je vais récupérer les 12 notes, 6 produits par 2 séances, mises par un juge. Et à partir de ces notes-là, je vais construire le modèle: la note de saveur sucrée, par exemple, expliquée en fonction de l'effet produit plus éventuellement l'effet séance. Et je vais m'intéresser à l'effet produit. Est-ce que le juge arrive à mettre en évidence un effet produit ou pas? D'accord, s'il arrive à mettre en évidence un effet produit, c'est qu'il arrive à différencier les produits et qu'il est plutôt performant. Si je rentre plus dans le détail du test de l'effet produit, le test de l'effet produit, on a vu tout à l'heure, c'est la variabilité de l'effet produit sur la variabilité résiduelle. Si je regarde le numérateur, dans le numérateur, la variabilité de l'effet produit est grande si les produits sont bien discriminés. Si le juge a réussi à mettre des notes très différentes d'un produit à l'autre, dans ce cas-là, il y aura une variabilité de l'effet produit qui sera grande. Ça, ça répond au premier objectif de la performance d'un juge: on veut que le juge soit discriminant. Donc ce sera le cas si le numérateur de la statistique ici est très grand. Le dénominateur, c'est la variabilité résiduelle. Alors la variabilité résiduelle ici, ça correspond à quoi? Quand j'ai mis dans le modèle produit+ séance, ce que j'explique pas, c'est en fait l'interaction produit-séance. Alors cette interaction produit-séance, elle est petite, donc la résiduelle est petite si l'interaction est petite, c'est-à-dire si le juge est très répétable dans le temps. L'interaction produit-séance, c'est petit si le juge évalue les produits de la même façon à chaque séance. Donc si le dénominateur est petit, ça veut dire que le juge est bien répétable, qu'il y a une interaction produit-séance qui est petite, et donc le juge est bien répétable. Donc dénominateur petit, j'évalue la répétabilité du juge. Et donc finalement, ce test F évalue à la fois la le caractère discriminant et le caractère répétable. Un grand F correspondra à un juge qui discrimine beaucoup et qui est répétable, et donc qui est très performant. L'autre caractéristique qu'on veut, c'est que le juge soit en accord avec ce que disent l'ensemble des membres du jury. Alors ce qu'on va faire, c'est qu'on va comparer les moyennes ajustées d'un juge, donc c'est-à-dire les notes moyennes que met le juge pour chacun des produits, Donc j'ai un vecteur avec les notes moyennes mises par le produit j ici, et je vais comparer ça aux notes moyennes mises par l'ensemble du panel. Donc je vais juste utiliser la moyenne ajustée des notes de l'effet produit pour le panel, la moyenne ajustée, donc la note moyenne mise par l'ensemble du panel pour chacun des produits. Et donc j'ai les notes mises par le juge j, les notes mises par l'ensemble du panel, et je veux voir si ces notes sont en accord ou pas. Alors comment évaluer si les notes sont en accord? Là je suis en train d'avoir 2 variables quantitatives et je veux qu'elles soient très liées, donc je vais utiliser le coefficient de corrélation. Si le coefficient de corrélation entre les notes du juge et les notes du panel est très élevé, très proche de 1, ça voudra dire que le juge met des notes basses quand le panel met des notes basses et des notes hautes quand le panel met des notes hautes. Donc ça veut dire que le juge est en accord avec l'ensemble du panel. Et puis si le coefficient de corrélation se rapproche de 0, ça veut dire que le juge note de façon complètement indépendante par rapport au panel. La fonction qui permet de faire ça, c'est la fonction paneliperf. Alors là, je vous conseille de l'utiliser plutôt que de faire les calculs à la main parce que des analyses de variance, il y a 29 lignes qui correspondent aux 29 juges et 14 descripteurs. Donc ici, il y a 29 fois 14 analyses de variance qui ont été réalisées. On n'a récupéré que les notes d'un juge et on fait l'analyse de variance pour un descripteur. Et on répète ça 29 fois 14 fois. Ça prend un tout petit peu de temps, mais ça va quand même beaucoup plus vite que si vous le faites à la main. Le tableau qui ressort ici, c'est un tableau avec juste les probabilités critiques de l'effet produit. Donc c'est cette information-là qui nous intéresse dans un premier temps pour évaluer la capacité à discriminer et à être répétable. Donc c'est la probabilité critique de l'effet produit. Les cases sont coloriées quand la probabilité critique est inférieure à 5%. Il y a 2 couleurs ici. En rose, c'est probabilité critique entre 1% et 5%, et en rouge, c'est inférieur à 1%. Par exemple, pour le juge 16, vous avez pour la saveur de lait une probabilité critique de 0,024. Donc le juge 16 a réussi à caractériser les produits par rapport à la saveur de lait. Il voit des différences et il est répétable. Même chose, il a réussi pour le croquant avec une valeur de 0,044. Alors le diagramme ici, l'histogramme ici, pardon, montre qu'il y a beaucoup de probabilités critiques qui sont inférieures à 5%. Il y a beaucoup de juges qui ont réussi à caractériser les produits, ce qui n'est pas forcément facile parce qu'on n'a pas beaucoup de notes. On n'a que 12 notes ici mises par chaque juge et on doit évaluer pas mal de paramètres. Et malgré ça, bien, les juges globalement sont plutôt performants. Alors les données ont été, les lignes ont été triées. Elles ont été triées en fonction de la médiane ici. La médiane, c'est la médiane des probabilités critiques. Alors on prend la médiane plutôt que la moyenne parce que si on avait juste une probabilité critique qui était de 0,8 par exemple, ça augmente très fortement la moyenne par rapport aux autres probabilités critiques. Donc on va plutôt s'intéresser à la médiane des probabilités critiques. Et donc le juge 16 était le juge le plus performant par rapport à ce critère. Et on voit effectivement qu'il est discriminant sur beaucoup de descripteurs. Et même chose, les descripteurs ont été triés. Les descripteurs qui sont sur la gauche sont les descripteurs plus faciles. Il y a beaucoup plus de juges qui ont réussi à discriminer par rapport à ce descripteur par rapport aux descripteurs de droite qui sont plus difficiles. Et puis un dernier tableau où on a les coefficients de corrélation, donc le tableau qui permet de voir le consensus entre ce que dit le juge et ce que dit le panel. Donc les corrélations proches de 1 signifient que le juge est en accord avec ce que dit le panel. Donc toutes les cases qui sont en bleu, le coefficient est supérieur à 0,8, donc globalement une forte corrélation. Alors on voit que là, par exemple, le juge 16 est en accord avec le jury. 0,86, 0,91 pour le croquant, donc il est en accord avec le jury. Alors on voit que des fois il y a des juges, le juge 15 par exemple, pour le caractère granuleux, il y a un coefficient de corrélation de -0,81. Donc là on peut se demander s'il n'a pas compris le descripteur à l'envers. Il a mis une note forte sur le granuleux quand c'était pas granuleux et une note faible quand c'était très granuleux. Toutes les cases qui sont en rose ou rouge, c'est des coefficients de corrélation négatifs, donc là il y a quand même un problème. De consensus entre ce que dit le juge et ce que dit le jury. Donc avec ça, on a une évaluation de la performance du juge à la fois pour capacité à discriminer, à être répétable et à être consensuelle. Donc toujours dans l'étude de l'évaluation de la performance d'un juge ou d'un jury, je peux m'intéresser à la reproductibilité des juges. Donc la reproductibilité, c'est est-ce que les juges disent la même chose? Est-ce que d'un juge à l'autre on a la même information? Et donc ça, on a vu qu'on pouvait l'évaluer, la reproductibilité, par l'interaction produit-juge. Alors juste des petits commentaires sur les mots que j'utilise: répétabilité pour produit-séance et reproductibilité pour produit-juge. Répétabilité, c'est le plus souvent une répétabilité dans le temps, donc c'est un même un même appareil de mesure ou un même jury qui évalue à plusieurs moments différents. Donc là, on va parler de répétabilité. Reproductibilité, c'est des jurys différents ou ici des juges différents qui évaluent. Donc on demande à des appareils de mesure, ici des juges, d'évaluer un même phénomène. Là, on parle de reproductibilité. Alors j'ai ici trié les probabilités critiques de l'interaction produit-juge, de la probabilité critique la plus faible à la probabilité critique la plus élevée. Et donc il y a des probabilités critiques qui sont inférieures à 5% pour les premiers descripteurs. Donc les premiers descripteurs sont des descripteurs qui sont plutôt difficiles parce qu'il n'y a pas de consensus entre les juges. Alors on verra après, est-ce que c'est des descripteurs qui sont vraiment difficiles Est-ce que les juges voient les produits de façon très différente ou alors est-ce que c'est juste une utilisation des notes extrêmes qui est différente d'un juge à l'autre? On verra ça en étudiant plus en détail l'interaction. Et puis il y a des descripteurs pour lesquels il y a un plutôt fort consensus entre les juges. C'est des descripteurs qui n'ont pas d'interaction produit-juge. Alors si je regarde les contributions à l'interaction, je peux regarder les contributions par juge. Ou par produit. Donc par juge, je vais regarder les coefficients de l'interaction d'un même juge, je fais la somme au carré des coefficients du juge sur la somme de tous les coefficients, et puis par produit, je vais sommer pour tous les juges. Alors si je regarde par exemple pour ce descripteur melting, là ce qu'on voit, c'est qu'il n'y a pas un juge particulier qui contribue très fortement à l'interaction. Il y a bien évidemment des juges qui contribuent plus que d'autres, Il y a 5 juges ici qui ont des barres qui sont un peu plus élevées que les autres, mais finalement c'est pas très extrême. Donc il n'y a pas quelques juges qui contribuent très fortement à l'interaction. S'il y avait quelques juges qui contribuaient très fortement à l'interaction, ça voudrait dire que ces juges-là notent de façon très différente par rapport aux autres, et ça voudrait peut-être dire qu'ils ont mal compris le descripteur. Donc là, c'est pas le cas, il y a une interaction mais qui n'est pas spécifique à certains juges. Même chose, il n'y a pas un produit particulier qui contribue très fortement à l'interaction. Il y a quelques produits qui contribuent un peu plus, le chocolat sain contribue un peu plus, mais il n'y a rien de très particulier. Globalement, les coefficients sont à peu près du même ordre de grandeur quel que soit le produit, quel que soit le juge. Alors ici, ce que j'ai fait, c'est que j'ai testé un modèle avec en plus des effets précédents, les effets produit, juge, séance et les interactions, j'ai rajouté le l'effet du rang, d'accord, du rang de dégustation, pour voir s'il y avait un effet du rang de dégustation. Alors vous voyez que pour 5 descripteurs, il y a un effet du rang de dégustation. Alors ça signifie quoi un effet du rang de dégustation? Ça veut dire que la note n'est pas la même selon qu'on évalue un produit au rang 1 ou au rang 2. Et ça, c'est quel que soit le produit qu'on est en train d'évaluer. Si je suis en train de l'évaluer au rang 1, je vais avoir tendance à mettre des notes plus élevées. Ou plus faible. Les notes sont significativement différentes juste par le fait qu'on évalue le produit au rang 1 ou au rang 2. Donc là, est-ce que c'est problématique ou pas ça? Alors c'est problématique, mais pas dans notre cas. Dans notre cas, en fait, on a fait un bon plan d'expérience avant où on a bien dissocié l'effet du rang et l'effet produit. Si je viens plus dans le détail de l'effet rang, donc J'ai vu globalement qu'il y avait des effets rangs pour certains descripteurs. Maintenant, je peux regarder quels sont les rangs qui sont impliqués. Donc en ligne, vous avez les rangs, et puis en colonne, les descripteurs qui posaient problème. Donc j'ai repris les 5 descripteurs qui posent problème, et vous avez les coefficients donc de l'effet rang. Vous voyez que, alors il y a une petite étoile quand le coefficient est significativement différent de 0. Donc vous voyez que pour tous les descripteurs qui posent problème, il y a un effet du rang 1. Donc ça veut dire que, par exemple, pour le caractère sucré, il y a une note de -1, -1,11 en moyenne quand le produit est évalué au rang 1. J'évalue un produit, ça peut être un produit très sucré, ça peut être un produit peu sucré, mais quand je l'évalue, j'ai tendance à mettre une note inférieure de 1,11 point quand j'évalue le produit au rang 1. Quel que soit le produit que je suis en train d'évaluer, je sous-estime la note de sucré par rapport à un produit qui serait évalué au rang suivant. Pour la saveur vanille, je sous-estime la note de -0,71. Pour l'odeur de cacao, j'ai tendance à trouver les chocolats avec une forte odeur de cacao quand ils sont évalués au rang 1. 0,92 point de plus quand ils sont évalués au rang 1 par rapport à un autre rang. Là encore, c'est quel que soit le produit que je suis en train d'évaluer. Donc vous vous doutez bien que si on avait toujours évalué le même produit au rang 1, on aurait surestimé fortement sa note. C'est vraiment indispensable d'avoir un plan d'expérience qui soit bien construit. Donc l'astringence, même chose, on sous-estime, et le granuleux, on sous-estime. Et globalement, il n'y a quasiment qu'au rang 1 que les notes sont significativement différentes de 0. Alors il y en a de-ci de-là qui ont des probabilités critiques qui sont inférieures à 5%, des coefficients significatifs, mais bon, comme on a fait beaucoup de tests, c'est pas surprenant d'avoir de temps en temps des des coefficients significatifs. Par contre, le fait de les avoir systématiquement au rang 1, c'est pas lié au hasard. Donc le rang 1 contribue beaucoup à l'effet rang, et on peut imaginer faire des tests avec juste, est-ce qu'il y a un effet du premier produit dégusté contre un effet du produit qui n'est pas dégusté en premier? Donc ça, ça peut être intéressant aussi. Et puis bien là, c'est ce que vous vous disiez, vous étiez en train de dire, heureusement que le plan d'expérience était équilibré. Et qu'on avait bien dissocié l'effet rang de l'effet produit parce que sinon, eh bien, le premier produit dégusté aurait eu une note très surestimée par exemple ou sous-estimée pour certains descripteurs. Pour le descripteur sucré, l'effet rang c'est -1,11, donc si c'était toujours le même produit dégusté en premier rang, il aurait eu tendance à avoir des notes plus faibles attendu. Donc le fait d'avoir changé l'ordre de dégustation, c'est essentiel. Le problème ici, c'est que l'efferrant, on ne le sait qu'a posteriori s'il y en a un ou pas. Une fois qu'on a fait les analyses, on sait qu'il y a un efferrant. Eh bien, s'il y a un efferrant, on se dit qu'il fallait faire un plan d'expériences. Mais bon, le choix de faire un plan d'expériences bien équilibré, il faut le faire en amont. Alors l'effet précédent, donc c'est l'effet du produit dégusté précédemment. Donc là encore, il y a quelques descripteurs pour lesquels il y a un effet du précédent. Donc les descripteurs sont les descripteurs de saveur de cacao, saveur de lait, saveur sucrée et odeur de cacao. Et pour les autres, il n'y a pas d'effet du produit dégusté précédemment. Alors pour le produit précédent, on voit qu'il y a déjà l'effet du premier produit dégusté. La modalité 0 ici, c'est quand il n'y avait pas de produit dégusté précédemment. Donc il y a un effet premier qu'on retrouve ici, mais il y a d'autres effets. On voit par exemple que le chocolat Excellence, quand on déguste le chocolat Excellence, le chocolat d'après, on a tendance à sous-estimer l'odeur de cacao de 0,77 point. Et ça, c'est significatif. On a tendance à surestimer La saveur sucrée de 0,60 points. Donc comment est-ce qu'on peut expliquer ça? Bien, quand on a dégusté le chocolat Excellence, voilà, on augmente la note. L'explication, c'est qu'en fait le chocolat Excellence, c'est un chocolat qui est très peu sucré. Alors si vous reprenez le tableau qui décrit les chocolats, donc le chocolat 1 Excellence, il est très peu sucré, il a une très forte odeur de cacao. Une saveur de lait très faible et une saveur de cacao qui est très forte. Et on voit que quand on déguste un chocolat après le chocolat Excellence, eh bien, on a tendance à sous-estimer l'odeur de cacao. Mais en fait, le chocolat Excellence a une très forte odeur de cacao, et donc celui d'après, on a l'impression qu'il a une odeur de cacao qui est assez faible, d'accord, parce qu'il y a un arrière-effet. On a en tête plus ou moins le chocolat qu'on a dégusté précédemment, le chocolat Excellence qui a une très forte odeur de cacao, et après donc on a tendance à mettre une note plus faible pour l'odeur de cacao. Pour le sucré, c'est l'inverse. Le chocolat Excellence est très peu sucré et donc on voit que le chocolat d'après paraît beaucoup plus sucré, un peu par comparaison. Donc là encore, c'est important de modifier l'ordre de présentation des chocolats, que ce ne soit pas toujours le même chocolat derrière le chocolat Excellence. Donc nous, comme notre plan d'expérience était bien équilibré, il n'y a pas de problème. Alors si je récapitule un petit peu les analyses ici, on voit qu'il y a un effet produit qui est significatif. Donc ça, c'était très intéressant. Ça veut dire que les produits sont bien discriminés par tous les descripteurs. Donc les juges ont réussi à être suffisamment consensuels pour trouver des différences entre entre les produits. Ensuite, il y a un effet juge qui est toujours significatif. Ça, c'est pas très grave. Les juges utilisent l'échelle de notes de façon différente, mais c'est pas gênant quand on s'intéresse à une description, caractérisation des produits. L'effet séance, c'est la même chose. Il y a une utilisation de l'échelle de notes qui est un peu différente d'une séance à l'autre. La moyenne des notes n'est pas exactement la même, tous produits, tous juges confondus, d'une séance à l'autre. Mais ça, c'est pas vraiment gênant. Il y a un effet rang et un effet premier qui sont parfois significatifs. Donc là, ça veut dire que c'est essentiel d'avoir eu un plan d'expériences équilibré. Alors si le plan d'expériences est déséquilibré, le pire, c'est qu'on ne peut pas différencier l'effet du rang et l'effet du produit. C'est bien ça le problème, c'est que c'est impossible de savoir ce qui est dû à l'effet rang et ce qui est dû à l'effet produit. Donc ça veut dire qu'en fait, on n'a vraiment pas le choix. Quand on fait une analyse sensorielle, il faut absolument rendre orthogonaux, ne pas confondre les effets rang et produit. Précédent et produit. Il y a des interactions, il y a une interaction produit-séance qui est significative, donc pour un descripteur, le descripteur collant, les juges n'étaient pas parfaitement répétables, donc ça c'est plutôt problématique. On suspecte notamment un produit, le produit 4, pour lequel il y avait une interaction, un coefficient de l'interaction qui était élevé, mais après voilà, on n'a pas vraiment d'explication pourquoi ce coefficient était élevé. Il y a des interactions produit-juge qui sont parfois significatives pour certains descripteurs. Donc pour certains descripteurs, il n'y a pas un consensus parfait entre les juges. Alors on peut aller voir après plus dans le détail avec les lignes brisées, mais ici on a 29 lignes brisées, une ligne brisée par juge, et donc les graphes sont difficilement lisibles pour voir si globalement les juges évaluent les produits à peu près de la même façon quand même. Donnent à peu près le même ordre pour les produits, avec éventuellement des écarts de notes différents, mais à peu près le même ordre dans les produits. Et puis l'interaction juge-séance est parfois significative, parfois pas, et ça c'est vraiment pas grave. Donc voilà pour l'évaluation de la performance des juges.