The Judgement of Paris (5): The Tasting Data have a Consistency like a Table of Random Numbers

Bouteille-sur-tete„Ein Vergleich der Ränge von 18 Weinen von gut zu schlecht zeigt ungefähr soviel Konsistenz wie eine Kolonne von Zufallszahlen.“ Das ist ein zentraler Satz, mit dem Roger Downey in Wine snob scandal einen Teil der umfangreichen Sensorikstudien von Frédéric Brochet (La dégustation – Etude des représentations des objets chimiques dans le champ de la conscience) auf den Punkt bringt. Das muss man sich erst mal auf der Zunge zergehen lassen (Zufällige Zahlen!).

„Un confronto dei ranghi di 18 vini da buono a cattivo evidenzia una consistenza simile a quella di una tabella di numeri casuali.“ Questa è una frase centrale con la quale Roger Downey in Wine snob scandal riassume una parte degli ampi studi sensoriali di Frédéric Brochet (La dégustation – Etude des représentations des objets chimiques dans le champ de la conscience). Questa frase bisogna veramente assaporare (numeri casuali!).

Tatsächlich unterscheiden sich auch Experten aus ähnlichen (Wein-) Kulturkreisen in ihren Präferenzen, die allermeisten geben gerne auch recht verschiedene Urteile, wenn sie den gleichen Wein am selben, und noch mehr, an verschiedenen Tagen bekommen. Die Kosturteile sagen mehr über die Koster als über die Weine aus. Setzt man die Kostkommission nur ein bisschen anders zusammen, wird man ziemlich andere Ergebnisse in Bezug auf die Reihenfolge haben. Das alles musste ich selbst zur Kenntnis nehmen; die in den bisherigen Folgen dieser Serie dargelegten Beispiele aus erster Hand sprechen eine klare Sprache.

In effetti anche degustatori estratti dallo stesso contesto enoico si distinguono nelle loro preferenze, la maggioranza di loro dà valutazioni che si discostano se i vini vengono ripetuti, ancora di più se vengono proposti il giorno dopo. I risultati caratterizzano di più i degustatori che i vini. Se si varia già di poco la composizione della commissione si avranno classifiche finali nettamente diverse. Tutto questo ho dovuto verificare io stesso; i risultati di prima mano pubblicati le puntate precedenti parlano una lingua molto chiara.

Dass für alle Weine Chanchengleichheit herrscht (komplette Randomisierung der Probenfolge zwischen und innerhalb der Koster) und dass Juroren, welche an jenem Tag wirklich fast nur zufällige Urteile abgeben, herausgeholt werden, war sicherlich ein bedeutsamer Fortschritt, zu dem stehe ich nach wie vor (auch wenn dieser Ansatz kaum Nachahmer gefunden hat). Das grundlegende Problem der individuell verschiedenen Bevorzugungen wird dadurch aber nicht gelöst.

Garantire per tutti i vini pari opportunità (completa randomizzazione tra i degustatori ed all’interno delle loro serie) e non considerare i giudici la cui forma giornaliera ha prodotto risultati vicini alla casualità, è stato sicuramente un progresso significativo. Ne sono tuttora convinto anche se il modello proposto viene utilizzato da quasi nessuno. Però il problema di base, cioè le preferenze così tanto discordanti, con ciò non si è risolto. 

Ist dann jedes Expertenurteil total umsonst, regiert der Zufall total? Meiner Meinung nach nicht, die Ansprüche an die Ergebnisse müssen aber gehörig herabgestuft werden. Ich vergleiche inzwischen das Endergebnis — wesentlich entspannter als noch vor Jahren — mit einem Gruppenfoto. Wir lächeln alle in die Kamera, die Unterschiede unserer Attraktivität sind klein, wir unterscheiden uns nicht so stark wie im unbeobachteten täglichen Leben. Aber keine Aufnahme wird genauso so sein wie die vorige oder die nächste: einmal hat jeder die Augen gerade geschlossen oder den Blick nach unten gerichtet. Der verantwortungsvolle Fotograf wird im Sinne der oben genannten Chanchengleichheit schauen, dass die kleineren unter uns nicht immer von den größeren zugedeckt werden, dass nicht immer die gleichen am undankbaren Rand stehen, aber mehr Konstanz in die Bilderfolge wird auch er nicht bringen.

Ma allora tutti le valutazione fatte dagli esperti sono totalmente inutili, la casualità regna in modo assoluto? Secondo me no, ma le aspettative nei confronti dei risultati devono essere ridimensionate di moltissimo. Ormai, molto più rilassato di una volta, paragono i risultati di una commissione di degustazione con una foto di gruppo. Sorridiamo tutti davanti alla macchina fotografica, le differenze tra le nostre attrattive sono piccole, non ci distinguiamo così nettamente come nella vita quotidiana quando siamo inosservati. Ma nessuna ripresa sarà uguale alla precedente ed alla seguente: una volta qualcuno avrà gli occhi chiusi, in un altro instante qualcuno guarda verso il basso. Un fotografo responsabile per rispettare la parità delle opportunità menzionate prima baderà che i più piccoli tra di noi non verranno sempre nascosti dai più alti, che non sempre i soliti staranno agli spiacevoli bordi. Ma non riuscirà a rendere più costante le foto. 

Sollte der inzwischen altersbedingt ausgeschiedene Präsident einer nationalen Önologenvereinigung recht haben, machen, ich und verschiedene andere, uns einfach gesagt zu viele und total unnötige Sorgen zum Thema. Im Laufe eines bedeutsamen Kongresses, wo ich über das Thema referierte, nahm er mich nach dem Vortrag zur Seite und meinte väterlich: „Das ist ja alles ganz nett, was sie da herausgefunden haben und wie sie für mehr Gerechtigkeit sorgen wollen. Aber es interessiert nicht wirklich jemanden, wie seriös ein Wettbewerb abgelaufen ist. Wichtig ist, dass es einen Sieger gibt und in der Folge wieder über Wein gesprochen wird.“
Amen.

Se l’ex presidente di un’associazione nazionale di enologi avesse ragione, io ed altri ci preoccupiamo troppo ed inutilmente della tematica. All’occasione di un importante congresso dove tenevo una relazione sull’argomento, mi prese da parte e mi disse con pacatezza paterna: „È carino quello che ha scoperto e come vuole garantire più giustizia ai vini partecipanti. Ma non interessa veramente qualcuno con quale serietà si è svolto un concorso. L’importante è che ci sia un vincitore e che di conseguenza si parli nuovamente di vino.“
Amen.

Photo source: abrutis.com

3 Gedanken zu „The Judgement of Paris (5): The Tasting Data have a Consistency like a Table of Random Numbers

  1. Hallo Armin
    Kurzer und ergänzender Kommentar von mir zu den Ausführungen meines Prüfungskollegen Andreas G. Hempel.
    Die Individualität der Degustationsaussagen ist ein sehr wichtiges Kriterium, solange sie von Personen kommen,
    die wirklich wissen von was sie reden. Daher macht es grossen Sinn ein solches Prüfungsgremium mit Menschen
    unterschiedlicher Herkunft (Land, Weingegend, Beruf, Alter, Geschlecht usw.) zu besetzen. Dabei erhält man eine
    Vielzahl von Wertungen, die im Gesamtbild wirklich eine repräsentative Aussage ergeben.
    Übrigens wollte ich dir – ich war ja mit meinem Weinfreundekreis Dreiländereck aus der Schweiz bei dir zu Besuch –
    sagen, dass ich immer mit grossem Interesse deinen Blog lese.
    Herzlichst aus der nun wieder etwas angenehmeren Schweiz, nachdem die letzten Tage heftig heiss waren.
    Wolfgang

    Ciao Armin
    Ecco un breve commento che completa le considerazioni del mio collega di assaggi Andreas G. Hempel.
    L’individualità delle espressioni gustative è un criterio molto importante fin quando queste provengono da persone che veramente sanno di cosa stanno parlando. Per questo è molto sensato chiamare nelle commissioni persone di diversa provenienza (paese, regione viticola, professione, età, sesso, ecc.). Con questo si ottiene una moltitudine di giudizi che nel loro insieme danno una valutazione complessiva.
    A proposito volevo dirti che leggo sempre con molto interesse il tuo blog, ero da te con il circolo d’amici del vino „Dreiländereck“ della Svizzera.
    Cordialmente dalla Svizzera adesso di nuovo un po‘ più piacevole, dopo che gli ultimi giorni erano molto caldi.
    Wolfgang

  2. Immer habe ich ein schlechtes Gewissen, wenn ich bei den Beurteilungen der Weine für eine Weinzeitschrift (ca. 120 Weine in 3 Tagen!) tätig bin. Wir sind in der Regel 60 Sommeliers die zu sechst an 10 Tischen verdeckt nach der Parkerskala mit kurzen schriftlichen Notizen die Weine beurteilen. Wenn keine Einigung am Tisch zustande kommt, dann wird der betreffende Wein zur Seite gestellt und zuletzt von einer Gruppe nochmals beurteilt. Diese Gruppe – bei der ich meist dabei bin – hat die interessanteste Arbeit. Es kommen bei dieser wiederholten Blindverkostungen oft völlig andere Beurteilung zustande als bei der „uneinigen“ Verkostung der Vortage. Es ist also alles sehr subjektiv und irgendwie kann ich dem erwähnten Präsidenten recht geben: Hauptsache, es wird über den Wein gesprochen und eine bestimmte allgemeine Richtung angegeben. Natürlich gibt es große qualitative Unterschiede – aber in der Spitzengruppe geht es doch sehr subjektiv um Nuancen und der Sieger muss relativ gesehen werden.
    Herzliche Grüße und Dank für diesen interessanten Blog!
    Andreas

    Ho sempre la coscienza sporca quando collaboro come assaggiatore per un giornale di vino (ca. 120 vini in tre giorni!). Normalmente siamo 60 sommeliers che in in gruppi da sei su dieci tavoli valutiamo i vini con l’ausilio della scala di Parker e delle brevi annotazioni. Se sui rispettivi tavoli non si arriva ad un giudizio comune, il campione viene messo da parte e degustato alla fine da un altro gruppo. Questa giuria, alla quale appartengo il più delle volte, svolge il lavoro più interessante. Da questa degustazione cieca ripetuta vengono fuori spesso dei giudizi totalmente diversi dalle degustazioni non univoche dei giorni prima. Quindi tutto è molto soggettivo ed in un certo modo devo dare ragione al presidente da te citato: prima di tutto è importante che si parli di vino e che venga indicato una certa direzione. Naturalmente esistono delle grandi differenze qualitative ma nel gruppo di punta si tratta di sfumature soggettive ed il vincitore deve venire considerato in modo relativo.
    Cordiali saluti e grazie per questo interessante blog!
    Andreas

  3. Splendida chiosa per una interessante serie di articoli.
    Armin, hai ragione di esserne orgoglioso!

    Eine wunderbare Notiz über eine interessante Serie von Artikeln.
    Armin, du hast recht, stolz zu sein!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.