“Hi ha tres tipus de mentides: mentides, maleïdes mentides i estadístiques”.
Mark Twain (atribuint la cita a Benjamin Disraeli)
La política dels índexs sobre qualitat democràtica.
No hi ha dubte que la democràcia està globalment en risc. Almenys des de l’inici de la Gran Recessió el 2007, la democràcia, “la idea política amb més èxit del segle XX”[1] ha anat perdent terreny davant l’autocràcia de molts països i ha vist erosionats els seus principis bàsics pels governants populistes elegits democràticament en altres països. Com a resultat natural d’aquesta preocupació, els índexs de democràcia que pretenen quantificar quelcom tan subtil però complex com la qualitat democràtica d’una societat, no només han proliferat, sinó que també s’han vigilat més que mai. Els mitjans convencionals anuncien regularment les darreres puntuacions democràtiques com a notícies dignes de les seves primeres pàgines, i els comentaristes polítics solen treure conclusions importants a partir del moviment d’un país determinat cap amunt o cap avall d’un rànquing determinat.
Això ha convertit aquestes qualificacions en una eina política. Un cas particularment flagrant és el d’Espanya, el govern del qual ha utilitzat reiteradament el seu rànquing en alguns índexs de qualitat democràtica[2] com a prova per contrarestar les queixes que han acreditat una degradació substancial de les seves credencials de drets humans i civils atès que el referèndum d’independència de Catalunya d’octubre de 2017 va rebre com a resposta una enorme onada de repressió, guerra policial i judicial. El cas és particularment escandalós, ja que diverses violacions dels drets humans i civils d’Espanya des del 2017 han estat reiteradament denunciades per diverses institucions internacionals (per exemple, Amnistia Internacional, el Grup de Treball de Detencions Arbitràries de les Nacions Unides, el Consell d’Europa, diverses resolucions judicials a Bèlgica i Alemanya…), així com per mitjans internacionals. Independentment dels motius i raonaments darrere d’aquests incidents, el seu gran nombre, freqüència, serietat i visibilitat internacional marquen òbviament un punt de discontinuïtat en la credibilitat democràtica d’Espanya que qualsevol índex de qualitat democràtica fiable hauria de reflectir amb la mateixa fidelitat que un sismògraf registra una ona sísmica.
Els drets humans i civils representen el pilar més important de qualsevol sistema democràtic, atès que sense protecció dels drets dels dissidents no hi pot haver seguretat per a l’oposició i, sense oposició, no hi pot haver democràcia. Tanmateix, i malgrat totes aquestes proves tangibles que minen les credencials d’Espanya en aquest àmbit, els índexs de qualitat democràtica com el Economist Intelligence Unit (EIU)[3] o el Varieties of Democracy Institute (V-Dem)[4] puntuen Espanya en els seus darrers informes entre les democràcies més completes de la Terra, per davant de països com França i Bèlgica (en el cas de l’informe 2020 de l’EIU[5]) o, encara més sorprenent de Finlàndia , Irlanda, Regne Unit, Països Baixos, França, Alemanya, Islàndia i Àustria (en el cas de l’informe 2020 de V-Dem[6]). Com és possible?
Entrant a la cuina
Vam decidir esbrinar-ho preguntant als mateixos autors i, amb aquesta finalitat, ens vam posar en contacte tant amb els equips d’EIU com amb els de V-Dem. L’EIU va confirmar amablement la recepció del nostre correu, però després no va respondre, cosa que evidentment es va afegir als nostres dubtes sobre aquest índex. Al contrari, l’equip de V-Dem va participar en un intercanvi obert, franc i transparent amb nosaltres, cosa que per cert els honora i dona fe dels seus alts estàndards professionals, per la qual cosa estem molt agraïts. Malgrat que tots aquests índexs es basen en principis d’una mateixa metodologia (essencialment una enquesta d’opinions d’experts), V-Dem és en realitat el més prestigiós pel rigor de la seva metodologia i, des d’aquesta perspectiva, constitueix un punt de referència excel·lent per a tots altres índexs de qualitat democràtica. Precisament per això, el que vam trobar en el transcurs de la nostra interacció amb l’equip de V-Dem és especialment rellevant.
Destaquem sobretot dues troballes. La primera és que les definicions i l’arquitectura dels índexs V-Dem són efectivament sòlides i ben pensades. El segon, però, és que hi ha molt poc control sobre els criteris de classificació, les normes i els fonaments: els gestors regionals seleccionen els experts de manera confidencial (en part per qüestions de seguretat en alguns països) i aquests no estan obligats a proporcionar cap fonament per a les seves avaluacions, ni tan sols pels canvis retrospectius que puguin emprendre de les classificacions dels anys anteriors. V-Dem proporciona obertament una gran quantitat d’informació tabular molt detallada, fins i tot arriba al nivell d’expert, sobre les avaluacions en els components dels seus índexs. Tot i això, la justificació de les decisions dels experts, a part dels comentaris d’alt nivell que poden aparèixer a l’informe anual, brilla per la seva absència.
Seria difícil sobrevalorar la rellevància d’aquestes preocupacions. Si no es pot garantir que les avaluacions dels països compleixin criteris estàndard comuns, tot el concepte de comparació entre països perd sentit. Si, a més, els canvis d’expert poden introduir canvis de criteris inobservables (que poden ser la raó per la qual es modifiquen les avaluacions anteriors), també es qüestiona l’ús de les avaluacions com a eina per detectar la caiguda o increment dels estàndards democràtics amb el pas del temps en un país determinat. Però, sobretot, el veritable problema és que, si les puntuacions resulten de comentaris anònims d’experts que ni tan sols necessiten justificar les seves recomanacions, no hi ha manera d’eliminar l’impacte del biaix, el prejudici o el propi interès, i les qualificacions es converteixen, en el millor dels casos, en opinions personals glorificades i, en el pitjor dels casos, en una fantàstica oportunitat de manipulació en favor de les preferències polítiques o ideològiques que aconsegueixin ser dominants en la comunitat d’experts adscrita a un país determinat.
Una porta oberta de bat a bat als prejudicis
Un exemple potser farà més clara la gravetat d’aquest tema. En el seu informe de 2017 (figura 1), V-Dem reflectia l’impacte de l’onada de repressió al seu inici (quan, de fet, encara no havia assolit les profunditats escandaloses en què es va enfonsar durant els anys següents) mitjançant la reducció de la puntuació d’Espanya com a democràcia liberal en un 8%. En els anys posteriors, però, mentre la repressió a Espanya es feia més profunda i generalitzada, la puntuació no només no va reflectir-la, sinó que va tornar a pujar de manera constant i, de manera sorprenent, el 2020 les puntuacions dels anys anteriors es van rectificar després de suprimir la gran caiguda del 2017 i convertir-la en un accident menor. Per què? Si més no, el canvi de criteri des del 2017 i, encara més, la reavaluació de la puntuació d’anys anteriors, són prou substancials com a mínim per a plantejar la pregunta. Tot i això, quan vam plantejar aquesta pregunta tan òbvia a l’equip de V-Dem, no van ser capaços d’aportar-hi cap raó, ni de remetre’ns a ningú del seu equip que pogués fer-ho. Confiaven, sense cap mena de dubte, en els seus experts anònims per proporcionar puntuacions precises i constants sense biaix ni prejudici… Això, francament, ens sembla massa fe.
Aquest procés està veritablement obert, no només al biaix i als prejudicis, sinó també a la manipulació política: de fet, en la mesura que no es qüestionen les opinions dels experts, la composició de l’equip d’experts de cada país, la influència del bagatge, la ideologia i l’entorn de cada membre, és crucial. A més, aquesta forma de manipulació hauria de ser particularment fàcil de fer quan les víctimes són majoritàriament membres d’una minoria d’alguna manera considerada com a estranya o fins i tot rebutjada per molts membres del grup majoritari, com és el cas dels catalans a Espanya: en aquestes condicions, és probable que una selecció aleatòria d’experts reflecteixi les opinions majoritàries i, en conseqüència, tendeix a menystenir els abusos comesos contra membres d’un grup minoritari impopular.
No és que el cas espanyol sigui únic. Prenem per exemple la qualificació de democràcia liberal V-Dem dels Estats Units (figura 2). Tot i la continuació dels esgarrifosos mètodes antiterroristes de l’administració Bush durant la presidència de Barack Obama (mètodes que haurien semblat impensables abans de l’anomenada Guerra contra el Terrorisme), malgrat que la freqüència d’altres incidents, com ara els abusos de la policia nord-americana contra les minories, no va canviar apreciablement, i malgrat també que les altres característiques del sistema constitucional nord-americà encara són essencialment les mateixes, la classificació de la democràcia liberal de V-Dem pels Estats Units augmentà l’any 2009 (és a dir, quan Obama va assumir el càrrec) fins al nivell més alt de la història del país i s’hi mantingué fins 2016. Segurament es va produir una millora (tot i que Obama no va complir moltes de les seves promeses en aquesta àrea, per exemple, tancar el camp de detenció de la badia de Guantánamo), però, era la democràcia liberal realment més forta als Estats Units d’Obama que, per exemple, sota Bill Clinton, quan les tortures i els abusos que van caracteritzar la guerra contra el terror eren gairebé impensables?
Contràriament, la qualificació de la democràcia liberal dels Estats Units V-Dem cau dràsticament sota la presidència de Donald Trump (2017 a 2020) fins al seu nivell més baix gairebé des de la guerra del Vietnam: ni tan sols els primers anys foscos de la guerra contra el terrorisme són tan baixos. És cert que els drets humans es van degradar substancialment en el curs de la presidència de Trump (pensem, per exemple, en el tracte als immigrants), però, tant? Objectivament, es pensi el que es pensi sobre els presidents Clinton, Bush, Obama o Trump, és difícil justificar aquestes avaluacions només sobre la base de fets observables, però realment fàcil si es té en compte la popularitat relativa de cadascun d’aquests presidents dels EUA als mitjans de comunicació convencionals: compareu Obama, que va guanyar el Premi Nobel de la Pau quan feia menys d’un any que estava en el càrrec, amb Trump, sovint descrit pels mitjans de comunicació com un perillós líder populista (encara que, sens dubte, amb raó). Així, doncs, són aquells experts anònims sobre les opinions personals dels quals es construeixen els índexs democràtics capaços de (o estan disposats a) separar el desplegament publicitari dels mitjans de comunicació sobre el govern d’un país de l’avaluació objectiva de les credencials democràtiques d’aquest país?
Exageració mediàtica i biaix polític contra fets observables
Moltes proves addicionals apunten en la mateixa direcció. Penseu, per exemple, en la figura 3. L’eix vertical representa l’índex de llibertats civils de l’EIU (un dels cinc subíndexs que componen l’índex de qualitat democràtica de l’EIU) per a l’any 2017, mentre que l’eix horitzontal representa el nivell de protecció dels drets humans presentat per primera vegada per Fariss & Schnakenberg (2014)[7], que es basa en un conjunt de variables observables com ara assassinats, incidents de repressió o sancions internacionals negatives, i que està disponible actualment fins al 2017. Com que descansa sobre un conjunt de dades objectives, aquesta puntuació basada en les observacions es pot considerar raonablement imparcial, mentre que les estimacions subjectives estan, per definició, inevitablement exposades a biaixos cognitius, siguin voluntaris o involuntaris. Per tant, comparant les seves puntuacions amb les subjectives proporcionades per l’EIU exactament pel mateix any (2017) i el mateix concepte (drets humans/civils) podem comprovar fins a quin punt hi ha biaixos sistemàtics que afecten les qualificacions subjectives, sobretot restringint a l’anàlisi a països de l’Espai Econòmic Europeu, que són més comparables des del punt de vista econòmic i social.
Com a observació general, la correlació entre els dos índexs és preocupantment baixa: poc menys del 40% de l’índex subjectiu de llibertats civils de l’EIU es pot explicar a través de les dades observables de la puntuació de Drets Humans[8]. Conceptualment, si prenem la mètrica basada en dades de Fariss i Schnakenberg com a imparcial (ja que, si més no, és naturalment impermeable a l’opinió subjectiva), és gairebé com si l’estimació subjectiva de l’equip d’experts s’equivoqués tres de cada cinc vegades – cosa que ja no inspira molta confiança. Però el pitjor arriba quan comprovem quins països semblen privilegiats en el rànquing subjectiu d’ EIU. Per exemple, segons l’índex més “objectiu”, el pitjor historial de drets humans a l’EEE (aquells a l’esquerra de Letònia, diguem-ho) pertany a un conjunt de països del sud d’Europa, aproximadament (encara que amb algunes honorables excepcions) aquells entre els Alps i el mar Mediterrani[9]. En canvi, l’índex de llibertats civils de l’EIU transmet una imatge completament diferent: que els països del Grup Med de la UE tenen un historial sistemàticament millor que els excomunistes.
La comparació entre parells de països fa més visible el raonament potencial darrere d’aquestes puntuacions subjectives. Per exemple, basant-se en criteris objectius, el 2017 Espanya tenia aproximadament el mateix nivell de respecte als drets humans / civils que Hongria, cosa que té sentit tenint en compte que, malgrat el seu govern cada vegada més autoritari (no tant el 2017 com avui), Hongria no va ordenar la repressió violenta de manifestants pacífics, ni va acabar l’any amb diversos presos polítics, com sí que va fer Espanya aquell any, de manera que és fàcil veure que una cosa equilibraria l’altra. A la inversa, segons la visió subjectiva de l’EIU, Espanya estaria molt per davant: és difícil no vincular aquesta puntuació amb el fet que Viktor Orbán, el primer ministre hongarès, es representés regularment com un populista perillós (igual que Donald Trump, per cert) als mitjans de comunicació erudits i de més circulació, mentre que Mariano Rajoy, el primer ministre d’Espanya en aquella època, es presentava generalment com un governant de maneres suaus (encara que poc intel·ligent) estretament alineat amb Angela Merkel.
En una línia similar, Espanya es troba, per dades objectives, molt per darrere de Bèlgica en termes de drets humans, però, segons les opinions subjectives de l’EIU, molt per davant, cosa que sembla estranya tenint en compte que Bèlgica és precisament el país que, a causa dels seus alts estàndards en drets humans, els exiliats del govern independentista català van escollir com la seva nova llar on no estarien exposats als abusos dels tribunals espanyols – com ho van ser els seus col·legues que es van quedar. Tanmateix, aquí també es manté la mateixa hipòtesi: Bèlgica, amb els seus gabinets ministerials de curta durada, llargs períodes sense govern (589 dies el 2010-2011) i, entre el 2014 i el 2018, un govern de coalició de quatre partits inclòs fins i tot un partit independentista flamenc (N-VA), no és sovint el favorit dels principals mitjans internacionals – un cas certament del dels governs espanyols, altament estables i monocolors, que, si més no fins fa poc, la mateixa premsa internacional ha tendit a presentar molt més favorablement.
De manera més general, una ràpida mirada al diagrama mostra que els països coneguts per haver seguit polítiques d’austeritat socialment dures però econòmicament ortodoxes per sortir de la crisi de la zona euro (per exemple, Irlanda, Portugal, Grècia, Xipre, Lituània, Finlàndia, Itàlia, Espanya …) que van ser recomanades per l’anomenada Troika[10] europea apareixen comparativament afavorits a l’índex vertical EIU respecte a la seva classificació en l’horitzontal més basat en fets, mentre que aquells governs generalment considerats per la premsa més intel·lectual com dirigits per partits populistes o per coalicions que els impliquen (per exemple, Hongria, Polònia, Eslovàquia, Eslovènia, Croàcia …) hi queden relativament desafavorits. Això difícilment pot ser una coincidència. De fet, no és ni una observació nova ni una aplicable a només un o dos dels índexs més famosos: un estudi de 2017 sobre les puntuacions democràtiques de Freedom House, per exemple, conclou que “els països alineats amb la política exterior dels Estats Units tendeixen a obtenir millors puntuacions a Freedom House que en altres indicadors destacats”[11]. i, a més, que “les qualificacions més influents sovint són fortes precisament perquè reflecteixen els judicis de valor dels poderosos”[12].
La implicació més perversa pot venir al cap gairebé immediatament: en la mesura que les institucions que puntuen la qualitat democràtica pretenen ser conegudes i influents, seria del seu interès deixar el seu procés d’avaluació més obert a la influència dels poderosos (i dels mitjans de comunicació que donen suport a les seves opinions), ja que seria precisament retransmetent a aquells mitjans els seus propis prejudicis sota l’aparença de treballs científics (en definitiva, dient-los el que volen escoltar) que aquests índexs capturarien l’atenció dels mitjans i esdevindrien famosos i influents.
Conclusió: prejudicis i manipulacions sota l’aparença de ciència.
Tot això és realment inquietant. Fins i tot en el millor escenari possible, suggereix que la fe tan sovint posada en l’objectivitat d’aquests índexs, en la seva capacitat de separar els fets del soroll, està substancialment sobrevalorada si els seus experts ni tan sols poden separar el suport o la desaprovació dels mitjans generals de certs governs dels fets específics relacionats amb els drets humans / civils, per no parlar d’avaluar una cosa tan etèria com la “democràcia”. En una interpretació menys benèvola, algunes d’aquestes qualificacions poden estar subjectes a una manipulació intencionada per part de diverses agències governamentals, ja que les puntuacions d’aquests índexs s’han convertit en notícies carregades de política i els equips que les produeixen només imposen controls molt febles per evitar influències indegudes. Donada l’acumulació d’evidències i els incentius evidents que s’hi plantegen, aquesta hipòtesi “menys caritativa” no es pot descartar com una simple teoria de la conspiració: fins i tot si els autors d’un índex no ho volguessin (i probablement cap d’ells no ho vol), la seva visibilitat mediàtica comportaria una tendència natural a fer-se ressò de les opinions que aquests mitjans afavoreixen i, per tant, aquells índexs que han sobreviscut i prosperat fins avui, aquells que es publiquen al diari de renom tan aviat com apareixen, s’han d’acomodar, almenys en certa mesura, a l’opinió que aquests defensen.
És difícil dir fins a quin punt les sorprenents puntuacions democràtiques d’Espanya reflecteixen la interpretació més o la menys caritativa. Però, basant-se únicament en els fets objectius, cal concloure que les nombroses violacions recents dels drets humans a Espanya són simplement incompatibles amb el qualificatiu de “plena democràcia” que els instituts de qualitat democràtica han atorgat tan generosament al Regne d’Espanya … És trist que, en adherir-se a una metodologia defectuosa, aquests índexs afegeixin confusió en un camp on el seu objectiu original i declarat era precisament millorar la transparència. Encara és més trist que una eina tan deficient doni al govern d’una democràcia defectuosa amb un respecte insuficient als drets humans, com ho és Espanya, els mitjans per afirmar que és, contra tota evidència, una “democràcia plena” per davant d’altres amb molt millors credencials.
________________________________________________________________
[1] Democracy – What’s gone wrong with democracy | Essay | The Economist
[2] España consolida su democracia plena y ya es la 18.ª mejor del mundo según The Economist (thisistherealspain.com)
[3] Democracy Index 2020 – Economist Intelligence Unit (eiu.com)
[5] Els informes d’EIU sempre s’etiqueten segons l’any al qual fan referència, per exemple. l’EIU Democracy Index 2020 es va llançar el 2021.
[6] Els informes V-Dem sempre s’etiqueten segons l’any en què es publiquen, de manera que el V-Dem Democracy Report 2020 descriu la situació del 2019 i l’Informe Democracy 2021 descriu el del 2020
[7] Les dades es poden descarregar fàcilment de Human Rights – Our World in Data, les fonts originals són Schnakenberg, K. E. i Fariss, C. J. (2014). Dynamic Patterns of Human Rights Practices. Investigació i mètodes de ciències polítiques, 2 (1), 1–31. i més recentment Fariss, C. J. (2019). “Sí, les pràctiques de drets humans milloren amb el pas del temps”. American Political Science Review
[8] La baixa consistència entre els índexs de qualitat democràtica han estat ja observats abans, pe.e Does the Choice of Democracy Measure Matter? Comparisons between the Two Leading Democracy Indices, Freedom House and Polity IV | Government and Opposition | Cambridge Core, encara que ambdós índexs podrien ser vistos com aproximadament igual de subjectius en la seva naturalesa.
[9] Tot i que amb l’excepció dels mateixos països alpins (és a dir, Suïssa, Àustria i Eslovènia), així com Croàcia i l’illa de Malta.
[10] Troika és el nom que la premsa va donar a la combinació de la Comissió Europea, el BCE i l’FMI durant la crisi de la zona euro.
[11] Veure Should we trust democracy ratings? New research finds hidden biases – Revista de Prensa (almendron.com) i també un estudi relacionat citat per l’autorr Comparing Freedom House Democracy Scores to Alternative Indices and Testing for Political Bias: Are US Allies Rated as More Democratic by Freedom House?: Journal of Comparative Policy Analysis: Research and Practice: Vol 18, No 4 (tandfonline.com)
[12] L’estudi original pot trobar-se a The Politics of Rating Freedom: Ideological Affinity, Private Authority, and the Freedom in the World Ratings | Perspectives on Politics | Cambridge Core
[…] dels índexs de democràcia, segons la notícia publicada ahir. Així mateix, podeu llegir l’estudi complet a la nostra secció de […]