Quants tallers vas organitzar? Quantes persones vas capacitar? Aquestes preguntes no mesuren impacte social. Mesuren activitat. Cada any, centenars de projectes justifiquen pressupostos amb xifres de participació, nombre d’esdeveniments o materials distribuïts, mentre el canvi real (relacions construïdes, comportaments transformats…) queda sense documentar.
El problema no és falta de voluntat de mesurar. És que els sistemes de Monitoratge, Avaluació i Aprenentatge (MEL en anglès) tradicionals ofeguen la creativitat que necessiten els projectes socials per adaptar-se a contextos locals. Marcs lògics amb 40 indicadors predefinits, informes setmanals durant l’execució, matrius lògiques rígides que no capturen l’emergent. Resultat: equips que gasten més temps omplint formularis que generant impacte.
Però existeix un model que equilibra rigor i llibertat. El Programa de les Nacions Unides per al Desenvolupament – PNUD – va desenvolupar Outcome Harvesting, un enfocament de mesurament retrospectiu que captura canvis reals sense predefinir-ho tot abans de començar. Provat en més de 140 països pel PNUD, Banc Mundial, UNICEF i múltiples ONGs, els resultats demostren que és possible mesurar la transformació social sense burocratitzar el procés.
La majoria de projectes socials reporten outputs (el que van fer), no outcomes (el que van aconseguir). Aquesta confusió té conseqüències directes en cooperació internacional:
Els finançadors demanen “evidència d’impacte”, però reben recomptes de participants o nombre d’activitats executades. Els responsables MEL dissenyen matrius lògiques amb desenes d’indicadors que ningú completa perquè l’equip està al terreny resolent problemes reals. Els equips de projecte senten que l’avaluació és una càrrega administrativa imposada externament, no una eina per aprendre i millorar.
Aquesta tensió entre mesurar i actuar és especialment crítica en projectes que requereixen adaptació constant. Un projecte d’enfortiment comunitari no pot predefinir amb exactitud quins canvis ocorreran en 18 mesos. La realitat al terreny genera resultats emergents que cap matriu lògica pot anticipar.
El problema està en la lògica de mesurament. Els sistemes tradicionals MEL assumeixen que pots predir i planificar tots els resultats a l’inici. Però el canvi social no funciona així.
El PNUD opera projectes de desenvolupament en més de 140 països. No es poden permetre mesurar malament. Des de fa més d’una dècada implementen Outcome Harvesting, una metodologia que inverteix la lògica tradicional d’avaluació.
No és una mètrica abstracta. És un enfocament de mesurament retrospectiu i participatiu que identifica canvis (resultats) que ja van ocórrer, documenta com va contribuir el projecte a aquests canvis, i valida la informació amb tercers independents.
En lloc de preguntar a l’inici “quins canvis esperem aconseguir?” (predictiu), pregunten durant i després “quins canvis reals van ocórrer i com vam contribuir?” (retrospectiu). Aquesta diferència allibera els equips de predir l’impredictible.
Gestió de residus sòlids a Bòsnia Hercegovina: El projecte no va predefinir indicadors rígids d'”èxit”. Durant l’execució, van capturar resultats emergents: reformes institucionals que van millorar la comunicació entre actors municipals, solucions tècniques adaptades a condicions locals específiques, enfortiment de capacitats institucionals no planificat inicialment. El projecte va generar canvis sistèmics que cap matriu lògica havia anticipat.
Avaluació World Bank en múltiples països: World Bank va implementar Outcome Harvesting en projectes de reforma del sector públic. Resultats documentats: canvis en lideratge i entorn d’autorització institucional, reformes mitjançant aprenentatge adaptatiu (no planificació rígida), resolució de problemes orientada a resultats en lloc de compliment d’activitats predefinides.
Projecte de salut comunitària (cas no especificat geogràficament al PNUD): Outcome Harvesting va revelar canvis no anticipats: major consciència sanitària a la comunitat més enllà de participants directes, millora en comportament de cerca d’atenció mèdica, enfortiment de llaços comunitaris (capital social no previst com a resultat).
Aquests casos comparteixen un patró: els resultats més valuosos no estaven al pla original.
Outcome Harvesting té quatre característiques que equilibren rigor i llibertat creativa:
Sense indicadors predefinits rígids. No requereix definir 40 indicadors de rendiment (KPI) a l’inici del projecte. L’equip identifica canvis observables a mesura que ocorren, sense estar limitat per una llista tancada de “resultats esperats”.
Recol·lecció participativa de dades. Involucra beneficiaris directes i parts interessades en la formulació de resultats. Els participants no són “subjectes d’avaluació”, són co-avaluadors que identifiquen què va canviar als seus contextos.
Validació amb tercers independents. Cada resultat documentat es verifica amb actors externs al projecte (autoritats locals, organitzacions veïnes, experts independents). Això garanteix rigor sense burocratitzar l’execució diària.
Avaluació retrospectiva concentrada. L’equip executa amb llibertat. La recol·lecció sistemàtica de resultats ocorre en moments específics (meitat de projecte, tancament, seguiment postprojecte), no setmanalment. No hi ha formularis diaris ni informes que interrompin l’acció.
No necessites un gran pressupost per aplicar Outcome Harvesting. Necessites canviar la lògica de mesurament: de predictiva a retrospectiva, d’extractiva a participativa.
La pregunta correcta no és “complim els indicadors del pla original?”, sinó “quins canvis reals van ocórrer en comportaments, relacions, accions o polítiques?”.
Exemples específics de resultats emergents documentats:
Un projecte de microemprenedoria urbana va generar lideratge femení local no planificat. Les dones participants no només van augmentar ingressos (resultat esperat), sinó que van assumir rols de representació comunitària davant autoritats municipals (resultat emergent).
Un projecte de reforma institucional al sector públic va descobrir que el seu major impacte va ser el canvi en “entorn d’autorització”: superiors jeràrquics van començar a permetre experimentació en equips tècnics, alguna cosa que cap indicador havia previst mesurar.
El cas Bòsnia Hercegovina en gestió de residus va revelar que la millora en comunicació entre actors municipals va tenir més impacte que les solucions tècniques implementades.
Aquests canvis no haurien estat capturats amb indicadors predefinits rígids, és el mesurament retrospectiu el que aconsegueix fer-los visibles.
Outcome Harvesting no és una narrativa anecdòtica. Cada resultat documentat es valida amb actors independents al projecte:
Validació amb autoritats locals: Confirmen el canvi reportat?
Triangulació amb organitzacions veïnes: Van observar la mateixa transformació?
Verificació amb experts sectorials: El canvi és significatiu en aquest context específic?
Aquest procés de validació externa garanteix rigor sense requerir sistemes de monitoratge pesants durant l’execució. La verificació ocorre després, concentrada en moments clau.
El model més avançat d’Outcome Harvesting incorpora participació real de beneficiaris en el disseny i execució de l’avaluació. UNICEF va implementar això en 6 països africans (Moçambic, Namíbia, Uganda, Malawi, Tanzània, Zimbàbue) amb resultats documentats:
112 adolescents van formar panells d’avaluació que van recollir veus de parells mitjançant 73 entrevistes i grups focals. Els adolescents no van respondre enquestes dissenyades per adults. Van co-dissenyar les preguntes, van executar entrevistes, van analitzar dades i van generar recomanacions. Dels 112 participants, 11 adolescents van formar un grup assessor regional que va validar troballes i va retroalimentar les conclusions abans de la publicació.
L’assoliment: resultats no anticipats van emergir perquè els joves van preguntar coses que els avaluadors externs mai haurien pensat. Els participants van assumir el projecte com a propi perquè van veure que les seves veus realment importaven. La sostenibilitat postprojecte va millorar perquè els beneficiaris entenien profundament què va funcionar i què no.
Aquest enfocament participatiu no és només “bona pràctica ètica”. És una metodologia rigorosa que captura informació que altres tipus d’avaluacions perden.
Usa aquestes quatre preguntes/diagnòstic per avaluar si el teu sistema de mesurament equilibra rigor i creativitat:
Si el teu informe final diu “complim 15 de 18 indicadors predefinits”, estàs mesurant adherència al pla. Si diu “identifiquem 8 canvis significatius, 3 dels quals no estaven planificats, però van ser crítics”, estàs mesurant impacte real.
Els beneficiaris responen enquestes dissenyades pel teu equip (extractiu) o co-dissenyen què preguntar, com recollir dades i com interpretar troballes (participatiu)? La diferència determina quina informació obtindràs.
Documentar canvis sense verificació externa és anecdòtic. El teu sistema inclou validació amb autoritats locals, organitzacions veïnes i experts sectorials? Aquesta triangulació converteix històries en evidència.
Si el teu equip completa formularis setmanals de “progrés cap a indicadors”, estàs interrompent l’acció amb burocràcia. Si avalues retrospectivament en moments clau (meitat, tancament, seguiment), estàs alliberant creativitat operativa.
El dilema entre rigor avaluatiu i llibertat operativa desapareix quan canvies la lògica de mesurament. Els indicadors clau de rendiment lleugers no signifiquen que siguin vagues. Signifiquen indicadors que capturen canvi real (comportaments, relacions, accions, polítiques) en lloc de compliment d’activitats predefinides.
Outcome Harvesting demostra que un model així funciona a escala global: implementat en 143 països pel PNUD, usat per World Bank, UNICEF i múltiples ONGs. Però no necessites operar en 143 països per aplicar aquests principis. Necessites claredat sobre què constitueix un canvi real al teu context, disposició a capturar l’emergent, validació externa rigorosa, i beneficiaris com a co-avaluadors.
La teva organització mesura transformació social o només compta activitats?
Si treballes en projectes de cooperació on l’avaluació tradicional ofega la creativitat, m’interessa conèixer la teva experiència. Connectem a LinkedIn i seguim aquesta conversa.
Les institucions continuen dissenyant missatges per a feeds públics mentre les seves audiències prenen decisions en grups de WhatsApp als quals cap algorisme institucional no arriba. El problema no és tècnic. És una pregunta sobre com funciona la confiança quan desapareix la visibilitat i el que queda són relacions.
Quan apareix un deepfake que involucra la teva organització, el primer instint és tractar-lo com una emergència tècnica. Però el que determina el dany real no és el contingut fals: és el que fa la teva organització —o deixa de fer— en les hores següents. I això és una decisió de comunicació.
El teu equip ja fa servir IA, però encara no té regles clares? Aquesta guia pràctica explica com crear una política editorial d’IA en comunicació per decidir què es permet, qui revisa i com declarar-ne l’ús sense posar en risc la confiança.