MANIPULARE LA GREU IN CEEA CE PRIVESTE ARMATA UE
Am
citit articolul:
Europa își dorește mai multă autonomie militară. Ce părere au românii despre înfiinţarea unei armate comune în UE
Apoi
m-am dus la original:
European citizens overwhelmingly back creation of an EU army, survey finds
de
unde am downloadat Raportul cu pricina.
https://www.globsec.org/globsec-trends-2026
Link
catre fisierul PDF
https://www.globsec.org/sites/default/files/2026-11/GLOBSEC%20Trends%202026.pdf
L-am
citit si, asa cum banuit, suspiciunea mea s-a adeverit citind ce scrie la
finalul lui, identificand doua erori majore: compactarea scalelor Likert si
modul in care s-a facut ponderarea.
Am
vrut sa vad si alte erori si i-am dat de lucru AI-ului. Iata ce scrie:
Analiza metodologiei
Secțiunea privind
metodologia conține
mai multe deficiențe metodologice semnificative, dintre care unele afectează validitatea
concluziilor, reprezentativitatea rezultatelor și posibilitatea comparării între țări. Există, de
asemenea, probleme legate de transparență și coerență conceptuală.
Aș distinge între
deficiențele
metodologice propriu-zise, limitările recunoscute de autori și aspectele care
necesită clarificări suplimentare.
1.
Eșantionarea
și
reprezentativitatea
Problemă
metodologică majoră
Raportul precizează:
„Sondajul a fost
realizat de HarrisX prin intermediul unor paneluri online, pe un eșantion de 1.010
respondenți
pentru fiecare țară.”
Ulterior, autorii
afirmă că profilurile respondenților au fost reprezentative în funcție de sex, vârstă,
nivel de educație,
mediul de rezidență
și dimensiunea localității.
Probleme
identificate:
1. Panelurile
online sunt, în general, eșantioane neprobabilistice. Participanții sunt recrutați din paneluri
existente, nu selectați
aleatoriu din întreaga populație.
2. Stabilirea
unor cote pentru cinci variabile demografice nu garantează automat
reprezentativitatea populației.
3. Persoanele
care participă la paneluri online pot avea atitudini, interese, niveluri de
implicare politică și
caracteristici socioeconomice diferite de cele ale persoanelor care nu
participă.
4. Metodologia
nu explică modul în care respondenții au fost recrutați, selectați sau verificați.
5. Nu
sunt prezentate informații
despre componența
panelurilor, ratele de răspuns sau stimulentele oferite participanților.
De
ce este important: Reproducerea caracteristicilor
demografice ale populației
nu înseamnă automat reproducerea fidelă a opiniei publice.
De exemplu, două eșantioane pot avea
distribuții
identice în funcție
de vârstă, sex și
educație,
dar atitudini semnificativ diferite față de democrație, relațiile internaționale sau securitate.
2.
Marja de eroare
Problemă
metodologică majoră
Raportul indică:
· ±3,1 puncte procentuale la nivel național.
· ±4,0 puncte procentuale în Estonia.
Aceste valori par
compatibile cu marja convențională maximă de eroare pentru eșantioane
probabilistice de aproximativ 1.010, respectiv 600 de respondenți, la un nivel de
încredere de 95%.
Există însă o problemă
fundamentală.
Sondajul
utilizează paneluri online, dar nu demonstrează că respondenții
au fost selectați
printr-o metodă de eșantionare probabilistică.
Prin urmare, marjele
convenționale
de eroare statistică nu pot fi aplicate automat.
Raportul ar trebui să
explice:
· Dacă marjele de eroare se bazează pe un model de eșantionare
probabilistică.
· Dacă sunt estimări bazate pe modele statistice pentru
un eșantion
neprobabilistic.
· Dacă au fost luate în considerare ponderarea și efectele designului
de eșantionare.
· Ce nivel de încredere și ce ipoteze de calcul au fost utilizate.
Marja de eroare de
±3,1% nu ia în considerare erorile sistematice de selecție, non-răspuns sau
măsurare.
Acest aspect este
deosebit de important deoarece raportul prezintă aceste valori într-o manieră
care poate sugera că sunt marje convenționale de eroare statistică.
3.
Lipsa informațiilor
privind ponderarea rezultatelor
Problemă
metodologică majoră
Raportul afirmă:
„Profilurile respondenților au fost
reprezentative pentru țară
în funcție
de sex, vârstă, educație,
locul de rezidență
și dimensiunea localității.”
Cu toate acestea, nu
explică dacă rezultatele au fost ponderate.
Există o diferență importantă între:
· Eșantionarea pe cote:
asigurarea unor proporții
prestabilite pentru anumite grupuri demografice.
· Ponderarea post-stratificare: ajustarea rezultatelor pentru a reflecta distribuția reală a populației.
Aceste două proceduri
nu sunt interschimbabile.
Metodologia ar trebui
să precizeze:
· Dacă s-a aplicat ponderarea rezultatelor.
· Ce statistici demografice oficiale au fost utilizate.
· Dacă ponderile au fost calculate separat pentru
fiecare țară.
· Dacă ponderile extreme au fost ajustate sau limitate.
· Dacă ponderarea a influențat dimensiunea
efectivă a eșantionului.
În absența acestor informații, este dificil de
evaluat fiabilitatea rezultatelor.
4.
Ponderarea egală a țărilor
Limitare
de interpretare
Raportul precizează
explicit:
„Mediile prezentate în
raport sunt medii neponderate ale rezultatelor la nivel de țară, ceea ce înseamnă
că fiecare țară
are o pondere egală, indiferent de mărimea populației sau a eșantionului.”
Aceasta este o decizie
metodologică importantă.
Să considerăm o medie
care include România, Estonia, Germania și Statele Unite.
Fiecare țară contribuie în mod
egal, în ciuda diferențelor
enorme de populație.
Prin urmare, valoarea
rezultată nu reprezintă opinia persoanei medii din totalul populației țărilor analizate.
Ea reprezintă media
rezultatelor individuale obținute în fiecare țară.
De exemplu:
|
Țara |
Populație (exemplu ilustrativ) |
Rezultat |
|
Estonia |
1,4
milioane |
70% |
|
România |
19
milioane |
50% |
|
Germania |
84
milioane |
40% |
|
SUA |
340
milioane |
30% |
Media simplă a celor
patru țări
este 47,5%.
O medie ponderată în
funcție
de populație
ar fi semnificativ diferită.
Problema
nu este neapărat utilizarea ponderării egale. Problema
este că cititorii pot interpreta valoarea agregată ca reprezentând populația tuturor țărilor analizate.
Raportul ar trebui să
eticheteze în mod consecvent aceste valori drept medii ale rezultatelor la
nivel de țară.
5.
Modificarea metodologiei între edițiile sondajului
Limitare
privind comparabilitatea
Raportul recunoaște:
„Edițiile anterioare au
utilizat interviuri telefonice asistate de calculator (CATI) pentru colectarea
datelor. Prin urmare, comparabilitatea de la un an la altul este limitată.”
Aceasta este o recunoaștere importantă.
Ediția actuală utilizează
paneluri online, în timp ce edițiile anterioare au folosit interviuri telefonice.
Schimbarea modului de
administrare a sondajului poate influența:
· Disponibilitatea respondenților de a exprima
opinii controversate.
· Tendința de a oferi răspunsuri acceptabile din punct de
vedere social.
· Participarea diferitelor categorii de populație.
· Interpretarea întrebărilor.
· Distribuția răspunsurilor.
Problema este că
raportul nu explică dacă a fost realizată vreo ajustare metodologică sau vreun
studiu de validare pentru a evalua impactul acestei schimbări.
În mod ideal,
cercetătorii ar fi trebuit să realizeze un sondaj paralel, utilizând ambele
metode în cel puțin
câteva țări.
Aceasta ar fi oferit
dovezi privind amploarea diferențelor generate de modul de administrare.
6.
Simplificarea scalelor de tip Likert
Pierdere
de informație
Raportul precizează:
„Răspunsurile la
întrebările închise care utilizau o scală au fost agregate. De exemplu,
variantele de răspuns «cu siguranță de acord», «mai degrabă de acord», «mai degrabă în
dezacord» și
«cu siguranță
în dezacord» au fost reunite în categoriile «de acord» și «în dezacord».”
Aceasta reprezintă o
limitare analitică semnificativă.
Scala inițială cu patru trepte
distinge între:
· Cu siguranță de acord.
· Mai degrabă de acord.
· Mai degrabă în dezacord.
· Cu siguranță în dezacord.
Prezentarea
simplificată combină aceste categorii în două.
În consecință, devine imposibilă
diferențierea
opiniilor puternice de cele moderate.
De exemplu:
|
Răspuns inițial |
Rezultat raportat |
|
Cu
siguranță de acord: 15% |
|
|
Mai
degrabă de acord: 45% |
De acord:
60% |
|
Mai
degrabă în dezacord: 30% |
|
|
Cu
siguranță în dezacord: 10% |
În
dezacord: 40% |
Procentul de 60%
pentru acord ascunde faptul că doar 15% dintre respondenți sunt categoric de
acord.
Există și alte întrebări:
· Au fost păstrate răspunsurile neutre?
· Cum au fost tratate răspunsurile indecise?
· Au fost incluse variantele „Nu știu” și „Nu se aplică”?
· Au fost aceste categorii excluse din numitorul
utilizat pentru calcularea procentelor?
Metodologia nu
clarifică aceste aspecte.
7.
Clasificarea țărilor
Inconsecvență conceptuală
Raportul introduce
termenul:
„Țările occidentale” sau
„Occidentul”.
În această categorie
sunt incluse Franța,
Germania, Ucraina, Regatul Unit și Statele Unite.
Totuși, raportul definește Europa Centrală și de Est ca incluzând și Ucraina.
Aceasta creează o
problemă de clasificare.
Ucraina este inclusă
simultan în:
· Europa Centrală și de Est.
· Categoria colectivă a țărilor occidentale.
Acest lucru nu este
neapărat incorect din punct de vedere statistic, deoarece clasificările
geografice și
politice se pot suprapune.
Cu toate acestea,
raportul nu oferă o definiție operațională care să explice criteriile utilizate pentru
construirea acestor grupări.
Mai mult, includerea
Ucrainei alături de Franța,
Germania, Regatul Unit și
Statele Unite necesită o justificare conceptuală clară.
Autorii ar trebui să
explice dacă această clasificare este geografică, politică, instituțională sau bazată pe
alte criterii.
8.
Lipsa informațiilor
tehnice esențiale
Problemă
de transparență
Mai multe informații metodologice esențiale lipsesc din
această pagină.
|
Informație lipsă |
De ce este importantă |
|
Populația-țintă
și limitele de vârstă |
Definește
populația la care se referă rezultatele |
|
Procedurile
de recrutare |
Permite
evaluarea erorilor de selecție |
|
Furnizorii
și componența panelurilor |
Permite
evaluarea calității eșantionului |
|
Ratele de
răspuns |
Permite
evaluarea erorilor de non-răspuns |
|
Procedurile
de ponderare |
Clarifică
modul în care a fost abordată reprezentativitatea |
|
Nivelul de
încredere |
Clarifică
incertitudinea statistică |
|
Efectele
designului de eșantionare |
Ajută la
evaluarea preciziei statistice |
|
Accesul la
chestionar |
Permite
evaluarea independentă a întrebărilor |
|
Caracteristicile
eșantioanelor naționale |
Permite
evaluarea comparabilității |
|
Controalele
privind calitatea colectării datelor |
Ajută la
evaluarea fiabilității |
Aceste informații pot apărea în alte
secțiuni ale raportului,
astfel încât absența
lor de pe această pagină nu demonstrează că nu au fost luate în considerare.
9.
Ce este efectiv greșit și ce reprezintă doar o limitare metodologică?
Această distincție este importantă
dacă intenționezi
să utilizezi raportul în cercetarea academică sau în analiza instituțională.
|
Aspect |
Evaluare |
|
Eșantionarea
prin paneluri online |
Limitare
semnificativă privind reprezentativitatea |
|
Marja
convențională de eroare |
Necesită
justificare metodologică |
|
Lipsa
explicațiilor privind ponderarea |
Deficiență
de transparență |
|
Ponderarea
egală a țărilor |
Opțiune
validă, dar ușor de interpretat greșit |
|
Trecerea
de la CATI la sondaje online |
Limitare
reală privind comparabilitatea |
|
Comasarea
celor patru categorii de răspuns |
Pierdere
de informație analitică |
|
Dubla
clasificare a Ucrainei |
Ambiguitate
conceptuală |
|
Lipsa
detaliilor tehnice |
Transparență
metodologică insuficientă |
10.
Evaluarea generală
Cea mai importantă
problemă este relația
dintre metoda de eșantionare, reprezentativitate și
certitudinea statistică.
Raportul formulează
afirmații
privind reprezentativitatea eșantioanelor naționale și prezintă marje de eroare cu aspect convențional, dar metodologia
prezentată nu explică suficient modul în care aceste afirmații sunt justificate
statistic.
Există o diferență între:
1. Un
eșantion care reproduce
anumite caracteristici demografice ale unei populații.
2. Un
eșantion care reproduce
în mod fiabil opiniile acelei populații.
Prima condiție nu o garantează
automat pe a doua.
Ponderarea egală a țărilor reprezintă o
altă problemă importantă, în special atunci când rezultatele agregate sunt
interpretate ca reprezentând o regiune geografică sau politică mai largă.
11.
Cele cinci întrebări care ar trebui adresate autorilor
1. Eșantionare: Cum au fost recrutați participanții în panelurile online și ce proceduri au fost utilizate pentru reducerea
erorii de auto-selecție?
2. Reprezentativitate:
Cum a fost stabilită reprezentativitatea dincolo de respectarea cotelor
demografice? Au fost aplicate ponderi de post-stratificare?
3. Marja de eroare:
Pe ce bază statistică au fost calculate marjele de eroare de ±3,1 și ±4,0 puncte
procentuale pentru eșantioane
online neprobabilistice?
4. Comparabilitate:
A fost realizat un sondaj paralel CATI/online pentru a măsura efectele
schimbării metodei de colectare a datelor?
5. Transparența
datelor: Sunt disponibile chestionarul, seturile
de date la nivel național,
procedurile de ponderare și
specificațiile
tehnice pentru verificare independentă?
O
ultimă observație: Metodologia nu reprezintă neapărat o dovadă a unei
cercetări de slabă calitate. Totuși, lasă fără răspuns câteva întrebări importante.
Distincția
dintre ceea ce au demonstrat efectiv cercetătorii și ceea ce cititorii ar
putea deduce din rezultate este esențială.


Niciun comentariu:
Trimiteți un comentariu