Klíčová aktivita 2 – Metodologický výzkum

Předmětem je realizace metodologického výzkumu v následujících dvou oblastech analýzy a vývoje měřicích nástrojů: (1) analýza validity a ekvivalence měřicích nástrojů používaných ve výběrových šetřeních, (2) vývoj a adaptace měřicích nástrojů pro použití ve výběrových šetřeních. Aktivita je zaměřena na vybrané výzkumné nástroje s ohledem na jejich využití ve výzkumu české společnosti a možnosti mezinárodní komparace.

Současný stav poznání, význam realizace KA2 a vazba na činnost VI

Zatímco v západní Evropě a v USA umožňují vědecké kapacity a finanční prostředky zabývat se hlouběji metodologickými otázkami a kvalitou měřicích nástrojů v kvantitativním výzkumu, česká sociologie, která nedisponuje takovou odborností a potýká se s omezenými možnostmi financování, si jen zřídka může dovolit výzkum jdoucí nad rámec substanciálních témat. Z tohoto důvodu nebyl u nás metodologickým aspektům kvantitativního výzkumu dosud věnován významnější prostor. Současně ve světě dochází k zásadním inovacím na poli metodologického výzkumu, mezi které patří metody jako je analýza response style, využití modelování strukturálních rovnic pro analýzu reliability a validity měření, používání zkrácených psychometrických škál a jejich zpracování pomocí teorie odpovědi na položku (IRT) či analýza mezinárodní a časové ekvivalence konceptů (Harkness et al. 2010). Tyto metody v Česku dosud nejsou běžně používány, o některých z nich dokonce nevyšla jediná publikace. Jiné v omezené míře použity byly – příkladem jsou práce Trusinové (2014) či Anýžové (2015) o ekvivalenci měření konceptů, Schuberta (2010) o ověřování různých typů reliability v panelových datech, články Chylíkové (2015, 2016) o analýze reliability panelových dat a MTMM dat, případně také škálování skórů z jazykového testu pomocí IRT (Gorčíková, Šafr 2016a).

Zkrácené psychometrické míry pro dospělé jsou v USA a v západní Evropě používány již od sedmdesátých let 20. století, v Česku však podobný nástroj, který lze využít pro metodologický i substanciální výzkum, chybí. Vedle testů v mezinárodních srovnávacích projektech (PIRLS, PISA) jsou u nás používány pouze detailní nástroje pro měření kognice a gramotnosti v psycholingvisticky orientovaném výzkumu dětí (Gorčíková, Šafr 2016b).

Motivací k přenesení těchto metod v rámci KA2 do českého prostředí není napodobování zahraničních trendů, ale nutnost jejich použití k poznání metodologických problémů specifických pro data pocházející z šetření české populace. Díky studiím plánovaným v KA2 získáme informace o specifických českých stylech odpovídání, které mají za následek systematické chyby; dozvíme se, zda lze v českém prostředí adaptovat vybrané měřicí nástroje vyvinuté v USA a v západní Evropě, případně navrhneme vlastní adaptace takových nástrojů; zjistíme, zda ten samý měřicí nástroj, opakovaně používaný v longitudinálním výzkumu, reflektuje zamýšlený koncept se stále stejnou validitou a navrhneme další měřicí nástroje, využitelné v dalším výzkumu.

Výstupy jednotlivých studií přinesou unikátní informace, využitelné pro publikaci i pro použití v dalším výzkumu. Projekt dodá informace o vztahu českého response style, vzdělání a kognitivních schopností respondentů; unikátní a dále využitelné nástroje měření kognitivních schopností a čtenářské gramotnosti; informace o validitě a reliabilitě konkrétní měřicí škály původně vyvinuté pro jiné než české prostředí; poznatky o časové srovnatelnosti konkrétní škály a standardizované nástroje pro měření sociálních sítí a kulturních zdrojů.

Aktivita KA2 přispívá k plnění cílů podpory analytického výzkumu a výzkumu v oblasti standardizace a harmonizace výzkumných nástrojů s ohledem na mezinárodní srovnatelnost a kvalitu výzkumu, které jsou součástí poslání CSDA (viz výše v podkapitole 3.2). Aktivita vedle vědeckých publikací vytvoří nástroje a informace, které se stanou součástí služeb CSDA na podporu analytického výzkumu. Informace o postupech využitelných ve výzkumné praxi se tak dostanou k uživatelům více kanály a v kontextu dalších široce využívaných zdrojů. Výzkumná aktivita je v souladu se zaměřením aktivit CESSDA v oblasti harmonizace a standardizace dat a výzkumných nástrojů a posílí odbornou kapacitu CSDA využitelnou v projektech spolupráce v rámci konsorcia. Aktivita navazuje na dříve řešené projekty v oblasti metodologického výzkumu (viz výše v podkapitole 3.3, bod 2). Aktivita využije též šetření realizovaná v KA1.

Způsob realizace KA2, výzkumné úlohy, výsledky

KA2 je v souladu s potřebami organizace postupu práce a tematickým zaměřením členěna do dvou úkolů.

Úkol 2.1: Analýza validity a ekvivalence měřicích nástrojů používaných ve výběrových šetřeních v České republice

Cílem je přinést informace o validitě a ekvivalenci měření vybraných měřicích nástrojů běžně používaných v dotazníkových šetřeních. Metodologickým východiskem jsou dvě analytické metody: (1) analýza tzv. response styles a (2) analýza časové ekvivalence měření.

Statistická analýza response styles (RS), resp. stylů odpovídání respondentů na položky ve vyvážené škále, odkrývá systematickou odchylku v datech, tj. sníženou validitu. Tato odchylka vzniká působením respondenta a použité metody měření, konkrétně Likertovy měřicí stupnice. Výskyt RS snižuje validitu měření a je definován jako tendence respondentů odpovídat zcela bez ohledu (strong response style) nebo částečně bez ohledu (se sníženou pozorností; weak response style) na obsah položky. Dělí se do několika druhů, z nichž jedním je např. tzv. acquiescence, tj. tendence odpovídat kladně. Výskyt RS v datech je identifikován v modelu konfirmativní faktorové analýzy (CFA) jako latentní proměnná definovaná určitými vlastnostmi. Výzkum RS je poměrně rozsáhlá oblast metodologického výzkumu s vysokým publikačním potenciálem v odborných časopisech. Praktickým výstupem studií bude informace o snížené validitě konkrétních měřicích nástrojů, přičemž tato informace bude přímo využita pro zvýšení kvality substanciální analýzy. To poslouží jako ukázka pro další badatele a badatelky, které získají další informace o možnostech analýzy validity. Teoreticky cenným a pro další výzkum využitelným výstupem bude informace o vztahu mezi RS v českých datech a ukazatelem kognitivních schopností respondenta. Budou tak získány informace o specificitě dosud nezkoumaného českého RS, které povedou k většímu porozumění kvalitě dat pocházejících z reprezentativních vzorků české populace. Tento poznatek bude užitečný jak pro studie mezinárodní srovnatelnosti měření, tak pro výhradně česká data. Měření vlivu kognitivních schopností na RS bude provedeno v omnibusovém měření CVVM a v šetření ISSP 2018. Pro měření kognitivních schopností bude využit zkrácený test kognitivních schopností vyvinutý v rámci Úkolu 2.2.

Dále bude využita metoda ekvivalence měření, která bývá zpravidla aplikována buď na mezinárodní data, nebo na data z longitudinálních studií. Předmětem studie bude právě časová srovnatelnost měření vybraného měřicího nástroje použitého v longitudinálním výzkumu. Hledisko metody časové ekvivalence měření vyvrací představu, že schopnost měření výzkumného nástroje při opakovaném použití zůstává totožná a že zamýšlený koncept je měřen se stále stejnou kvalitou. Ve skutečnosti totiž může docházet k větším či menším posunům ve schopnosti nástroje měřit daný koncept. K těmto posunům dochází v důsledku odlišného společenského kontextu, veřejného diskurzu i neustálého procesu formování veřejného mínění. Důsledkem posunu může být porušení tří možných typů ekvivalence – konfigurální, metrické a skalární – jejichž dodržení je v různé míře předpokladem srovnatelnosti dat. Pokud k posunu skutečně dochází a není reflektován, dopouští se výzkumníci srovnání údajů, které ve skutečnosti v každém časovém bodě reflektují něco jiného. Cílem studie je dodat informace o časové ekvivalenci měření konkrétního výzkumného nástroje. Tyto informace poslouží ke zvýšení kvality reportovaných substanciálních výsledků měření. Současně s ukázkou analýzy a zveřejněním jejích výsledků budou ilustrována rizika přímočarého porovnávání výsledků opakovaných výzkumů. Tato ilustrace poslouží dalším výzkumnicím a výzkumníkům k tomu, aby jejich longitudinální analýzy přinášely přesnější informace o zkoumaných tématech. Kromě uvedených metodologických informací poslouží studie časové ekvivalence měření vybraného nástroje i k rozšíření poznatků o vývoji veřejného mínění a krystalizaci postojů. Měření vybraného konceptu proběhne v rámci šetření Centra pro výzkum veřejného mínění SOÚ, které bude realizováno na reprezentativním vzorku dospělé populace České republiky sebraném metodou kvótního výběru.

Úkol 2.2: Vývoj a adaptace měřicích nástrojů pro použití ve výběrových šetřeních v ČR

Motivací pro studii je na jedné straně problematika přebírání výzkumných nástrojů z kulturně odlišného prostředí, na straně druhé potřeba zavedení měřicích nástrojů, které budou sloužit českému sociálněvědnímu výzkumu jako prostředky získání důležitých informací a které v současné době nejsou k dispozici. V rámci úkolu 2.2 bude adaptována konkrétní škála pocházející z odlišného kulturního prostředí a v současné době užívaná v zahraničních výzkumech; budou adaptovány a validizovány psychometrické testy pocházející z jiného kulturního prostředí a dále budou optimalizovány nástroje pro výzkum sociálních sítí a kulturních zdrojů (Lin, Erickson et al. 2007; Punter 2016; Robson, Sanders et al. 2009; Sullivan 2007; Vloedgraven, Verhoeven 2009).

Podstatná část měřicích nástrojů používaných v českých výběrových šetřeních pochází zpravidla ze západní Evropy a z USA, což s sebou přináší potřebu tyto nástroje prověřovat. Využívání těchto instrumentů je nezbytné podmínit detailním empirickým testováním, které posoudí jejich validitu v českém kontextu.

Úkol 2.2 se nejprve zaměří na detailní analýzu validity a reliability vybrané škály, přičemž v současné době jako nejnaléhavější problém vnímáme absenci validizované škály měřící xenofobní postoje obyvatel ČR. Současně proběhne adaptace a validizace několika zkrácených psychometrických nástrojů měřících kognitivní schopnosti a gramotnost. Plánované validizační studie zkrácených psychometrických nástrojů následují trend v zahraničním výzkumu, kde zjišťování latentních rysů kognice a gramotnosti ve výběrových šetřeních není ojedinělé. Studie několika testů gramotnosti bude vycházet z dat již získaných v probíhající panelové studii vývoje počáteční gramotnosti žáků, která dotazuje žáky základních škol a nově i jejich rodiče.

V tomto šetření bude dále provedeno měření pomocí testů kognitivních schopností. Vzniknou dvě verze úsporného měřicího nástroje pro dospělé a pro děti. Využití těchto longitudinálních dat poskytne možnost ověření vlastností nástrojů pomocí opakovaného a paralelního měření v dyádě rodič-dítě. Vedle analýzy reliability tak bude možné testovat konstruktovou validitu, což je praxe jdoucí nad rámec běžně užívaných nástrojů kontroly kvality měření. Vytvoření krátkých dotazníkových nástrojů měřících kognitivní schopnosti a gramotnost, které v českém prostředí dosud chybí, je velmi žádoucí, neboť ukazatele gramotnosti a kognitivních dovedností dětí a dospělých jsou důležitým prediktorem životních trajektorií, využití však nalézají i ve výzkumu dalších témat. Adaptovaný a validizovaný nástroj měření kognitivních dovedností dospělých bude využit pro studii též úkolem 2.1 a v budoucnosti bude sloužit i dalším výzkumníkům, kteří budou ve výběrových šetřeních zjišťovat kognitivní schopnosti a jejich vztah např. k dosaženému vzdělání, reportovaným příjmům nebo pracovní pozici.

Úkol 2.2 se dále zaměří na optimalizaci a standardizaci nástrojů měření sociálních sítí a kulturních zdrojů (sociální a kulturní kapitál). V současné době se lze v mnoha průřezových reprezentativních výzkumech setkat s širokou paletou dosud nestandardizovaných nástrojů měření a charakteristik egocentrických sociálních sítí jednotlivců, tj. osobních sítí kontaktů, o nichž informují sami respondenti (např. pomocí jmenného, pozičního nebo zdrojového generátoru), kulturního kapitálu (kulturní participace, vkus, výchova, gramotnostní milieu rodiny), které jsou často velmi časově a tedy i ekonomicky nákladné. Cílem studie je optimalizovat vybrané nástroje měření zdrojů v sociálních sítích a kulturních zdrojů, ověřit možnosti měření mezigenerační transmise a časového rámce (příčina-následek). Na základě dostupných datových souborů a nového sběru dat bude ověřována validita a reliabilita těchto nástrojů v rámci modelu sociální mobility (mj. problematika retrospektivního dotazování) a nově také v souvislosti s kognitivními a nekognitivními rysy. Studie naváže na výzkum, který CSDA realizoval v roce 2014, sběr dat proběhne v rámci omnibusového dotazníkového šetření (CVVM), jehož součástí bude rozšířený nástroj měřící nekognitivní vlastnosti a test kognitivních dovedností. Tato data budou také využita v rámci úkolu 2.1. Studie rovněž přispěje k řešení tématu ISSP Sociální sítě v úkolu 1.1 v KA1 (adaptace a ověření validity nástrojů měření v českém prostředí).

Přehled plánovaných výstupů KA2

V rámci KA2 je naplánováno vytvoření minimálně 6 vědeckých studií v časopisech databází WoS nebo Scopus. Dále budou vytvořeny 3 datové soubory a dokumentace pro archivaci v CSDA a 3 sady instruktážních materiálů v češtině a angličtině s tematikou „response scale“, psychometrických testů a časové ekvivalence škál.