nedeľa 27. októbra 2013

Oblasti, kde sa (ne)môžete stať expertom




Experti na predpovedanie akciového trhu a odborníci na finančné investovanie sa hrdia svojimi titulmi  a názormi na vývoj trhu, ale už pomenej výsledkami svojich minulých predpovedí, ktoré sú v skutočnosti značne nepresné, ako bolo už mnohokrát vedecky dokázané. Táto nepresnosť je  spôsobená doménou, oblasťou, v ktorej vykonávajú svoju činnosť a ktorá im nikdy neumožní úplnú spoľahlivosť predpovedí.  Možno by vás veľmi prekvapilo, že aj v iných povolaniach, ktoré považujeme taktiež za čisto odborné a prevádzkované vzdelanými profesionálmi, ako napríklad rôzni iní konzultanti, sudcovia v anglosaskom právnom systéme, či klinickí psychológovia   sú niekedy výsledky ich práce tiež na nečakane slabej úrovni.

Skutočnosť, či sa môžete alebo nemôžete stať expertom, ktorý dokáže riešiť a predpovedať  určité problémy, nezávisí len od ľudí samotných.  Veľmi veľkú úlohu zohráva doména (oblasť),  v ktorej pôsobia.   K týmto záverom prišlo mnoho výskumníkov a  James Shanteau (1992) ich presne vymedzil.  Na základe slabého výkonu expertov skúmal  charakteristiky prostredia, v ktorých títo vykonávali svoju expertnosť.  Za charakteristiky ktoré sú zodpovedné za slabý výkon považujeme nasledovné : dynamické podnety, rozhodnutia o správaní, nezhoda u expertov pri podnetoch, menej predikovateľné problémy, jedinečné úlohy, nedostupná spätná väzba, možnosť len subjektívnej analýzy, nerozložiteľný  problém a nedostupné prostriedky na pomoc pri rozhodovaní.  A naopak za dobré charakteristiky prostredia považujeme: statické podnety, rozhodnutia o veciach, zhoda expertov ohľadne podnetov,  predikovateľné problémy, opakujúce sa úlohy, dostupná spätná väzba, možnosť objektívnej analýzy, problém rozložiteľný na časti a dostupné prostriedky na pomoc pri rozhodovaní. Tieto zistenia neskôr potvrdili mnohí iní vedci, medzi nimi aj nositeľ Nobelovej ceny za ekonómiu Daniel Kahneman spolu Gary Kleinom (2009).
Keď budeme uvažovať o týchto charakteristikách v kontexte pracovných oblastí , potom môžeme povolania rozdeliť tiež do dvoch kategórií. Ak vás zaujímajú ktoré sú to, tak uvedieme povolania, ktoré vybral  Shanteu (1992). Všimnime si, že medzi poslednými miestami s dobrým aj slabým výkonom  boli v minulosti  rovnaké povolania (napr. lekári, alebo audítori).  Príčinou je, že podávajú zmiešané výkony, teda aj dobré, aj slabé, no je u nich tendencia zlepšovať sa. V podstate všetky povolania a experti v nich začínajú najprv v slabých výkonoch. No keď sa oblasť rozvíja, pribúdajú nové poznatky, postupy a vedomosti, tak sa výkonnosť expertov tiež zvyšuje, viac sprofesionálňuje a potom sa objavujú aj dobré výkony. Všetky povolania v minulosti  začínali v oblasti slabých výkonov a potom sa presunuli do dobrých výkonov. Dnes, vďaka zlepšeným pracovným postupom v medicíne a lepším diagnostickým možnostiam, sa už lekári ako aj zdravotné sestry nachádzajú v skupine dobrých výkonov.  Poďme sa teda pozrieť na jednotlivé skupiny povolaní.
Slabé výkony boli pozorované u klinických psychológov, psychiatrov, sudcov amerického právneho systému, behavioránych výskumníkov, poradcov, personálnych manažérov, súdnych úradníkov, pracovníkov s detektorom lží, informačných analytikov, burzových maklérov a v osemdesiatych rokoch aj u zdravotných sestier, lekárov a audítorov. Naopak dobré výkony boli pozorované u meteorológov, posudzovateľov dobytka, astronómov, testovacích pilotov, posudzovateľov kvality pôdy, šachových majstrov, fyzikov, matematikov, účtovníkov, poistných analytikov a dnes už aj u zdravotných sestier,  lekárov a audítorov. 
To či je úroveň výkonu vysoká alebo nízka vieme zmerať rôznymi spôsobmi. Jeden z nich je zmeranie miery ako sa experti vzájomne zhodnú, keď riešia rovnaký problém.  Na meranie zhody môžeme použiť okrem iných aj jednoduchú metódu korelácie, ktorá dosahuje hodnoty od 0 (experti sa vôbec nezhodli, resp. každý jeden odporúčal iné riešenie) po hodnotu 1 (všetci experti sa kompletne zhodli).  Ako vidíme v nasledujúcej tabuľke s korelačnými koeficientmi miera vzájomnej zhody expertov je v jednotlivých povolaniach rôzna.  Napríklad takmer všetci meteorológovia sa zhodli a ponúkli rovnaké riešenie simulovaného problému, no u burzových maklérov bola zhoda už ďaleko slabšia a na rovnakú úlohu ponúkali viacero odlišných riešení, čo si môžeme všimnúť samozrejme aj na Slovensku. Napríklad keď jeden významný slovenský ekonomický časopis požiadal  12 slovenských expertov na investovanie kam by odporučili klientom investovať voľné finančné prostriedky v priebehu roka, tak dostal viac než 12 úplne rôznych odporúčaní ! Takže vzájomná zhoda bola na úrovni 0.  

Tabuľka č. 1  Priemerná korelačná zhoda u expertov v rozličných doménach. (Shanteau, 2001).
Vysoké úrovne výkonu
Nízke úrovne výkonu
Rozhodnutia prostredníctvom pomôcok
Kompetentné
Obmedzené
Náhodné
Meteorológovia
Hodnotitelia dobytka
Klinickí psychológovia
Burzoví makléri
r = 0.95
r = 0.5
r = 0.4
r = 0.32
Audítori
Hodnotitelia obilnín
Patológovia
Pracovníci s detektorom lži
r = 0.76
r = 0.60
r = 0.55
r = 0.33

 Na Slovensku som testoval zhodu personálnych manažérov, ktorí  boli požiadaní aby určili významnosť  jednotlivých výberových metód používaných pri výbere uchádzačov ako napr. výsledky IQ testov, štruktúrovaný pohovor a iné. Následne sa skúmala miera vzájomnej zhody medzi personálnymi manažérmi. Zistil som, že miera vzájomnej zhody bola r = 0,54, čo znamená priemerný výkon a zhodu (Hanák, 2010).
Ako vidíme v hore uvedených tabuľkách, doména, v ktorej pôsobia odborníci veľmi ovplyvňuje to, či sa z nich môžu stať experti, ktorí dokážu s vysokou pravdepodobnosťou predpovedať budúce udalosti. Keď pracujú v prostredí zo zlými charakteristikami, tak aj vzájomná zhoda medzi nimi je menšia a nie je to ich osobná chyba, alebo nedostatočná kvalifikácia.  V takomto prostredí objektívne nie je v ľudských silách získať expertnosť, ktorá nezávisí od nich. Preto pri posudzovaní kto je alebo nie je expert, je nevyhnutné sledovať aj oblasť pôsobenia, pretože tá má objektívne väčší vplyv než vlastnosti ľudí, ktorí sa o expertnosť snažia. 

1.       SHANTEAU, J. 1992. Competence in experts. The role of task charakteristics.  Organizational behaviour and human decision processes 53, p. 252 -266 
2.       Kahneman, D., Klein, G. 2009. Conditions for intuitive expertise. American Psychologist, Vol. 64., N.6, p 515 -526
3.       HANÁK, R. 2010. Expert differences in setting cues for personnel selection.  In Ekonomický a Sociálny Rozvoj Slovenska: medzinárodná vedecká konferencia Vysokej školy ekonómie a manažmentu verejnej správy v Bratislave, Bratislava, 2010. Str.  32, rozsah strán : 8
4.       SHANTEAU, J. 2001. What does it mean when experts disagree ? In: Salas, E. – Klein, G. (Eds.) Linking expertise and naturalistic decision making. Mahwah, N. J.: Lawrence Erlbaum Associates

obrázok zdroj: http://romneyeconomics.com/category/uncategorized/

Ing. Mgr. Róbert Hanák, PhD.
Autor je výskumným pracovníkom Ústavu experimentálnej psychológie SAV a 
odborným asistentom na Katedre informačného manažmentu EU v Bratislave.




streda 23. októbra 2013

Šarlatáni a skutoční experti okolo nás





Vždy ma pobavia ad hoc experti typu : expert na chudnutie, expert na ochranu lesa, expert na osobné financie, expert na módu a podobne, ktorí vykonávajú svoju profesiu spolu s dnešným dňom už skoro mesiac a s nulovou odbornou prípravou. Súčasne som zdesený z médií, ktoré dovoľujú prezentovať svoje názory absolútnym šarlatánom a primitívom ohľadom  čisto odbornej problematiky a postupov.  Príkladom môžu byť kartárky a veštice, ktoré sa vyjadrujú k tomu či podozrivá osoba spáchala alebo nespáchala konkrétny trestný čin.  Takýto akože „experti“ priamo spôsobujú problémy spoločnosti a smerujú nás späť do temného stredoveku,  v ktorom sa sami mentálne pohybujú.
 Slovo expert sa dnes rozsiahlo sprofanovalo a vďaka pozitívnym asociáciám spájaných s expertnosťou sa v súčasnosti  za expertov neoprávnene prehlasujú najrôznejší jednotlivci, organizácie a profesie. Dnes viac ako v minulosti musíme konštatovať že mnohí si privlastnili titul expert absolútne neoprávnene a pravdepodobne vo viere na zvýšenie finančného obratu svojho podnikania.   Od  skutočných expertov majú však veľmi ďaleko.  Expertnosť a experti sú však vedecky aktívne skúmaní, existuje časť psychológie, ktorá sa venuje iba expertom a táto problematika je v odborných kruhoch už dostatočne prebádaná. V nasledujúcich odsekoch sa budem venovať niektorým základným znakom skutočnej expertnosti. Na úvod treba otvorene povedať, že neexistuje jedna vlastnosť, charakteristika či postup, ktoré by jednoducho definoval i experta. V skutočnosti musíme použiť viacero kritérií a prístupov, no ich sumár experta definuje pomerne spoľahlivo. Rozsah je príliš široký pre tento blog a tak vymenujeme len niektoré z najdôležitejších.
Požiadavky na experta
Pri definovaní požiadaviek na experta by sme mohli začať formálnym vzdelaním v predmetnej oblasti.  Objem vedomostí , znalostí, zručností  v predmetnej oblasti je základ, ktorý je nevyhnutný pre každého experta.  V drvivej väčšine prípadov je podložený úspešne ukončeným vzdelaním, ktoré môže zahŕňať titul a neraz aj požadované odborné skúšky (trénerské, advokátske, audítorské, atestačné u lekárov a podobne).  Splnenie základných vedomostných požiadaviek je prvým krokom a bránou k expertnosti. Všetky tieto podmienky v skutočnosti znamenajú, že daného človeka v minulosti skúšala a overovala kvalifikovaná komisia, či inštitúcia. Musel preukázať svoje vedomosti a znalosti pred odborne zdatnými ľuďmi, ktorí fundovane posúdili, či spĺňa aspoň základné podmienky. Každý výskum ohľadom expertnosti vždy potvrdil, že skutoční experti majú rozsiahle a súčasne hlboké vedomosti o svojej doméne a vysoko prevyšujú ostatných. Zdôrazňujem to preto, lebo dnes sa stretávame čoraz viac s názormi, že formálne skúšky a vzdelanie v predmetnej oblasti nie je potrebné a ľudia môžu byť expertmi aj bez týchto predpokladov.  Je to nezmysel, prevažne šírený ľuďmi, ktorí tieto základné predpoklady nespĺňajú a pritom sa za expertov vydávajú.
Skúsenosti sú ďalšia podmienka expertnosti. V podstate priame a praktické skúsenosti doplnia, rozšíria a niekedy aj vyvrátia získané vedomosti z formálneho vzdelania. Skúsenosti získava človek praxou a tu si osvojuje bežné a nevyhnutné postupy o prípadoch, ktoré sú časté. Veľmi dôležité sú však určité výnimky, ktoré sa síce nevyskytujú často, no môžu mať vážne následky. Expert sa relatívne rýchlo naučí dobre zvládať bežné a časté prípady, či situácie, ale skutočného experta robia práve určité výnimky a anomálie a ich poznanie a im prispôsobené adekvátne následné správanie.  Čo sa týka miery skúseností tak v odbornej a aj popularizačnej literatúre sa uvádza rôzny čas na dosiahnutie skutočnej expertnosti.  Nájdeme zmienky o minimálne 10 000 hodinách strávených intenzívnym zdokonaľovaním, iné zdroje uvádzajú aspoň 10 rokov minimálne po 4 hodiny denne. V každom prípade hovoríme o mnohých rokoch prípravy, kde sa adept na expertnosť denne pripravuje, cvičí, učí sa a zdokonaľuje sa. Nikto sa nemôže stať  expertom na akúkoľvek oblasť v priebehu pár mesiacov.
Jedna z kľúčových a najviac neznámych podmienok expertnosti je charakteristika domény inak aj oblasti, v ktorej expert pôsobí. Objektívne charakteristiky prostredia umožňujú alebo neumožňujú získať expertnosť.  Niektoré oblasti ľudskej aktivity ako napríklad odhadovanie vývoja akcií na finančnom trhu sú tak komplexné a rozsiahle, sústavne sa menia a podliehajú toľkým faktorom, že v nich nedokážeme nájsť zákony alebo vzorce, ktoré by nám s vysokou pravdepodobnosťou vysvetľovali presne ich budúci vývoj.  Hoci mnohí jednotlivci na investovaní zarobili obrovské peniaze, dôkladné dlhodobé výskumy vždy odhalili že to nebolo len vďaka  správnemu predpovedaniu vývoja akciového trhu, ale kvôli rôznym iným stratégiám a šťastiu. V takomto prostredí vždy budeme len hádať a špekulovať, a preto expertnosť v  investovaní  na akciovej burze v skutočnosti spočíva v nerobení závažných chýb a nie v presnom predpovedaní vývoja akcií v nasledujúcom týždni. Na základe výskumu boli definované prostredia kde sa expertnosť v predpovedaní budúcnosti prakticky nedá dosiahnuť. V niektorých sa dosahuje len veľmi ťažko avšak poznáme oblasti, kde je expertnosť dosiahnuteľná.  Zoznam dobrých a málo vhodných oblastí spolu so zoznamom povolaní nájde čitateľ  v samostatnom blogu tu.
Čiže ak expert pracuje v oblasti, kde je možnosť získať expertnosť ešte to automaticky neznamená, že skutočnú expertnosť aj získa. Musí sa veľmi aktívne zaujímať o spätnú väzbu svojich rozhodnutí a činov. Znie to síce samozrejme, no v praxi nie vždy bežný stav.  Záujem respektíve nezáujem o dlhodobé výsledky svojich rozhodnutí  je nevyhnutnou podmienkou na korekciu nesprávnych rozhodnutí.  Keď teda expert odporučí konkrétne riešenie alebo postup, musí sa potom zaujímať o výsledok.  Pretože ak nevie ako dopadli jeho odporúčania alebo návrhy nemôže nikdy robiť správne veci. V praxi sa bežne stretávame s tým, že kvázi expert nám niečo odporučil, ale ďalej sa už vôbec nezaujímal o to, ako to dopadlo a dnes nám odporúča niečo iné...  To, že profesionál si aktívne pýta spätnú väzbu, znova sa zaujíma podrobne o prípad a výsledky, je jedným zo znakov expertnosti.
Všímanie si drobných detailov umožňuje identifikovať  odlišné prípady, ktoré sa pri nepozornom pohľade môžu javiť ako rovnaké.  Preto si skutočný expert  pozorne všíma detaily, zaujíma sa o ne a keď robí rozhodnutie, tak ich berie do úvahy.  Rovnako ako v prípade spätnej väzby to nie je automatické akoby sme očakávali.  Keď som dával začiatočníkom v personálnom manažmente posúdiť uchádzačov na konkrétnu pracovnú pozíciu, tak sa im zdali veľmi podobní a hodnotili ich takmer rovnako. Nie však skúsení personálni manažéri, ktorí si systematicky všímali odlišnosti medzi uchádzačmi a následne ich vedeli veľmi presne rozlišovať.
Konzistentnosť v rozhodovaní  sa dá sledovať iba v dlhšom časovom horizonte. Znamená, že expert rovnaký problém rieši  vždy rovnako ak sa jeho riešenie ukázalo správne.  Šarlatán naopak nie je konzistentný a problém rieši raz tak, no ak sa vyskytne znova, tak ho rieši inak a odporúča iné veci.
Uviedli sme niektoré z najvýznamnejších predpokladov  k skutočnej expertnosti. Z nich vieme veľmi ľahko odvodiť pár pravidiel, ktoré nám môžu poslúžiť pri určení ľudí, ktorí rozhodne skutočnými expertmi nemôžu byť. Expertom nemôže byť osoba, ktorá :
1. Nemá príslušné odborné vzdelanie, skúšky, certifikáciu, alebo licenciu.  
2. Má málo skúseností a krátku prax.
3.  Pracuje v doméne, kde sa získava expertnosť len veľmi ťažko alebo sa nedá získať.
4. Nezaujíma sa o spätnú väzbu.
5.  Nezaujíma sa hlbšie o problém,  netrápia ho detaily.  
6. Nie je konzistentná v odporúčaných riešeniach.
Keď aplikujeme týchto zopár pravidiel na ľudí, ktorí sa vydávajú za expertov, zrazu zistíme, že ich počty sa významne preriedia.  Zostanú nám vzdelaní odborníci, s dlhoročnou praxou, aktívnym a zodpovedným prístupom k práci a len od nich môžeme očakávať kvalitné odporúčania podľa ktorých sa môžeme riadiť. 


Ing. Mgr. Róbert Hanák, PhD.
Autor je výskumným pracovníkom Ústavu experimentálnej psychológie SAV a 
odborným asistentom na Katedre informačného manažmentu EU v Bratislave.