Unskilled and Unaware of It

[eugenebo]

Удивительно интересная работа, найденная towerless.

Поскольку текст на английском, приведу краткую сводку результатов.



Авторами показано, что во многих областях человеческой деятельности завышение самооценки человеком прямо пропорционально степени его некомпетентности в этой области! Тест был устроен очень просто: сначала испытуемых просили пройти набор тестов из какой-либо области; затем, не говоря результатов, просили оценить, насколько, по мнению ипытуемых, они успешно справились с задачей.

Весьма показательна нижеприведённая картинка (к сожалению, доступна только в виде ссылки и лишь в мелком виде. Но там и так всё важное видно):

http://www.phule.net/mirrors/unskilled-and-unaware_files/S_psp7761121fig3a.gif

Кривулька, идущая под 45 градусов вверх из левого нижнего угла -- реальные результаты логических тестов, показанные группой испытуемых. Здесь ничего удивительного: разброс результатов большой, кто-то решил мало, кто-то много, как и ожидалось.

Две почти горизонтальных кривульки, пересекающие график слева направо на уровне 60-70 -- это высказанные самими испытуемыми оценки того: а) насколько, по их мнению, они хорошо решили тест; б) где, по их мнению, их результаты окажутся по сравнению со средним по группе.

Это просто потрясающе! Люди, решившие правильно лишь 10% задач, в глубине души считают, что они решили не меньше 60%, и что их результаты даже выше среднего!

Аналогичная картина получается не только в способности решать логические задачи, но и как минимум в: а) способности воспринимать юмор; б) способности писать правильно (грамматика). Предположительно, этот результат может быть распространён и на многие другие типы человеческой деятельности.

Иными словами, если определить степерь самоуверенности человека как отношение его мнения о способностях в той или иной области к реальным способностям в ней, то самыми самоуверенными оказываются как раз самые малознающие!

Далее, авторам удалось довольно убедительно показать, что (вероятно, единственным) действенным методом приведения мнения человека о своих способностях в соответствие с реальностью является его... обучение. Простое наблюдение за действиями или решениями людей действительно компетентных, равно как и (многочисленные) собственные ошибки не помогают малокомпетентным осознать своё неумение! А вот краткий курс по логике перед тестом давал заметные результаты.

Авторы объясняют это тем, что во многих областях навыки, необходимых для распознания своей (или чужой) некомпетентности -- это те же самые навыки, которые необходимы для собственной компетентности в этой области. То есть, человек, который не умеет решать задачи, не обладает "мыслительными конструкциями", которые позволяли бы ему понять, что он этого не умеет.

Эта особенность, вероятно, присуща большинству людей вне зависимости от их характера или уровня образования.

К сожалению, авторы не провели проверку на коррелляцию эффекта с общим уровнем интеллекта в областях, от логики далёких(скажем, умении петь). А было бы очень интересно :)

В целом, картина мира складывается мрачная. Буду теперь ходить и думать, что же ещё я полагаю, что умею, а на самом деле в этом ни бум-бум?

Comments

[egorick.livejournal.com]

Интересно! Спасибо!

Хотя, результат не удивил. Известно же, что чем больше ты в какой-либо области узнаёшь, тем больше тебе открывается непонятностей/вопросов/проблем в этой области, о существовании которых ты и предположить не мог.

На самом деле, результаты даже радуют. Ведь многие люди -- оптимисы :)

А вообще, спрашивать "на сколько процентов ты знаешь пение" -- это бред страшный, весь тест ничего не говорит :)

[eugenebo.livejournal.com]

Ну, по крайней мере некоторые составляющие умения петь оцениваются строго и количественно просто "на ура". Пример теста: человеу дают прослушать небольшую музыкальную фразу и затем просят её напеть. Квадрат разницы частот нот "эталонной" фразы и "нот" тестируемого суммируется. Чем выше получившаяся цифра -- тем больше человек фальшивил.

[egorick.livejournal.com]

оценить можно
но, думаю, человек НЕ сможет оценить своё умение адекватно методом "на глазок"

Тем не менее, разброса в ответах нет, люди знают, что не могут оценить умение, но любят быть серединкой.
Кстати, что за график без усов погрешности?!! :)

Единственное, что здесь удивительно -

[(Anonymous)]

Единственное, что здесь удивительно - сенсационность абсолютно на ровном месте. Вся удивительность - в дикой какой-то интерпретации результатов, чтобы создать "науку" из никчемности -- как желтая пресса создает сенсацию из обыденного.

Интерпретация графика, оскальпированная Оккамом, ПРИМИТИВНО ПРОСТА: САМООЦЕНКА НЕ ЗАВИСИТ ОТ КВАЛИФИКАЦИИ, ОНА ЯВЛЯЕТСЯ практически КОН-СТАН-ТОЙ.

Вы же - возможно вслед за жуликами распилившими какой-то университетский грант - поете об уникальности результата.
Это нехорошо. Начинайте выдавливать из себя по капле своего science freak'а.

Re: Единственное, что здесь удивительно -

[towerless.livejournal.com]

вы главное не переживайте :))
просто интересно видеть, что то, о чем так долго говорили большевики, было подтверждено экспериментально. людям существенно различающихся квалификаций/IQ/склада ума чрезвычайно сложно понять понять друг друга, и такие труды, как этот - это практически наш телескоп в другой мир :)

Re: Единственное, что здесь удивительно -

[eugenebo.livejournal.com]

Вероятно я, в силу недостатка времени, не смог полно изложить содержание работы. Но вы, уважаемый(ая?), похоже, тоже согрешили, не дав себе труда тщательно прочитать оригинал. Иначе бы вы, без сомнения, обратили внимание на два факта: а) не все тесты давали строго горизонтальную линию самооценки; б) предварительное обучение испытуемых основам предмета, по которому велось тестирование, изменяло не только результаты тестов, но и кривую самооценки.

Это как-то не очень согласуется с гипотезой о константной самооценке, вы не находите?

Читал в какой то НЛП книжке

[chokolad.livejournal.com]

О стадиях компетентности:
1. неосознанная некомпетентность - человек некомпетентен в какой то области и не осознает степени своей некомпетентности.
2. Осознанная некомпетентность - человек начал изучать область и стал понимать что он в ней некомпетентен
3. Осознанная компетентность - человек уже хорошо разбирается в области/обладает неки умением и осознает это.
4. Неосознанная компетентность - человек компетентен и уже не осознает этого, навык работает автоматически.

Утверждается что работает для всех навыков и областей человеских знаний. Банальный пример - обучение вождению машины.

[(Anonymous)]

Появилось две мысли... :)
Во-первых, вспомнилось, как во время учебы примерно
так и оценивались собственные письменные работы - если
я шла на экзамен/контрольную по предмету, который знала
плохо, я сначала удивлялась, как хорошо я работу написала,
потом получала заслуженную плохую оценку. И наоборот, по
предметам, с которыми были хорошие отношения,
расстраивалась, что, наверное можно было написать больше
и лучше, а потом выяснялось, что моя работа оказывалась
среди лучших в группе/на потоке... :)
Во-вторых, исходя из всего этого... Может, не так уж и не прав
мой начальник, когда мне кажется, что меня пора увольнять
за некомпетентность, а он меня вдруг начинает хвалить?... :)

P.S. В моем понимании речь идет не только о сугубо технических
направлениях...

//Anonymous_Marka

Вот не надо путать оценки в вузе с какой-либо объективн

[an-on1313.livejournal.com]

Был у меня случай - завалил я предмет. Терять толком было уже нечего в той сессии и к пересдаче я не готовился вовсе. На пересдаче гоняли по полной, однако отл.

Согласитесь, что +/- бал - ошибка округления, а 4 балла - это уже круче ;-)

[i-izm.livejournal.com]

А ведь, как правило, оценка способностей человека делается на основе оценки его самоуверенности. Что по-вашему оценивается на собеседовании при приеме на работу? По-моему как раз самоуверенность. Т. е. все по умолчанию считают, что зависимость самоуверенности от способностей прямо пропорциональна. А здесь показано, что это не так. Отсюда вся наша доморощенная психология в корне не верна, даже если уверенность просто не зависит от способностей. Плохо, что на том графике нет баров с ошибками.

[dennyrolling.livejournal.com]

ну еще бывает что про знания спрашивают какие-то вопросы... тут уже интервьюерам (как людям секущим) сразу все и становится понятно.

[i-izm.livejournal.com]

Важны все таки не знания, а скорее навыки. Вот если Евгения спросят как програмно узнать версии Linux (любимый вопрос при приеме на работу главы Петербургского Sun), это корректно не будет. Хотя кто бы сомневался в его проф. компетенции:)

[dennyrolling.livejournal.com]

это тонкая грань между "знания" и "навыки". я вот понятия не имею как узнать "версии" которые бывают в Linux :) но если бы меня кто-нибудь это спросил, то знаний у меня хватило бы что бы понять где копать, и скорее всего и продемонстрировать что если такая задача встанет - то и выкопать. при этом на тот же вопрос Вася Пупкин скорее послал бы в известном направлении, или вообще в глаз бы дал.
так что важны не "чистые знания" (типа - что бы показать диалог с одной кнопкой - используй MessageBox), а знания "вообще" и умение ими пользоваться.

[sceptic-008.livejournal.com]

"uname" ( a system call and also a user utility that can be run under a shell and used in shell scripts)
and/or "/proc" - by actually "cat"ting information from there under shell, or by using the programming syscalls to query /proc

Sun Solaris also has "/proc" pseudo filesystem, which is conceptually the same as that in Linux, but it does not report information in ASCII, so the use of special utilities when working under shell or special syscalls is unavoidable

[dennyrolling.livejournal.com]

да, мое мнение о сановских интервью резко упало.

[(Anonymous)]

Могу поспорить... :)
Приняла к себе на работу уже нескольких человек.
Выбором своим - довольна.
На самоуверенность кандидатов внимания особо
не обращала. Сейчас попыталась вспомнить проводимые
мной собеседования - как раз наиболее самоуверенные
кандидаты у меня пошли лесом, по ряду совсем других
причин. А одна из моих нынешних хороших сотрудниц на
собеседовании волновалась так, что даже плакала, и в
знаниях своих была абсолютно не уверена, оценивая их,
кстати, весьма адекватно - учить ее пришлось очень
многому... О чем я совершенно не жалею... :)

//Anonymous_Marka

[i-izm.livejournal.com]

Вы наверное пользовались результатами этого исследования
или аналогичными собственными наблюдениями :)

[(Anonymous)]

Да нет, в общем-то, ничем не пользовалась... :)
Просто обращала внимание на совершенно другие
аспекты человека... В частности, меня интересовали
природные склонности кандидатов к работе, которую
я им предлагала...
Какие-либо конкретных знаний я от них не ожидала,
хотя они, конечно, могли быть для них большим
плюсом...
Моя позиция - если человек умеет обучаться, то
научить я его смогу. А вот если он по природе своей
не склонен заниматься деятельностью определенного
рода, то ему работа будет в тягость, поэтому
хороших результатов с ним будет добиваться
труднее...
Примерно такие рассуждения... :)

Это я так... К теории проведения собеседований... :)

//Anonymous_Marka

[lissius.livejournal.com]

Спасибо, интересное наблюдение.
А что касается пения - тут то же самое работает.
Очень часто люди, которые поют весьма неплохо, стараются не петь вообще (по крайней мере, трезвыми :)), потому что думают, что делают это ужасно; те же, кому медведь на ухо наступил - часто вовсе петь не стесняются (к огорчению окружающих). Просто потому, что не слышат разницы между хорошим пением и плохим. То есть, отсутствуют те самые конструкции, только не мыслительные, а.. как бы это сказать.. слушательные :)))) Только тут график не построишь.

Но и общую самооценку тоже нельзя не принимать во внимание. Ту, которая у человека складывается на протяжении всей жизни и часто не особенно зависит от того, сколько и чего он знает и умеет. Это и детство, и образовательные учреждения, и родители, и учителя, и одноклассники - в общем всё, что человека окружает, может ему в этом смысле хорошенько поднасрать как раз тогда, когда психика еще совсем беззащитная.

Есть и еще один момент:
Если таки поднасрали и изуродовали человеку самооценку, то он нередко начинает доказывать себе и окружающим, что он все-таки чего-то стОит, и начинает усиленно работать над собой - такие люди очень часто добиваются успеха в бизнесе или просто профессиональной деятельности; однако во второй половине пути им открывается маленький, но подлый секретик: самооценке от этого ни жарко, ни холодно. Вот и получается в итоге классный компетентный специалист, успешный бизнесмен, талантливый писатель и т.д., считающий себя полнейшей бездарностью и вообще говном. Потому что самооценка его сформировалась задолго до того, как он вообще кем-то стал.

Тема большая и сложная.

[lissius.livejournal.com]

п.с. это только лишь моя точка зрения - предположение, такскть.
оспаривать можно и нужно :)

[l-ex.livejournal.com]

Имхо, самооценка шатается в зависимости от обстоятельств.
+ есть люди которые уже с детства 2-3 года начинают себя неадекватно оценивать, и чаще всего это у них не лечится...

[lissius.livejournal.com]

то, что она шатается - это само собой :)
но вот такого, чтоб обстоятельства на нее влияли глобально - такого не бывает :(

[l-ex.livejournal.com]

>чтоб обстоятельства на нее влияли глобально - такого не бывает :(

Имхо, защитный механизм не допускает резких глобальных изменений, т.к. это может навредить психике...может развиться, например, мания величия =)