Самая вредная вещь, которую вы усвоили в школе, не относилась ни к какому конкретному предмету. Это было умение получать хорошие оценки.
Когда я учился в колледже, один очень искренний аспирант-философ однажды сказал мне, что его никогда не волновало, какую оценку он получит по предмету — важно было лишь то, что он узнал. Это врезалось мне в память, потому что это был единственный случай, когда я слышал от кого-то подобные слова.
Для меня, как и для большинства студентов, оценка знаний в колледже полностью затмевала само обучение. Я был достаточно прилежен; мне были искренне интересны почти все курсы, которые я слушал, и я много трудился. И все же усерднее всего я работал именно тогда, когда готовился к экзамену.
В теории тесты — это лишь то, чем они кажутся по названию: проверка того, что вы усвоили на занятиях. В теории вам не должно требоваться готовиться к экзамену по предмету больше, чем к анализу крови. В теории вы учитесь, посещая занятия, слушая лекции, читая литературу и/или выполняя задания, а последующий тест просто измеряет, насколько хорошо вы все усвоили.
На практике, как знает почти каждый читатель, все настолько иначе, что подобное объяснение сути занятий и экзаменов звучит как этимология слова, чье значение полностью изменилось. На практике фраза «готовиться к экзамену» была почти тавтологией, потому что именно тогда и происходила настоящая учеба. Разница между прилежными и ленивыми студентами заключалась в том, что первые зубрили перед экзаменами, а вторые — нет. Никто не сидел ночами напролет через две недели после начала семестра.
Хотя я был прилежным студентом, почти вся работа, которую я делал во время учебы, была направлена на то, чтобы получить за что-то хорошую оценку.
Многим покажется странным, что в предыдущем предложении есть слово «хотя». Разве я не констатирую очевидное? Разве не в этом суть прилежного студента — быть отличником? Вот насколько глубоко отождествление учебы с оценками проникло в нашу культуру.
Так ли уж плохо путать учебу с оценками? Да, это плохо. И лишь спустя десятилетия после колледжа, когда я руководил Y Combinator, я понял, насколько это плохо.
Конечно, еще будучи студентом, я знал, что подготовка к экзамену далека от реального обучения. Как минимум знания, вбитые в голову за ночь перед экзаменом, не задерживаются надолго. Но проблема еще серьезнее. Настоящая беда в том, что большинство тестов даже близко не измеряют то, что должны измерять.
Если бы тесты действительно проверяли знания, все было бы не так страшно. Получение хороших оценок и обучение сходились бы воедино, пусть и с небольшим запозданием. Проблема в том, что почти любые тесты, которые дают студентам, ужасно легко взломать. Большинство тех, кто получал хорошие оценки, знают это — и знают настолько хорошо, что перестали даже подвергать это сомнению. Вы сами это поймете, когда увидите, как наивно звучит попытка действовать иначе.
Представьте, что вы изучаете курс средневековой истории и приближается итоговый экзамен. Он ведь должен проверять ваши знания по средневековой истории, верно? Значит, если у вас есть пара дней до экзамена, то лучший способ провести это время, чтобы успешно его сдать, — прочитать лучшие книги по средневековой истории, какие только удастся найти. Тогда вы будете отлично в ней разбираться и хорошо сдадите экзамен.
«Нет, нет, нет», — скажут себе опытные студенты. Если вы просто прочтете хорошие книги по средневековой истории, большей части усвоенного вами на экзамене не будет. Читать нужно не хорошие книги, а конспекты лекций и заданную литературу по этому конкретному курсу. Да и из этого большую часть можно проигнорировать, потому что беспокоиться нужно только о том, что может превратиться в экзаменационный вопрос. Вы ищете четко очерченные порции информации. Если в рекомендованной статье есть интересное отступление на тонкую тему, его можно спокойно пропустить: его вряд ли превратят в вопрос на тесте. Но если профессор говорит, что у Великого западного раскола 1378 года было три основные причины, а у Черной смерти — три главных последствия, вам лучше вызубрить именно их. И были ли они на самом деле теми самыми причинами или последствиями — совершенно неважно. В рамках этого курса они таковыми являются.
В университетах часто ходят копии старых экзаменационных билетов, и они сужают круг того, что нужно выучить, еще сильнее. Вы не только узнаете, какие типы вопросов любит этот профессор, но зачастую получите и сами реальные задания. Многие преподаватели используют их повторно. Прочитав курс 10 лет, трудно удержаться от этого, хотя бы случайно.
На некоторых предметах у вашего преподавателя будут свои политические или идеологические пристрастия, и если так, вам придется под них подстраиваться. Степень этой необходимости бывает разной. На занятиях по математике, точным наукам или инженерии это требуется редко, но на другом конце спектра есть дисциплины, где без этого просто нельзя получить хорошую оценку.
Получение хорошей оценки по предмету X настолько отличается от глубокого изучения предмета X, что приходится выбирать что-то одно, и нельзя винить студентов за то, что они выбирают оценки. Все судят о них по оценкам — магистратуры, работодатели, стипендиальные комитеты и даже собственные родители.
Мне нравилось учиться, и я получал огромное удовольствие от некоторых эссе и программ, которые писал в колледже. Но случалось ли мне когда-нибудь после сдачи работы сесть и написать еще одну просто ради удовольствия? Конечно нет. Мне нужно было сдавать задания по другим предметам. Если дело доходило до выбора между знаниями и оценками, я выбирал оценки. Я пришел в колледж не для того, чтобы завалить учебу.
Любой, кому важны хорошие оценки, вынужден играть в эту игру, иначе его обойдут те, кто в нее играет. А в элитных университетах это означает практически всех, поскольку тот, кого оценки не заботили, вряд ли вообще туда попал бы. В результате студенты соревнуются в том, чтобы максимально увеличить разрыв между реальным обучением и получением хороших оценок.
Почему экзамены так плохи? Точнее, почему их так легко взломать? Любой опытный программист ответит на это. Насколько легко взломать программу, автор которой даже не думал о защите от взлома? Обычно она оказывается дырявой как решето.
Взламываемость — это состояние по умолчанию для любого теста, установленного властью. Причина, по которой тесты, которые вам дают, стабильно так плохи — стабильно далеки от измерения того, что они должны измерять, — кроется просто в том, что люди, их создающие, не прикладывают особых усилий для защиты от взлома.
Но нельзя винить преподавателей в том, что их тесты уязвимы. Их работа — учить, а не создавать невзламываемые экзамены. Настоящая проблема — это сами оценки, а точнее то, что они перегружены смыслами. Если бы оценки были лишь способом подсказать студенту, что он делает правильно, а что нет — как тренер дает советы спортсмену, — у студентов не было бы соблазна взламывать тесты. Но, к сожалению, начиная с определенного возраста оценки перестают быть просто советом. С определенного возраста процесс обучения почти всегда сопровождается тем, что вас еще и судят.
Я привел в пример тесты в колледже, но на самом деле их-то взломать сложнее всего. Все тесты, через которые проходит большинство учеников за всю свою жизнь, как минимум столь же плохи, включая самый грандиозный из них — тот, что открывает дорогу в колледж. Если бы поступление в колледж сводилось лишь к тому, что приемная комиссия измеряет качество ума так же, как физики измеряют массу объекта, мы могли бы просто сказать подросткам: «учитесь как можно больше», — и на этом успокоиться. Насколько плох этот вступительный тест, можно понять по тому, насколько непохожа на это реальная старшая школа. На практике причудливая и специфическая ерунда, которой амбициозные подростки вынуждены заниматься в школе, прямо пропорциональна уязвимости системы приема в колледжи. Предметы, на которые вам плевать и где все сводится к зубрежке; случайные «внеклассные занятия», в которых нужно участвовать ради видимости «всесторонней развитости»; стандартизированные тесты, такие же искусственные, как шахматы; «эссе», которое должно попасть в какую-то очень специфическую мишень, хотя вам никто не говорит, в какую именно.
Этот тест плох не только тем, что он делает с детьми, но и тем, что он чрезвычайно уязвим для взлома. Настолько, что вокруг его взлома выросли целые индустрии. Это прямая задача компаний по подготовке к тестам и консультантов по поступлению, но значительную часть этой функции выполняют и частные школы.
Почему именно этот тест так легко взломать? Думаю, дело в том, что именно он измеряет. Хотя популярный миф гласит, что для поступления в хороший колледж нужно быть просто очень умным, сотрудники приемных комиссий элитных вузов вовсе не ищут — и даже не претендуют на то, чтобы искать — только это. Что же они ищут? Людей, которые не просто умны, но и привлекательны в каком-то более широком человеческом смысле. А как измеряется эта широкая привлекательность? Приемная комиссия ее «чувствует». Иными словами, они берут тех, кто им нравится.
Таким образом, поступление в колледж — это тест на то, соответствуете ли вы вкусам определенной группы людей. Разумеется, такой тест обречен быть уязвимым. А поскольку он очень уязвим и на кону стоит (как считается) слишком многое, его взламывают как ничто другое. Вот почему он так сильно и так надолго искажает вашу жизнь.
Неудивительно, что старшеклассники часто чувствуют отчуждение. Форма их жизни абсолютно искусственна.
Но пустая трата времени — это еще не самое худшее, что делает с вами система образования. Самое худшее — она приучает вас к мысли, что путь к победе лежит через взлом плохих тестов. Это гораздо более тонкая проблема, которую я не замечал, пока не увидел ее проявление у других людей.
Когда я начал консультировать основателей стартапов в Y Combinator, особенно молодых, меня озадачивало то, как они умудрялись все усложнять. «Как, — спрашивали они, — привлечь деньги? В чем трюк, заставляющий венчурных инвесторов захотеть вложиться в нас?» Лучший способ заставить инвесторов захотеть дать вам денег, объяснял я, — это действительно быть хорошей инвестицией. Даже если вам удастся обманом заставить венчурных капиталистов вложиться в плохой стартап, вы обманете и самих себя. Вы вкладываете свое время в ту же самую компанию, куда просите их вложить деньги. Если это плохая инвестиция, зачем вы вообще этим занимаетесь?
«Ого», — говорили они, и затем, после паузы на переваривание этого откровения, спрашивали: «А что делает стартап хорошей инвестицией?»
Тогда я объяснял, что стартап делает многообещающим — не только в глазах инвесторов, но и на самом деле — рост. В идеале рост выручки, но как минимум — рост аудитории. Все, что им нужно было сделать, — это привлечь много пользователей.
А как привлечь много пользователей? На этот счет у них была масса идей. Им нужен был громкий запуск, который обеспечит им «охваты». Им нужны были влиятельные люди, которые заговорят о них. Они даже знали, что запускаться нужно непременно во вторник, потому что во вторник привлекается больше всего внимания.
Нет, объяснял я, так пользователей не привлекают. Чтобы получить много пользователей, нужно сделать продукт по-настоящему классным. Тогда люди будут не просто пользоваться им, но и советовать друзьям, и ваш рост станет экспоненциальным, как только вы сдвинете его с мертвой точки.
В этот момент я сообщал основателям вещь, которая кажется абсолютно очевидной: хорошую компанию строят, создавая хороший продукт. И тем не менее их реакция напоминала то, что, должно быть, испытывали физики, впервые услышав теорию относительности: смесь изумления перед кажущейся гениальностью и подозрения, что нечто столь странное просто не может быть правдой. «Хорошо, — говорили они с покорным видом. — А вы не могли бы познакомить нас с таким-то влиятельным человеком? И помните: мы хотим запуститься во вторник».
Иногда у основателей уходили годы на то, чтобы усвоить эти простые уроки. И не потому, что они были ленивыми или глупыми. Они просто были слепы к тому, что находилось прямо перед их глазами.
«Почему, — спрашивал я себя, — они всегда все так усложняют?» И однажды я понял, что этот вопрос отнюдь не риторический.
Почему фаундеры завязывались в узлы, делая совершенно не то, когда правильный ответ лежал на поверхности? Потому что именно этому их учили. Их образование внушило им, что путь к победе — это взлом теста. Причем им даже не говорили, что их этому учат. Те, кто был моложе, недавние выпускники, никогда в жизни не сталкивались с неискусственными тестами. Они думали, что так устроен мир: сталкиваясь с любой задачей, вы первым делом ищете лазейку, позволяющую хакнуть тест. Вот почему разговоры всегда начинались с того, как поднять раунд, — ведь именно это считывалось как экзамен. Он проходил в конце YC. К нему прилагались цифры, а чем больше цифры, тем вроде бы лучше. Это наверняка и есть тест.
Конечно, в мире полно сфер, где путь к победе действительно лежит через взлом тестов. Это явление не ограничивается школами. И некоторые люди, в силу идеологии или невежества, утверждают, что в стартапах все устроено так же. Но это не так. На самом деле одна из самых поразительных черт стартапов заключается в том, насколько часто вы побеждаете просто за счет качественной работы. Бывают исключения, как и везде, но в целом вы выигрываете, привлекая пользователей, а пользователей волнует только одно: решает ли продукт их задачу.
Почему мне потребовалось столько времени, чтобы понять, почему фаундеры все усложняют? Потому что я сам до конца не осознавал, что школа учит нас побеждать через взлом плохих тестов. И не только их, но и меня! Меня тоже натаскивали на взлом плохих тестов, и я не отдавал себе в этом отчета еще десятилетия спустя.
Я жил так, будто понимал это, но не зная истинной причины. Например, я избегал работы в крупных корпорациях. Но если бы вы спросили почему, я бы ответил, что они фальшивые или забюрократизированные. Или просто вызывают тошноту. Я никогда не понимал, какая доля моей неприязни к крупным компаниям была вызвана тем, что победа там достигается за счет взлома плохих тестов.
Точно так же именно невзламываемость проверок во многом привлекала меня в стартапах. Но опять же, я не формулировал это для себя явно.
По сути, путем последовательных приближений я пришел к тому, для чего существует точное аналитическое решение. Я постепенно избавлялся от привычки хакать плохие тесты, даже не понимая, что делаю это. Может ли выпускник учебного заведения изгнать этого демона, просто узнав его имя и приказав ему уйти? Попробовать определенно стоит.
Один лишь открытый разговор об этом феномене способен изменить ситуацию к лучшему, поскольку большая часть его силы держится на том, что мы воспринимаем его как данность. Когда вы его замечаете, он кажется слоном в комнате, но это на редкость хорошо замаскированный слон. Это явление настолько старое и повсеместное. И возникло оно просто из-за невнимательности. Никто не хотел делать систему такой специально. Так неизбежно получается, когда вы смешиваете обучение с оценками, конкуренцией и наивной верой в то, что тесты нельзя обмануть.
Для меня стало потрясением осознание того, что две вещи, над которыми я ломал голову больше всего, — фальшь старшей школы и неспособность фаундеров видеть очевидное — имеют одну и ту же причину. Редко случается, когда столь огромный фрагмент мозаики встает на место так поздно.
Обычно, когда такое происходит, это влечет за собой выводы для самых разных областей, и этот случай — не исключение. Например, это наводит на мысли о том, как улучшить образование и как именно его можно исправить. Но это также дает потенциальный ответ на вопрос, которым задаются все крупные корпорации: «Как нам стать больше похожими на стартап?» Я не стану разбирать сейчас все следствия. Здесь я хочу сосредоточиться на том, что это значит для каждого отдельного человека.
Для начала это значит, что большинству амбициозных ребят, выпускающихся из колледжей, предстоит кое-что забыть. Но это также меняет ваш взгляд на мир. Вместо того чтобы смотреть на различные профессии и смутно оценивать их привлекательность, теперь можно задать очень конкретный вопрос, который рассортирует их весьма интересным образом: в какой степени успех в этой деятельности зависит от взлома плохих тестов?
Было бы полезно иметь способ быстро распознавать плохие тесты. Есть ли здесь закономерность? Оказывается, есть.
Тесты можно разделить на два типа: те, что навязаны авторитетами, и те, что нет. Тесты, которые не навязаны властью, принципиально невзламываемы — в том смысле, что никто не претендует на то, будто они проверяют нечто большее, чем показывают на самом деле. Футбольный матч, к примеру, — это просто проверка того, кто победит, а не того, какая команда объективно лучше. Это видно хотя бы по тому, что комментаторы иногда говорят после игры: «Сегодня победила более слабая команда». В то время как тесты, установленные авторитетами, обычно служат суррогатом чего-то другого. Экзамен по предмету должен измерять не просто то, насколько хорошо вы написали конкретный тест, а то, сколько вы узнали за весь курс. И если тесты без вмешательства авторитетов невзламываемы по своей природе, то тесты, навязанные властью, приходится намеренно делать защищенными. Чего обычно не делают. Так что в первом приближении плохие тесты — это тесты, навязанные авторитетами.
Вам может даже нравиться побеждать путем взлома плохих тестов. Наверняка кому-то это по душе. Но я готов поспорить, что большинству людей, оказавшихся на такой работе, это не нравится. Они просто принимают это как должное, считая, что так устроен мир — если только ты не хочешь все бросить и стать хиппи-ремесленником.
Подозреваю, многие молчаливо предполагают, что работа в сфере с плохими тестами — это цена за большие деньги. Но это, уверяю вас, неправда. Когда-то это было правдой. В середине двадцатого века, когда экономика состояла из олигополий, единственным путем наверх была игра по их правилам. Но сейчас это не так. Сегодня существуют способы разбогатеть, просто делая классную работу, и отчасти поэтому идея стать богатым вызывает сейчас гораздо больше энтузиазма, чем раньше. Когда я был ребенком, можно было либо стать инженером и создавать крутые вещи, либо зарабатывать кучу денег, став «топ-менеджером». Теперь же можно зарабатывать кучу денег, создавая крутые вещи.
Взлом плохих тестов теряет актуальность по мере того, как разрушается связь между работой и внешним авторитетом. Размывание этой связи — один из важнейших современных трендов, и мы видим его последствия практически в любой сфере деятельности. Стартапы — один из наиболее заметных примеров, но то же самое происходит и в писательстве. Авторам больше не нужно подстраиваться под издателей и редакторов, чтобы достучаться до читателей; теперь они могут выходить к ним напрямую.
Чем больше я размышляю над этим вопросом, тем больший оптимизм испытываю. Похоже, это одна из тех ситуаций, когда мы не понимаем, насколько сильно что-то нас сдерживало, пока это препятствие не исчезнет. И я предвижу, как рухнет вся эта фальшивая громада. Представьте, что произойдет, когда все больше людей начнут задаваться вопросом, хотят ли они побеждать за счет взлома плохих тестов, и решать, что нет, не хотят. Сферы, где победа строится на хаках, окажутся на голодном пайке без талантов, а в сферы, где побеждают хорошей работой, хлынет поток самых целеустремленных людей. А по мере того как взлом плохих тестов будет терять значимость, эволюционирует и образование — оно перестанет нас этому учить. Представьте, как мог бы выглядеть мир, если бы это произошло.
Это урок, который нужно забыть не только отдельным людям, но и всему обществу, и мы поразимся тому, сколько энергии высвободится, когда мы это сделаем.
Примечания
[1] Если идея использовать тесты исключительно для измерения знаний кажется несбыточной утопией, знайте: именно так все уже устроено в Lambda School. В Lambda School нет оценок. Вы либо выпускаетесь, либо нет. Единственная цель проверочных заданий — решить на каждом этапе программы, готовы ли вы перейти к следующему. Так что фактически вся школа работает по системе зачет/незачет.
[2] Если бы итоговый экзамен представлял собой обстоятельную беседу с профессором, подготовиться к нему можно было бы простым чтением хороших книг по средневековой истории. Большая доля уязвимости школьных тестов связана с тем, что один и тот же экзамен приходится принимать у огромного количества учащихся.
[3] Обучение — это наивный алгоритм получения хороших оценок.
[4] У слова хакинг есть несколько значений. В узком смысле оно означает взлом или компрометацию чего-либо. Именно в этом смысле взламывают плохой тест. Но есть и другое, более широкое значение: нахождение неожиданного решения проблемы, зачастую за счет нестандартного взгляда на вещи. Хакинг в этом смысле — прекрасная вещь. И действительно, некоторые приемы, которые люди используют против плохих тестов, поразительно изобретательны; проблема кроется не столько во взломе, сколько в том, что из-за своей уязвимости тесты перестают проверять то, для чего они предназначались.
[5] Те, кто отбирает стартапы в Y Combinator, похожи на членов приемной комиссии, за исключением того, что вместо произвола их критерии отбора калибруются очень жестким контуром обратной связи. Если вы примете плохой стартап или откажете хорошему, вы обычно узнаете об этом самое позднее через год-два, а зачастую уже через месяц.
[6] Я уверен, что сотрудникам приемных комиссий надоело читать заявки от подростков, за которыми, кажется, не стоит никакой индивидуальности, кроме готовности казаться именно такими, какими нужно казаться, чтобы тебя приняли. Чего они не понимают, так это того, что они в некотором смысле смотрятся в зеркало. Отсутствие подлинности в абитуриентах — это прямое отражение произвола самого процесса отбора. С таким же успехом диктатор мог бы жаловаться на неискренность своего окружения.
[7] Под хорошей работой я имею в виду не моральную безупречность, а то качество, с которым хороший мастер выполняет свое дело.
[8] Существуют пограничные случаи, когда сложно определить категорию теста. Например, привлечение венчурного капитала больше похоже на поступление в вуз или на продажу продукта клиенту?
[9] Заметьте, что хороший тест — это просто невзламываемый тест. «Хороший» здесь означает не моральное совершенство, а функциональную пригодность. Разница между сферами с плохими и хорошими тестами заключается не в том, что первые злые, а вторые добрые, а в том, что первые фальшивые, а вторые — настоящие. Впрочем, эти два критерия связаны между собой. Как сказала Тара Плауман, путь от добра ко злу лежит через фальшь.
[10] Людям с опытом в стартапах те, кто считает, что недавний рост экономического неравенства вызван изменениями в налоговой политике, кажутся невероятно наивными. Сегодня богатеют совсем другие люди, чем прежде, и они становятся гораздо богаче, чем позволила бы простая экономия на налогах.
[11] На заметку родителям-«тиграм»: вы можете думать, будто учите детей побеждать, но если вы учите их побеждать через взлом плохих тестов, вы, как это часто бывает с родителями, готовите их к прошлой войне.
Спасибо Остену Оллреду, Тревору Блэквеллу, Патрику Коллисону, Джессике Ливингстон, Роберту Моррису и Харджу Таггару за прочтение черновиков этой статьи.