Для многих это станет неожиданностью, но в некоторых случаях можно обнаружить предвзятость в процессе отбора, не зная абсолютно ничего об общем пуле кандидатов. Это потрясающе, поскольку, помимо прочего, означает, что сторонние наблюдатели могут использовать данный метод для выявления предвзятости независимо от того, хотят ли этого те, кто проводит отбор.
Вы можете использовать этот метод всякий раз, когда (а) у вас есть хотя бы случайная выборка отобранных кандидатов, (б) измеряются их последующие результаты и (в) сравниваемые группы кандидатов имеют примерно одинаковое распределение способностей.
Как это работает? Подумайте о том, что значит быть предвзятым. Если процесс отбора предвзят по отношению к кандидатам типа x, это означает, что им сложнее пройти отбор. А значит, кандидаты типа x должны быть лучше кандидатов не типа x, чтобы их выбрали. [1] Следовательно, кандидаты типа x, прошедшие отбор, будут показывать более высокие результаты, чем другие успешные кандидаты. И если результаты всех прошедших отбор измеряются, вы увидите, так ли это.
Конечно, тест, который вы используете для оценки эффективности, должен быть валидным. И в частности, он не должен искажаться той самой предвзятостью, которую вы пытаетесь измерить. Но есть области, где результаты поддаются измерению, и в них обнаружить предвзятость не составляет труда. Хотите узнать, был ли процесс отбора предвзят к определенному типу кандидатов? Проверьте, превосходят ли они остальных по результатам. Это не просто эвристика для выявления предвзятости. Это то, чем предвзятость и является по своей сути.
Например, многие подозревают, что венчурные фонды предвзято относятся к женщинам-основателям. Это было бы легко проверить: показывают ли среди их портфельных компаний стартапы с женщинами-основателями лучшие результаты, чем стартапы без них? Пару месяцев назад одна венчурная фирма (почти наверняка непреднамеренно) опубликовала исследование, демонстрирующее предвзятость такого рода. First Round Capital обнаружила, что среди ее портфельных компаний стартапы с женщинами-основателями превзошли стартапы без них на 63%. [2]
Причина, по которой я начал с утверждения, что этот метод удивит многих, заключается в том, что мы крайне редко видим исследования такого типа. Я уверен, что для First Round станет сюрпризом то, что они его провели. Сомневаюсь, что кто-то из них осознавал: ограничив выборку собственным портфелем, они получили исследование не стартап-трендов, а собственных предубеждений при отборе компаний.
Я прогнозирую, что в будущем этот метод будет использоваться чаще. Информация, необходимая для проведения подобных исследований, становится все более доступной. Данные о том, кто подает заявки, обычно тщательно охраняются проводящими отбор организациями, но сегодня данные о том, кто в итоге проходит отбор, часто открыты для любого, кто не поленится их собрать.
Примечания
[1] Этот метод не сработает, если процесс отбора оценивает разные типы кандидатов по разным критериям — например, если работодатель нанимает мужчин на основе их способностей, а женщин — на основе их внешности.
[2] Как отмечает Paul Buchheit, First Round исключила из исследования свою самую успешную инвестицию — Uber. И хотя исключение выбросов имеет смысл в некоторых типах исследований, анализ доходности инвестиций в стартапы, где вся суть сводится именно к попаданию в выбросы, к таковым не относится.
Спасибо Сэму Альтману (Sam Altman), Джессике Ливингстон (Jessica Livingston) и Джеффу Ралстону (Geoff Ralston) за прочтение черновиков этой статьи.