Оценивать что и как: Attention Required! | Cloudflare

Нет недостатка в советах о том, как нанять исследователя данных. Я уже писал на эту тему раньше. Большая часть этого совета предполагает список навыков или качеств, которыми должен обладать идеальный специалист по данным, и фокусируется на том, как чувствовать себя уверенным в том, что кандидат на работу обладает этими навыками. Я хочу поближе взглянуть на этот список необходимых навыков. Маркировка проблематична. Например, «статистика» часто считается важным измерением набора навыков исследователя данных, но затем вы получаете исследователей данных, которые имеют больше опыта в области компьютерных наук, чем в области статистики.Тогда мы могли бы создать измерение «машинного обучения», чтобы приспособиться к этому фону. Поэтому мы либо фокусируемся на двух разных навыках, которые на самом деле имеют много совпадений, либо мы объединяем их в навык «статистика и машинное обучение», который просто избегает этой проблемы. Другими словами, вопрос о том, какие навыки нужны ученому, является проблемой уменьшения размерности.

И ключевой особенностью большинства мер по уменьшению размеров — и то, что я думаю, отсутствует в большинстве этих дискуссий — это акцент на ортогональности.Структура навыков ученого, работающего с данными, должна взять большую, запутанную матрицу навыков «ученый за данными, ученым за данными» и попытаться сократить ее до нескольких информативных измерений, которые минимально пересекаются. Может потребоваться некоторое кузнечное дело, чтобы избежать использования уже загруженных терминов, но это окупается в концептуальной ясности. Например, я не думаю, что «способность кодировать», не говоря уже о конкретных языках, таких как R или Python, входит в структуру навыков. Специалист по данным, который демонстрирует все навыки в хорошо продуманной рубрике, должен обязательно демонстрировать навыки кодирования просто как само собой разумеющееся, потому что у компании есть технический стек, а ученым данных нужны навыки для интеграции с этим техническим стеком, чтобы гарантировать, что их работа воспроизводима и масштабируема.Такие вещи, как кодирование, являются средством, а не целью, и поэтому я не думаю, что они должны быть прямой целью.

Я должен также заявить заранее, что я твердо верю, что роль «ученого данных» отделена от ролей «инженера» и «аналитика». Такова роль, где я сейчас работаю, но я знаю, что это не так во многих других организациях, в том числе в тех, на которые я раньше работал. Я думаю, что мой нынешний работодатель имеет это право. Даже в тех случаях, когда финансы или другие деловые соображения требуют, чтобы один человек занимал две или более из этих ролей, я думаю, что это следует рассматривать как одного человека, носящего несколько шляп, а не как признак того, что шляпа исследователя данных достаточно велика, чтобы охватить другую два.

Я начал думать о «хорошей науке о данных» как о чем-то, чего на самом деле не существует на индивидуальном уровне: хотя отдельные члены команды все очень хороши в определенных навыках, создание надежных возможностей по науке о данных — это нечто большее, чем любая другая. один человек может сделать. Большинство обсуждений навыков работы с данными, которые я видел, явно не подтверждают это. У всех нас есть пробелы в наших навыках, но пока у команды нет пробелов, это нормально: это гарантирует, что мы коллективно можем делать то, что нам нужно, и все же оставляет нам всем массу возможностей расти.То, что я обычно вижу в таких дискуссиях, — это своего рода заявление об отказе от ответственности за то, что не всем нужно будет ставить флажки в каждом поле. Если так думают мы, как профессионалы в области наук о данных (и я думаю, по большей части), это должно быть явно включено в наши структуры.

Структура

Индивидуальные навыки

Давайте рассмотрим все навыки и поговорим о том, как их распознать, когда мы их увидим.

Проектный анализ. Навыки, которые входят в эту компетенцию, связаны с переводом бизнес-требований в технический аналитический план.Решения, которые специалисты по данным используют, чтобы принимать эти решения, частично зависят от структуры, типа и объема доступных данных, но также зависят от потребностей бизнеса, которые существуют независимо от того, как эти данные выглядят. Все навыки в этой компетенции могут относиться к общему заголовку «знание того, как справляться с неоднозначными требованиями».

• Явно планируйте анализ. Это включает в себя такие вещи, как определение объема, упорядочение и обоснование вех. У анализа редко бывает естественная точка остановки — почти анализ может быть бесконечно улучшен.В бизнес-приложениях анализ должен быть ограничен и разделен: должны быть определены основные этапы, правила остановки должны быть определены для каждого этапа, и все части должны быть суммированы в одно целое таким образом, чтобы поддерживать концептуальную целостность.
• Ожидайте и устраняйте противоречивые объяснения. Это может включать в себя такие вещи, как планирование экспериментов, стратегия выборки или анализ чувствительности. Любой анализ делает утверждения: прогнозы достаточно точны, чтобы иметь ценность для бизнеса, переменные x и y являются важными предикторами, добавление переменной z не добавляет стоимости, достаточной для того, чтобы она того стоила, и т. Д.Все эти утверждения уязвимы для противоречивых объяснений: выборка была смещена, набор данных был несбалансированным, переменные были определены плохо и т. Д. Предвидеть эти уязвимости — это умение. Конкретные методы могут смягчать проблемы, но зачастую ключом является включение проверки предположений в структуру анализа.
• Определите наилучший способ оценки результатов. Это может включать диагностические метрики, сравнительный анализ или разработку KPI для мониторинга качества продукции с течением времени).Анализы редко дают результаты, которые имеют четко интерпретируемое значение. Часто вопрос не в том, «хороши ли результаты?», А в том, «являются ли результаты более ценными для бизнеса, чем то, что мы имели раньше?» Оценка результатов анализа требует знаний о результатах аналитического метода, а также знаний о бизнес-контексте, в котором будут развернуты результаты.

Проводить анализы. Навыки, которые попадают в эту компетенцию, часто получают большую часть внимания, когда люди говорят о науке о данных.Решения, которые специалисты по данным используют, чтобы принимать эти решения, почти полностью зависят от деталей самих данных.

• Изучите данные соответствующим образом. Это включает в себя распределения, сводные показатели, визуализацию и выбор / разработку функций. Эти навыки могут быть такими же простыми, как знание того, как охарактеризовать распределение или измерение центральной тенденции, или такими сложными, как разработка совершенно новых функций. Основное внимание в этом навыке уделяется знанию того, какие типы «ошибок» следует искать в наборе данных, чтобы эти идиосинкразии можно было преобразовать, опустить, приспособить или иным образом смягчить.
• Построить или применить соответствующие алгоритмы. Сюда входят регрессия, классификация, уменьшение размерности, кластеризация и настройка параметров. Категориальные данные иногда накладывают другие ограничения на анализ, чем непрерывные данные. То же самое верно для разреженных и плотных данных, контролируемых и неконтролируемых проблем обучения и т. Д. Различные проблемы требуют разных технических решений, и знание того, как выбрать подходящее техническое решение, является ценным навыком.
• Четко документируйте выводы. Это чаще всего включает визуализацию данных и техническую коммуникацию. Документирование резюме выводов из анализа помогает другим проводить анализ, когда остановился один ученый, но они также служат проверкой правильности выводов ученого. Если аналитические результаты не могут быть задокументированы четко, то есть большая вероятность, что анализ не был достаточно последовательным, чтобы доверять.

Включите анализы в трубопроводы. Многое происходит с данными до и после их использования в анализе.Часть обязанностей исследователя данных заключается в том, чтобы эти передачи происходили гладко. Именно здесь набор навыков ученого, работающего с данными, больше всего совпадает с набором навыков инженера. Это всегда полезно, когда инженер может очищать, структурировать и размещать данные именно так, как того требует ученый, но это должно быть способом повышения эффективности, а не обязательным условием для выполнения своей работы.

• Чтение / запись данных в / из любого формата и местоположения. Это включает запросы к базе данных, объединение разнородных типов файлов, API и управление файлами.Ученые, работающие с данными, не могут позволить себе роскошь, когда кто-то еще организует их наборы данных Данные для анализа должны быть извлечены из любого формата (форматов) и местоположений, в которых они находятся, и выводить их в любом формате (форматах) и расположении (ях), которые требуются тем, кто будет использовать результаты.
• Включение комплексного сопоставления и фильтрации. Относительно просто выполнить булево сопоставление или фильтрацию, сравнивая строки или числа как целые. Однако большая часть науки о данных требует более сложных операций, определения шаблонов для сопоставления подмножеств строк или использования сложных типов данных, таких как метки времени, шейп-файлы, графики.
• Сделайте работу совместимой с инженерным стеком. Это включает в себя такие вещи, как контроль версий, стиль кодирования и лучшие практики разработки программного обеспечения. Лучший в мире анализ бесполезен, если он не может быть включен в другие технические системы бизнеса или не может масштабироваться (если это необходимо для бизнеса).

Включение трубопроводов в бизнес. Все три навыка в этой компетенции подпадают под общий «навык общения».Этот ярлык, как правило, недостаточно точен, чтобы быть полезным. Было бы хорошо, если бы специалист по данным мог просто хорошо общаться со всеми в любой ситуации. Приятно, чтобы кто-нибудь мог это сделать. Крайне важно, чтобы специалист по данным мог общаться в трех конкретных контекстах.

• Откройте для себя потребности бизнеса. Это включает в себя предварительные технические требования и понимание более широкого отраслевого контекста. Этот навык в основном связан с тем, чтобы сделать нетехнические темы понятными для исследователя данных.Специалист по данным часто служит связующим звеном между техническими и нетехническими заинтересованными сторонами, и поэтому должен уметь понимать нетехническую сторону бизнеса.
• Перейдите к организационной структуре бизнеса. Это включает построение отношений и управление заинтересованными сторонами, а иногда их называют «мягкими навыками». Любая организация имеет человеческие отношения, по которым нужно ориентироваться, чтобы достичь бизнес-результатов. Это, конечно, включает в себя умение людей не быть придурком, но также включает, например, более тонкое умение узнавать неофициального привратника в проекте и получать бай-ин этого человека, прежде чем планировать более широкий слух.
• Пакет технических работ для разной аудитории. Сюда входит нетехническое общение, включая визуализацию эффекта и информацию. Это другая сторона навыка «узнавать потребности бизнеса». Специалисты по данным должны быть в состоянии сделать технические темы доступными для нетехнических людей, будь то для целей маркетинга или для обеспечения того, чтобы заинтересованные стороны могли разумно использовать продукт науки о данных.

Постройте профессию. Эта область компетенции может показаться более «приятной», но я думаю, что это сильно недооценивает ценность, выходящую за рамки работы в более крупную профессию.Наука о данных как профессия слишком быстро меняется для команды, занимающейся наукой о данных, чтобы не отставать от уровня техники, если эта же команда не постоянно переоценивает, что такое наука о данных. Взаимодействие с более крупной профессией помечает отдельного участника как того, чья способность вносить значимый вклад проверена.

• Внести свой вклад. Встречи, хакатоны, репозитории с открытым исходным кодом, блоги и другие общедоступные материалы поддерживают связь между исследователем и широким сообществом.Вклад общественности требует общественного обсуждения и критики, что, в свою очередь, улучшает практику.
• Возглавить команду. Участие в рабочих группах и работа в качестве наставника для младшего члена команды или стажера являются одними из наиболее распространенных неофициальных руководящих должностей в команде. В некотором смысле, неофициальное руководство является более узкой версией публичного вклада: оно открывает практику для исследователей данных, что улучшает практику.
• Проект политики и процедуры. Это может включать создание протоколов собеседований с кандидатами, политики участия в конференции или политики в социальных сетях. Вклад в более широкое сообщество по науке о данных не обязательно должен быть публичным. Как лучше структурировать и управлять командами по науке о данных, все еще остается открытым квестом. Политика и процедуры — это распространяемые артефакты, способные улучшить не только организацию, в которой они были созданы.

Уровни компетенции

Выбор ортогональных областей компетенции — это половина задачи определения рубрики навыков в области наук о данных.Другая половина проблемы состоит в том, чтобы решить, как оценить степень компетентности. Я обнаружил, что модель осознанной компетенции обучения является удобным способом осмысления уровней квалификации:

Бессознательная некомпетентность означает, что специалист по данным является неквалифицированным специалистом, но по большей части не осознает этого — фактически не осознает этого важно даже иметь навык. Например, люди в технических профессиях, как правило, часто стереотипируются как неосознанно некомпетентные в области мягких навыков — они плохо общаются с людьми, не осознают, что они плохи в этом, а иногда даже отрицают, что важно быть хорош в таких вещах в первую очередь.Люди, которые неосознанно некомпетентны, имеют плохую интуицию относительно навыка: они приходят к неправильным выводам, потому что они даже не знают, в чем проблема.

Сознательная некомпетентность означает, что специалист по данным знает, в чем заключается проблема, но не знает, как ее решить. Эта стадия обучения является грубой — ученый, работающий с данными, может рассматривать ошибки как свидетельство их ценности как сотрудника, возможно, тесно подражая широко признанным лучшим практикам дольше, чем разумно, прежде чем просить наставника указать на более нюансированный подход.

Осознанная компетентность означает, что специалист по данным знает проблему и ответ. Это все еще высокоразвитая стадия обучения, но ученый считает ошибки ценным источником новой информации. Чувство растерянности или неспособности воспринимается как признаки, указывающие на способ активного наращивания компетенции.

Бессознательная компетентность — это этап, на котором навык стал «второй натурой» — настолько, что для его проявления требуется мало осознанных мыслей.

Использование рубрики

Традиционно рубрика предоставила контрольный список: оценщик выбирает один вариант для каждой позиции, который наилучшим образом иллюстрирует уровень квалификации оцениваемой. Поскольку специалисты по данным чрезвычайно хорошо осведомлены об опасностях представления показателей центральной тенденции, а не распределения, эта рубрика предназначена для более детального использования. Например, вот как я заполнил рубрику для себя после того, как я был на своей нынешней должности всего лишь пару месяцев:

Поскольку существует несколько десятков или даже сотен способов, которыми можно сказать, что специалист по данным может служить примером определенного навыка, я Мы определили, где, на мой взгляд, падает моя минимальная (<), медианная (|) и максимальная (>) производительность в каждом навыке.Ниже приведено краткое объяснение того, о чем я думал, когда решил заполнить таблицу так, как сделал.

• Явно планируйте анализ. Мой опыт работы в области социальных наук и мое десятилетие в широком спектре отраслей и секторов сделали более или менее второстепенной задачу поставить неоднозначную цель и разложить ее на несколько измеримых подцелей и дать обоснование для мои планы. При этом я читаю статьи и книги по принципам дизайна и до сих пор часто нахожу лучшие практики, о которых мне не было известно.
• Ожидайте и устраняйте противоречивые объяснения. Для меня вторая природа — определять допущения, которые я делаю в анализе, и встраивать тесты этих допущений. Я вполне доволен реализацией большинства стратегий выборки или разработкой своей собственной. Я лишь незначительно знаком с формальным дизайном принципов экспериментов и не чувствую себя компетентным для реализации таких принципов самостоятельно без дальнейшего изучения.
• Определите наилучший способ оценки результатов. Я думаю, что я в целом тверд в этой области. Это не вторая натура, но прошло много времени с тех пор, как я натолкнулся на совершенно незнакомую территорию.
• Изучите данные соответствующим образом. Я бы оценил себя от высокой до очень высокой по исследовательской визуализации, но немного ниже по статистическим распределениям (я не пришел из статистики, поэтому в этой области есть много чего, я не знаю). Я также знаю, что есть ряд методов для разработки функций, с которыми я знаком только по названию.
• Построить или применить соответствующие алгоритмы. Я чувствую, что в целом я компетентен в этой области, но у меня было мало шансов использовать подходы глубокого обучения. Это определенный пробел в моем наборе навыков.
• Четко документируйте выводы. Я отношусь к этому умению так же, как и к умению «четко планировать анализ». Мой опыт подготовил меня к этому, и мой опыт дал мне много практики. Мне редко приходится думать о том, как это сделать.
• Чтение / запись данных в / из любого формата и местоположения. В этом навыке я простираюсь от второй натуры (CSV, Postgres) до обычно компетентных (большинство других разновидностей SQL, Spark, AWS EC2 и S3) до некомпетентных, но осведомленных об этом (другие технологии Hadoop, другие сервисы AWS, другие облачные системы, такие как Google Bigtable и т. д.)
• Включение сложных сопоставлений и фильтрации. Сопоставление с текстовым шаблоном (регулярные выражения и т. Д.) Для меня является второй натурой, как и большинство данных управления временем. Недавно я стал очень хорошо знаком с данными фигур и графиками, но знаю, что мне нужно многому научиться в этих областях.
• Сделайте работу совместимой с инженерным стеком. По большей части, я чувствую, что я в целом компетентен в этой области, в основном из-за того, что в прошлом создал и управлял объединенной группой по науке и инженерии данных. Тем не менее, есть еще много вещей, которые я узнаю о плавной передаче обслуживания инженерной команде, которая должна работать в масштабе.
• Откройте для себя потребности бизнеса. В целом, у меня большой опыт в управлении заинтересованными сторонами, разработке требований, составлении карт бизнес-процессов и т. Д.Однако я перешел на свою нынешнюю работу, не имея опыта работы в этой отрасли. Я был в значительной степени неосведомлен об этом отраслевом контексте и был доволен, чтобы узнать, как появилась возможность, а не четко расставить приоритеты роста в этой области.
• Перейдите к организационной структуре бизнеса. У меня это хорошо получается, но я работаю в новой организации, которая претерпевает множество изменений в своей структуре и политике. Что касается специфики, я не знаю, чего я не знаю.
• Пакет технических работ для разной аудитории. Я вообще очень хорош в этом. Мой опыт работы в качестве антрополога позволяет мне относительно легко понять перспективы других людей, а несколько лет преподавательского опыта позволяют мне относительно легко составлять презентации даже трудных для понимания тем.
• Содействовать извне. Я веду блог в течение многих лет. Раньше я публиковал большую часть своей работы на Github, но не делал этого очень много в течение нескольких лет, потому что большая часть моей работы была частной.Я все еще нахожу способы добровольчества или консультирования в свободное время, и я активно участвую в рекрутинговых мероприятиях.
• Возглавить команду. Я возглавляю рабочую группу по внешним связям и сотрудничеству и наставник младших членов команды.
• Проект политики и процедуры. Я написал этот документ 🙂 Помимо этого, я склонен концентрироваться на политике во всех моих работах. Есть моменты, когда это было одной из моих основных обязанностей.

Лично я предпочитаю, чтобы рубрика навыков использовалась больше для разговоров, ориентированных на будущее, а не для бесед назад.Например, обзор производительности не обязательно является подходящим временем и местом для обсуждения общей компетенции ученого в каком-либо конкретном наборе навыков. Однако это подходящее время и место для разговора о том, как ученый потратил пару месяцев, скажем, на создание элегантного статистического решения, которое невозможно развернуть в масштабе. Проблема во время обзора не в нехватке навыков; это отсутствие доставленной ценности. Это может затем подготовить почву для отдельного перспективного разговора о, в данном случае, накоплении знаний об ограничениях и передовых методах разработки программного обеспечения.Обзор производительности служит проверкой реальности, а затем эта рубрика служит инструментом для построения плана роста. В то время, когда я заполнял рубрику для себя, есть области, где я решил, что хочу расти, в порядке приоритета:

1. Чтобы лучше понять потребности бизнеса. Я чувствовал себя немного далеким от реальных потребностей наших клиентов. Большинство моих идей для инноваций исходили от меня, а не от людей, которые на самом деле используют наши продукты. Я хотел чувствовать, что у меня есть устоявшийся конвейер для изучения болевых точек клиентов и списков пожеланий.
2. Улучшение моих аналитических навыков планирования / проектирования. В то время я читал «Дизайн » Фреда Брукса «Дизайн », и мне это нравилось, но мне показалось, что я недостаточно удерживаю его, чтобы по-настоящему вписать его в свою практику — я хотел получить больше опыта для явного проектирования целых проектов с поддержкой данных, не просто разработка индивидуальных анализов.
3. Получите практику использования потоковых данных. Большая часть данных, которые я использовал, может быть из потоков, но это всегда был моментальный снимок или сводка по времени.Я хотел получить больше опыта, используя контексты Kafka, Spark Streaming и т. Д.
4. Сетевая аналитика. Я узнал больше о сетевой аналитике благодаря некоторым из моих недавних работ, но в этой области есть масса возможностей для исследования, и я обнаружил, что мне действительно это нравится.
5. Изучите Scala. Я использовал PySpark, но я столкнулся с несколькими ситуациями, когда я мог бы работать более эффективно, если бы работал в Scala. Я знал достаточно, чтобы разобраться в коде Scala, когда увидел его, но не смог его написать.
6. с открытым исходным кодом некоторые из моих работ. Я не был заинтересован в создании своей собственной библиотеки, и хотя я хотел бы внести свой вклад в уже созданные библиотеки, я не был уверен, где я мог бы добавить ценность. Тем временем я разработал несколько удобных функций для работы с грязными данными формы, а также некоторые функции для получения подключенных компонентов, формирующих список смежности в масштабе через Spark. Я хотел сделать приоритетным задокументирование этих вещей и получить разрешение от моего работодателя, чтобы поделиться им открыто.
7. Расширьте свой опыт в проектировании объектов. Есть множество методов там. Я использовал относительно немного и знаком со многими другими, но я чувствовал, что это была тонкая часть моего технического опыта.
8. Познакомьтесь с глубоким обучением. Сейчас это модно и действительно дает хорошие результаты в тех областях, где оно было успешным, поэтому я подумал, что в моих интересах быть компетентным в этом.

Почему это важно?

Я хочу сказать, что было бы справедливо задаться вопросом, почему мы должны быть настолько конкретными в том, как мы определяем набор навыков по науке о данных, но я действительно не думаю, что это справедливо, чтобы подвергать сомнению это.Не тогда, когда у нас так много объявлений о работе, в которых говорится, что ученый должен иметь ученую степень в области STEM, или должен проходить ряд задач по программированию игрушек, или иметь опыт работы на работе в невероятно широком наборе технических инструментов. , Любой, кто был на рынке вакансий в области науки о данных, видел, насколько мало большинство потенциальных работодателей понимают то, что они ищут, или как распознать компетенцию. Система навыков устанавливает общую почву для разговоров, даже когда эти разговоры относятся к людям с дико расходящимися взглядами.Рубрика заставляет и вас, и других быть откровенными об оценке. Хорошая структура не гарантирует, что разговор будет продуктивным, но плохая структура очень близка к тому, чтобы гарантировать, что она не будет. Многие люди хотят нанять ученого данных. Многие перспективные ученые хотят получить работу. Если мы сможем быть более ясными и точными в том, что должен делать ученый, мы можем сделать обе группы счастливее, чем сейчас.