ソフトウェア エンジニアリングの求職者に対する自動化されたテストは現在広く採用されており、多くの企業がこういった手法を活用して最も才能のあるプログラマーを見つけ出している。しかし、これらのテストには欠点がないわけではない。特に急成長しているChatGPTの出現により、さらに注意を払う可能性が出てきた。

ちょっと気が早いのかもしれないが懸念材料がある。そう、開発者のスキルを選別する自動コーディング テストがAIの餌食になる可能性がある、という点だ。この問題行動はすでに明らかになっている。

一般的なコーディング テストはほとんどが自動化されていて操作ができるために非常に非効率な側面がある。スキルベースの採用プラットフォームFilteredが発表した調査によれば、コーディング テストはこのような嘘に対して脆弱であり、回答者の半数以上が、面接プロセスで実施したコーディング テストでカンニングをした人を知っていると報告している。

ChatGPTなどのAIを活用したツールが広く出回ったことで問題は悪化するだろう。当然ながらこれらのテストでのカンニングがかつてないほど簡単になってしまった。

クラウド プラットフォームKaratで面接を担当しているスタッフ エンジニア、Jason Wodicka氏がChatGPTに面接インタビューを実施したところ、彼はこのツールが有効な解答を生成してしまうことに気がついた。さらに彼の目を引いたのはその答えにたどり着くまでのプロセスだ。Wodicka氏は、ブログの中でChatGPTに対するテクニカルインタビューについてこう説明している。

「この特定の問題に対する答えを前もって覚えていた、もしくはそれを自分で解決するために必要なスキルを持っていなかった人のように振る舞いました。ChatGPTがどのように機能するかという点と一致しています」。

ChatGPT には問題のモデルのようなものはなく質問ともっともらしい回答しかない。さらに彼は「そのアルゴリズムの大幅な変更」と、その説明がその行動と一致していない様子を目の当たりにしたという。彼はChatGPTの結果は、人間が問題を解決しているようにはとても見えず、また、理解への自信を持たせるような質問の仕方をしていなかったと結論付けている。

ChatGPTでの不正行為

採用されるかどうかにかかわらず、候補者が事前スクリーニングにChatGPTのようなツールを使用し、その主要なハードルをクリアした場合、採用プロセスはさまざまな形で妨げられることになる。これは、 Erekrutの共同創設者兼マネージング ディレクターであるRavinder Goyalは次のようにその問題点を指摘する。

第一に受験者の主題に関する知識と理解を評価するというテスト自体の目的を無効にすることになるだろう。次にテストの信頼性を損ない、雇用主の間で疑念と不信を引き起こすことになる。最後に誤検知や不正確な結果につながる可能性があり、最終的には間違った候補者がその職位に選ばれる可能性も出てくる。

つまり、より良い解決策が開発されるまでは、従来のコーディングテストは、候補者の能力を示す唯一の指標としては信頼できないものになった、と言っても言い過ぎにはならなさそうだ。

ではどうなるのだろうか？

Wodicka氏はAIを活用した未来について、候補者が既知の解決策に到達するための自動コーディングテストは少なくなり、候補者が多くの可能な答えを持つ問題にどう取り組み、説明し、解決するかをテストする人物との面接が多くなるだろうと見ている。

さらに彼は「AI によって、ソフトウェア開発や技術面談がより身近で人間的なものになっていると思います。これは前向きな進展です。AIツールはプログラマーの必要性をなくすものではありません。アイデアをコードに変換するという負担を軽減し、意図のレベルをより人間的なレベルにシフトするだけです」と付け加えている。

これからの技術面接は根本的に人間が行う部分を評価することになる。それは、「機械に新しくエキサイティングなことをさせるために必要な問題解決や思考プロセス」だと、彼はブログに書いている。経験から彼は、技術面接の将来は次のようになるだろうとしていた。

「合格や不合格のバイナリ結果を生成する自動コーディングテストよりも、微妙な判断に依存することになるため、最終的に仕事のパフォーマンスを予測することができるようになるでしょう。やがてChatGPTは、典型的な開発者の道具箱の中の1つのツールに過ぎなくなるかもしれません。実際、これまでにも候補者が面接中にStack OverflowやGoogleなどのリソースを、仕事中にそれらのリソースにアクセスするのと同じように許可しています。この点では、ChatGPTも同じだと思います」

合否を超えて

一方、ChatGPTの操作に対する懸念から、自動コーディング評価は今後も利用が拡大すると思われる。タレントチームと採用担当者の両方に役立つからだ。

自動コーディング評価は、エンジニアがデータ構造やアルゴリズムなどの基本的なプログラミング概念を理解し、効率的で正確、かつデバッグしやすいコードを書く能力を評価するのに役立つため、今でも多くの技術者採用プロセスの最初のステップになっている。また、自動化されたテストは多数の候補者を一度にテストすることができるため、時間の節約にもなる。スキル評価ソフトウェア、iMochaのCTO 兼共同創設者のSujit Karpe氏は次のようにコメントした。

「現在、ミッションクリティカルな職務の採用が最重要視されていますが、自動コーディング評価はプロセスをスピードアップし、多数の候補者を同時に評価することができます。手動で評価する場合と比べて必要な時間と労力を削減します」。

Karpe氏は大量の候補者を抱える採用チームにとって、これは「必需品」になるとも指摘する。テクノロジーベースの人事・コンプライアンス組織であるKarma Globalのマネージングディレクター兼チーフビジョンオフィサーであるPratik Vaidya氏は、この意見に賛成している。

Vaidya氏は候補者のコーディング スキルを、技術にやさしいハンズオンプログラミング テストで評価することが、適切な技術者を採用するための最も確実な方法だと語る。彼は「コーディングテストは多くの企業で、特に技術職の候補者の資質を判断するために使われています」と述べた上で、プログラマーの履歴書という別の評価源では捏造が可能であることも指摘している。

また、SpringPeopleのCEO兼創業者のPeeush Bajpai氏はコーディングテストを含む自動化ツールがスクリーニングの過程では有用だが、評価の唯一の手段として頼るべきでないとコメントしており、これには他の人々も同じような意見だった。

「企業は、候補者の技術的スキルと経験だけでなく、カルチャーフィットと企業内での成長の可能性も考慮に入れた、総合的かつ人間中心の採用アプローチを採用する必要があります。コードレビュー、技術面接、行動面接、ワークサンプル評価などは、候補者の能力や役割、企業への適合性を総合的に理解するために重要な手段です」（Peeush Bajpai氏）。

【via VentureBeat】 @VentureBeat

【原文】