atma山口さま_top

この記事をシェアする

2021.01.01インタビュー

Kaggle Masterが語る、エンジニア向け理論年収算出エンジン「Career-IT.com」の精密性と可能性

年収診断・キャリアアドバイスエンジン「Career-IT.com」ですが、これはどのように開発されたのでしょうか?また、どのような考え方の上につくられているのでしょうか?

リコメンドを含む画期的な年収診断・キャリアアドバイスエンジンの誕生秘話として、エンジン・アルゴリズム開発を担当したatma株式会社開発責任者の山口取締役と、開発を依頼したITキャリアコンサルティング編集部との対談形式で、算出の結果とロジックの妥当性をわかりやすく解説していただきました。

そもそもこの年収診断・キャリアアドバイスエンジン「Career-IT.com」は、ITキャリアコンサルティングの共同創業者2名、元ITコンサルタントの杉島と大学院で統計学のビジネスへの適用を学んだ菊地による、エンジニアの年収が学歴・職歴・技術スキル・資格・語学力・プロジェクト経験・マネジメント経験等を基に算出可能なのではないか?との問題意識から始まりました。

自己研鑽を通じ、RPG(ロールプレイングゲーム)のように自分の様々な能力・経験を上げていくことで「レベル」=「年収」が上がっていく。人生の「主人公」である自分がどういう「敵」=「仕事上の困難や習得しなければいけない技術や知識」を倒し、レベルを上げていく……そんなことをこのエンジンを使ってリアルにできるようにしていきたい。きっと、出来るはずだ。そんな想いから2018年にこのプロジェクトは産声をあげました。

独自のアルゴリズムで、学歴・職歴・技術スキル・資格・語学力・プロジェクト経験・マネジメント経験等の、エンジニアの年収を決める要素の重みづけや偏差値づけを行い、これを基にatma社の力を借りて、膨大なデータを機械学習でモデリングし、現在のエンジンとなっております。

中にはサンプル数不足で反映出来なかった情報もありました。このため、今後の年収診断・キャリアアドバイスの提供を通じて継続的に情報を収集し、さらなる精緻な予測のためにエンジンのアップデートを重ねる予定です。全ての情報領域でこのエンジンが完璧になり、世の中の技術の変遷や人材需要に合わせて機動的に対応できるようになったとき、エンジニアにとってのRPG「エンジニアクエスト」が完成します。

では、今回の山口取締役のインタビューをご覧ください。

自信作ではあります笑。かなり性能の高いエンジンになったはず

――まず、atma社についてお聞かせください。

当社の代表は社長の上浦です。創業は上浦に加えて共同代表2名でスタートしたのですが、様々あり、現在の体制となりました。

上浦は私同様に京都大学大学院の情報学研究科で数理最適化を研究していた関係で、機械学習そのものや活用方法に精通している人材が会社の中心となっております。

こうした創業の経緯もあり、「ITを使った問題解決」を提供する会社として、AI・機械学習のコンサル+システム開発をメインにしております。

社員のほとんどがエンジニアで、かつ上流から下流まで担当できると言うのがatma社における一番の強みではないかと考えております。

具体的な実績を紹介いたしますと、画像検索システムでお酒の写真で銘柄を判別するエンジンの開発や、クリニックに通院する患者さん・処置・医師の空き状況・院内医療機器の空き状況からどのような順番でどのようにご対応すれば患者様から違和感やクレームなく、来院者の待ち時間を最小にしつつ、アイドルタイムをなくせるかをリコメンドするエンジンの開発等をしてきました。

競合他社のお名前を出すと、業務的にはALBERTさんやブレインパッドさんが近いといえるかもしれませんね。

また、オフラインコンペ(atma cup)の主催もしています。この切り口で当社のことが頭にある方もおいでかもしれません。このコンペは1日で終わるので多忙な方も参加しやすく、ワールドランカー(Kaggle Grandmasters)も参加中のコンペです。ご興味がある方は是非、次回参加いただきたいです。

――設計者の山口さんについてお聞かせください。

自己紹介ですね。んー。atmaの取締役やってます。また、一昨年Kaggle Master(機械学習コンペが開催されるKaggleにおいて、金メダル1回、銀メダル2回の入賞が必要。参加者の上位わずか1%)に選ばれたエンジニアでもあります。

その際のチームメンバーが忙しくなってしまっているので、最近は会社のメンバーと組むことが多いですが、今年は銀メダル2つと言うような結果でした。累計では確か金1回、銀は4回、銅1回ですね。評価はお読みいただいた方に任せます。

こんなんで自己紹介になっていますかね?

atma山口さまインタビュー_1

Kaggle Masterとしての山口さんの実績はこちら

――今回のキャリアエンジンについてお聞かせください。

手前みそかもしれませんが、全方位的に様々なエンジニアから細かいデータを得ることに成功していると言えると思います。と言いますのも、GitHubはエンジニア全体をカバー出来ていないと実感しており、そういう面でもエンジンとしての完成度は高いものが出来たと自負しております。

細かいことを言えばキリがありませんが・・・自信作ではあります笑。ただ、外れ値の存在だけが心配です。収集いただいたデータの中には、怪物級のエンジニアの方や技術者としての能力だけではなかなか正当化できないぐらい年収の高い方、逆に過小評価されてしまっている方が少数混じっていたようですので。

アノテーション×勾配ブースティングでかなり性能の高いエンジンになっていますので、ほとんどの方がお使いいただいて、正確な情報を入れていただければ相当な精度での結果が得られると思っております。

冷やかしでもいいので、是非使ってみてください。

――今回のエンジン作成のきっかけとなり、また理論的な仮説の柱の一つであったエンジニアの8大スキル仮説についてはどの程度正しいとお考えですか?

なんか、大学院の研究室での会話のようでいいですね笑。年齢、学歴、経験等に応じて年収が上がるのはモデルを検証しながら体感することができました。これは、人が抱く一般的な感覚に非常に近いもので、理論的・仮説としても非常に有効性・可能性が高いものであると思います。

今後、一部、情報入力量の関係で完全には反映しきることが出来なかった部分に関しても十分な情報量を得て、エンジンのバージョンアップを続けていくことでより、仮説のより正確な検証が可能となると思っています。

ご利用いただく皆様には是非、こちらの年収診断及びリコメンドエンジンをご利用いただいて、その精度の高さと感覚値との近さ等を実感いただきたいですね。

――各項目について、ITキャリアコンサルティング独自の調査に基づいたランク付、各項目内のデータへの偏差値付を行いました。ここの重要性と結果の確からしさについて教えてください。

予測データの正確性の向上において、この独自の重みづけや偏差値の設定は非常に精度をあげることに貢献したと言えます。

実際に、予測の精度向上に大きく貢献したということで、ITキャリアコンサルティングのノウハウであり、英知の結晶と言えるでしょうね。これはアノテーションつまり、対応関係を明確にしていくプロセスがデータ分析においては非常に重要なのです。

例えば、画像解析などの分野においても人間による重み付けが必須であったりします。今回も、この作業をしてもらえたことによって、格段に精度が上がったことは間違いありません。

最大の問題は、この作業、性能は上がるものの、ものすごく「手間」なことです。事実、試行錯誤しながら、膨大なデータを収集・検証し、今回の結果につながったと思いますが、これはアノテーションの精度が性能に直結するからとも言えます。

――今回使われた勾配ブースティングという手法についてお聞かせください。

名前の通り(「勾配」を使って「ブースティング」をしながら「木」を作る)「ブースティング」とはすなわち、「問題を段階的に解く」ことなのですが、1人がどのくらい間違えたかを他の人に予測してもらう、1人ではなく複数人で判断することでバイアスを弱める。

もっと言うと、親子構造(助け合い)になっており、親の予測の間違いを子が埋める、孫が2人分の誤差を埋め(予測したズレを足す)、積算して正解に近づく。そんなアプローチです。

ざっくり言うとダブルチェック、トリプルチェック、その先のチェックを繰り返してより正確な予測につなげていくようなイメージです。今回のエンジンでは約200重のチェック=200人の判断をまとめたと言う風に考えてみてください。

データの中にある、「この傾向って正しいの?」と言うデータを小分けにして、それぞれで確認し、個々の「正しい」「正しくない」を束に合わせて重ねるような感じです。んー、伝わりますかね?

atma山口さまインタビュー_2

これ以外の手法では、ランダムフォレスト(親子関係でなく、独立)、ニューラルネットワーク、ナチュラルグラディエントブースティング等も使うべき理論的な手法の候補になりえたのですが、その中でも勾配ブースティングは性能が高く、実績も多く、Kaggleでも最初に使われがちと言うこともあり個人的にもなじみが深かったので、こちらの手法を使いました。

結果として、これだけの精度のものを完成させることが出来ましたので、大変満足していますね。

世界中のエンジニアが、何のスキルを得ればよいか瞬時にわかり、個々のエンジニアのレベルアップを図れる未来へ。

――今後、更にデータを追加し、バージョンアップを予定していますが、この後の進化についてコメントをお願いいたします。

今回のエンジンはもちろん、100%正確に誰もを予測できるほどの完全無欠の精度にはなっているわけではありません。今後、こちらからもアドバイスさせていただいた設問の選択肢の細かさにより、キャリアアドバイスが拡充されていくはずです。

これにより、サイト利用ユーザーにとって、より納得感が高い結果になるはずで、そうなると何をするべきか?何がもっともその人の年収をあげるのに貢献するのか?と言う精度が、既に十分に高いものと思いますが、さらに向上するはずです。

ITキャリアコンサルティングの目標そして夢であると語っていただいた通り、世界中のエンジニアが自分の現状をCareer-IT.comに反映することによって何のスキルを得ればよいか瞬時にわかり、RPGのように個々のエンジニアのレベルアップを図っていくことが出来るようになるはずです。

御社が語っていた、例えばインド人のエンジニアがロシアの会社から仕事の依頼を受ける。日本国内でどうしても見つからなかったニッチなスキルのあるエンジニアを地方都市で発見する。イギリスの企業がアルゼンチンのエンジニアと契約する。世界のエンジニアが何によって収入が上がるのかを理解して適切なトレーニングを受けることが出来る。そんな世界の第一歩が今回できたと言っていいと思います。

今後伸び行く分野に適切に人材が向かい、エンジニア不足により社会の進化が減速することなく、人々の生活がより豊かなものになっていく。そんな社会を思い描いている御社を陰ながら今後も応援できればと思っています。

この度はご一緒出来て、楽しかったですし、今後も一緒に企業として成長していきたいですね!

atma山口さまインタビュー_3

この記事をシェアする

関連する記事

カテゴリから記事を探す

IT/web系理論年収診断キャリアアップレコメンド

あなたに最適な今後のキャリアアッププランが手軽に分かります

CONTACT お問い合わせ

ご不安点や取材依頼、企業での採用可否など、お気軽にご相談くださいませ。

※セールスはお断ります。