はじめまして、株式会社mikanでデータ分析を担当している石塚 (@ij_spitz) です。
データ分析チームがブログを書くのは今回が初めてなので、まずはこの記事でチームが取り組んでいる業務について紹介していきたいと思います。
内容的には広く浅くになってしまいますが、紹介する個々の業務については近々詳細な記事を出していく予定なので今後とも見ていただけると嬉しいです。
目次
データ分析チームのミッション
データ分析チームでは明確なミッションは定義されていないのですが、個人的には
- データを意思決定に活用すること
- データを活用しやすくすること
この2点に集約されると考えています。本記事ではこの2つのミッションに対するデータ分析チームの取り組みをそれぞれ紹介していきます。
データを意思決定に活用する
「データを意思決定に活用する」、皆さんも一度は聞いたことがある言葉ではないでしょうか。ただデータを意思決定に活用すると言われても、抽象度が高くてわかりづらいですよね。
そこで今回はアプリの改善のための1つの施策を実施するときの業務の流れに沿って、データ分析チームの取り組みを紹介します。
施策におけるデータの意思決定への活用
1. 施策提案
まず施策の元となる仮説を考えます。ここはデータ分析チームが施策を出すこともあれば、他チームから施策が出ることもあります。
また仮説の出し方も、過去の施策や分析結果から出すこともあれば、他プロダクト事例から出す、事業課題から出す、ユーザーインタビューから出すというように様々です。
2. 現状把握のための分析
施策を実施する前に提案された仮説を元に事前の分析を行います。必ず把握しておくべきなのは施策の対象となるユーザーがどれだけいるのかということです。
これを施策を実施する前に確認しておくことで、使われない機能を作ってしまうことを防いだり、施策のインパクトの見積もりが正確になるので施策の優先度を把握する上でも役立ちます。
その他にも施策固有で事前に必要な分析があれば実施します。
3. KPI・ログ設計
施策を検証するための指標となるKPIを設計して、それを算出するために必要となるログを設計します。
最終的な施策のKPIは継続率（リテンションレート）となることが多いのですが、継続率にもサンプルが少ないと値がブレやすい、データが溜まるまでに時間がかかるといったデメリットもあるので、継続率を代替できるようなKPIを施策ごとに考えることが多いです。
例えば、新規ユーザーへ提案する教材を最適化する施策では、初回学習の正解率や初日の学習回数などをKPIとして設定していました。
4. 効果測定
mikanでは施策によってABテストを実施するか否かを分けています。本当は全ての施策でABテストをしたいのですが、工数的にそれが実現できないため重要な施策や後戻りできない施策だけABテストをするようにしています。
ABテストをする場合は設計したKPIをAとBのグループで比較して分析、ABテストをしない場合は時系列で比較して分析しています。
ただ、mikanの場合は休日や平日でユーザーの行動が違っていたりするので、その点は気をつけて分析する必要があります。
5. 改善 & 施策提案に戻る
最後に、上記の流れで実施した施策の分析結果から、改善すべき項目があればそれを修正して再度施策を試したり、得た知見からまた別の施策を試したりなど、次のアクションを決めていきます。
その他の事例
今回は施策という観点からのみの紹介でしたが、他にはこういった業務にも取り組んでいます。
- 経営方針決定のための数値シミュレーション
- 目標達成のためのKPI設計
- ダッシュボード構築
- KPIモニタリング
- KPIの異常調査
- ユーザーのセグメンテーション
データを活用しやすくする
mikanには「With User」というバリューがあります。これはデータを正しく扱い、課題を発見するなどの定量的な側面と、ユーザーのモチベーションを考察するなどの定性的な側面を同時に追求してユーザーへの提供価値を最大化させようというものです。
したがってデータを活用しやすくするということはデータ分析チームの非常に大切なミッションの1つです。他の会社でも「データの民主化」などと呼ばれ、取り組まれることが多いテーマだと思います。
ここではデータを活用しやすくするという観点でmikanで取り組んでいる内容をいくつかご紹介します。
分析の共有方法
普段の分析結果の共有方法は
- 分析前や分析実施中はドキュメントを更新しつつ、Slackに垂れ流しておく
- 分析結果がまとまった後は要旨をドキュメントのリンクと共にSlackに投稿する
という流れになっています。
ただ、それだけだと数字に興味のあるメンバーやプロジェクトの関係者しか共有できないというデメリットもあるので、社内全体の底上げであったり、議論を活発化させるという目的で30分〜1時間程度で分析結果を共有する分析共有会という時間を不定期で取っています。
分析結果の蓄積
こちらも分析結果の共有方法に関する取り組みです。
個々の分析結果の共有は上述した通りなのですが、分析結果が溜まっていくにつれて、過去の分析結果を簡単に振り返ることが難しくなってきたり、知見の積み上げが属人的になってしまったので、POや分析チームに向けて分析知見集約ノートというものを運用しています。
内容はとても簡単でタイトル、サマリー、タグ、分析結果へのリンクを1つのドキュメントにまとめているだけです（mikanではNotionを使っています）。
更新した際は手動ですが、Slackで投稿してアップデートが伝わるようにしています。（自動でも更新できますが、変更内容をわかりやすくするために手動で投稿するようにしています。）
SQL学習の支援
mikanでは各メンバーが事業や数値、ユーザーへの理解を持ちながら業務を進めるために、個々人で簡単な数値算出や既存のクエリの修正くらいならできるという状態を目指しています。
そのため新しく入社してプロダクト開発に関わる機会が多いメンバーにはSQLを学習してもらっており、データ分析チームはその支援も行っています。
実際に当時はマーケターとして全くSQLについて知らない状態で入社した飯田さん (@aviciida) の場合は
- スライドを使ってSQLについての簡単な説明
- ハンズオンで一緒に簡単なクエリを書く
- SQLの入門書「10年戦えるデータ分析入門」を読む
- オンラインのSQL学習サイト SQLZOO で問題を解く
- 実際にクエリを書きつつ、疑問点があれば質問
といったプロセスを経て、現在は自在にSQLを使いこなしています。学習方法はこちらの記事に書かれている内容をベースにしています。
ただ、mikanメンバーはエンジニアをはじめリテラシーの高い人が多く、こういう勉強法がいいよと教えてあとは疑問点があればその都度質問してもらうといったスタイルで済む場合も多いです。
分析基盤の構築・運用
分析基盤の構築、運用もエンジニアチームと協力しつつ、データ分析チームで担当しています。
いろいろと試行錯誤した後、現在はKinesis Firehose、S3、Athenaというシンプルな構成で運用しています。このあたりの歴史の話は闇深い話もあり（笑）、長くなるので後々ブログで書いていきたいと思います。
おわりに
以上が普段データ分析チームが取り組んでいる内容になります。これらの詳細な内容についてはこれから本ブログで紹介していきたいと思っているので、引き続き見ていただけると嬉しいです。
最後に弊社では一緒に働く仲間を募集中です。データ分析に興味のある方、教育事業へ興味のある方、ぜひ少しでも興味ある方はご連絡ください！
