OnLine

OnLINE
LINEでは、こうしてます。
私のSTYLE

Deep PersonalizationのWOWを生み出した「ディープなグローバル連携」

LINEでは価値基準「WOW=NO.1」を生み出すために、LINEらしいやり方、考え方を「LINE STYLE」(11項目)としてまとめています。

その具体的な実践方法を紹介していく連載企画「私のSTYLE」。第7回は、「GLOBAL WOW PROJECT AWARDS 2019」(※)で、BEST WOW(2位)に輝いたLINE NEWS「Deep Personalization」プロジェクトのメンバーに話を聞きました。

※グローバルを含むLINEグループの中から「2019年最高のWOW」を決める社内表彰イベント。社員投票で各賞を決定。

LINEのニュースタブ最上部にあるレコメンド枠は、人の手ではなく、AIの技術で個人にカスタマイズされています。そのバリエーションは累計で1億パターン。LINE NEWSを、国内NO.1のスマホニュースサービスに押し上げる原動力にもなりました。

このプロジェクト成功の裏側には、日本の企画チーム3人と、韓国NAVERのAiRSチーム(AI Recommender System)によるディープな連携があったそうです。

グローバル連携で成果を出すコツとは? またその中で実践されていたLINE STYLEとは? 自宅からメンバーに話を伺いました。

上段左から、ニュースレコメンド・プロダクト企画チームの中村亮、笹山七海、AiRSチームのハン・ジュンキュ、下段左から、AiRSチームのチェ・ジェホ、ニュースレコメンド・プロダクト企画チームの森本大。ジュンキュは、AiRSだけに空から参加?

中村 亮(Nakamura Ryo)

LINE株式会社 ニュース事業部 ニュースレコメンド・プロダクト企画チームのマネージャー。2016年10月入社。LINE NEWSのレコメンド機能をはじめ、新規機能や管理ツールの企画などをリード。スマートチャンネルのタスクフォースも兼務。


森本 大(Morimoto Dai)

LINE株式会社 ニュース事業部 ニュースレコメンド・プロダクト企画チーム。LINE NEWSのAI領域、スマートチャンネルとの連携企画を担当。2016年12月入社。本プロジェクトにはData Labsのプランナーという立場で携わり、2020年1月からニュース事業部に異動。


笹山七海(Sasayama Nanami)

LINE株式会社 ニュース事業部 ニュースレコメンド・プロダクト企画チーム。2019年4月に新卒入社。主にレコメンドエリアのUI、ロジックのA/Bテストを担当。レコメンド記事の品質管理の領域でPMを務める。


チェ・ジェホ(Choi Jaeho)

NAVER AiRSチームのリーダーとして、NAVER、LINEの主要サービスでAIレコメンド機能の研究開発を率いる。2003年入社。2016年にNAVER NEWSでAIレコメンド機能の開発を担当。韓国、日本、台湾などで進行中の様々なAIレコメンドプロジェクトに携わる。


ハン・ジュンキュ(Han Jungkyu)

NAVER AiRSチーム所属。2018年5月入社。2019年1月からLINE NEWSのレコメンドシステムの開発に合流し、モデリング開発からサーバーへの実装までを担当。日本語が得意で、本プロジェクトの両チーム間のコミュニケーションのハブとなった。

国内NO.1への道のり

──「Deep Personalization」プロジェクトは、いつ頃、どんな経緯でスタートしたのでしょうか。

中村

「Deep Personalization」と明示したのは、2018年6月の「LINE CONFERENCE 2018」で発表してからですね。LINE NEWSは、2013年7月にネイティブアプリを出して、2017年にはニュースタブとして、LINEアプリのメイン機能に加わったんですが、その当時から、属性ベースでのパーソナライズは進めていました。

当時からニュースサービスのトレンドとして、「パーソナライズ」は注目されていました。でも、それを前面に押し出したサービスは、国内でほとんどなかった。そこで、他の国内スマホニュースサービスより一歩抜きん出るための武器として考えていたのが、AIの技術を使った「Deep Personalization」です。2019年4月にニュースタブを大リニューアルして、パーソナライズ領域をトップページの最上位に表示しました。

──当時、超えようとしていた壁というのは?

中村

ユーザーにもっと記事を読んでもらえること、すなわち指標で言うとPVになります。LINE NEWSは、国内のニュースサービスでは後発だったので、初めは「媒体数」や「記事数」など、コンテンツを集めることを重視していました。それで、2018年に提携媒体が750以上、月間記事数が21万本を超えて、国内NO.1のコンテンツ量を確保できました。MAUでも他社を超えて、スマホ向けニュースサービスとして、国内NO.1になれた。

さらに全ての面でNO.1になろうと、パーソナライズに本腰を入れることになったんです。

LINE NEWSは「NO.1」になるための土台を着実に築いてきた。「GLOBAL WOW PROJECT AWARDS 2019」プレゼン資料より。

──以前の属性ベースのレコメンドと、現在の「Deep Personalization」のレコメンドでは、どれくらい結果のバリエーションが違うんですか。

中村

属性ベースのレコメンドは、年齢や性別などをベースに数千パターンの記事結果を用意していました。ユーザーのおおよその「かたまり」に合わせて記事を出していたんですね。

今のDeep Personalizationでのレコメンドは、AiRSのロジックを使ってユーザー個別のリストを作っていて、累計で1億以上パターンがあります。なので、比較にならないほど、バリエーションの差はありますね。

同じ時刻に表示されたニュースを、編集部メンバーで比較してみました。個性がでますね。

9カ月にわたる議論、10個の開発用デモ

──いつ頃からAiRSチームと組むようになったのでしょう?

ジェホ

私が初めて日本に出張したのは、2018年2月だったと思います。それから1カ月に1回か、2週間に1回くらいは日本に行って、中村さんたち企画チームの皆さんとお会いしました。韓国でNAVER NEWSのパーソナライズ化がうまくいっていたので、「日本でも早くやりたいな」と個人的にも思っていました。

中村

私たちはパーソナライズを通じて、ユーザーのその時々のシチュエーションや興味・関心にマッチしたコンテンツを提供することを第一に考えています。AiRSチームからパーソナライズの技術を紹介してもらった時、実際にテストしてみて結果がよかったら、本格的に導入したいと思っていました。テストの結果、AiRSのロジックはユーザーにより記事を読んでもらえることが分かりました。この流れを受けて、2018年6月のカンファレンスでプロジェクトとして発表することになりました。

ジェホ

カンファレンスでの発表を皮切りに、本格的な準備が始まりました。2019年4月のリリースに向けて、たくさんミーティングをして、開発を進めたのが2018年末でしたね。

その前の準備期間で思い出したんですけど、開発用デモをたくさん作ったんです。UIはすごく地味なんですけど、実際のデータを使ったデモを全部で10個ほど。その中から選りすぐりのものを導入することになりました。最初のミーティングから9カ月かけて、じっくり議論しましたね。

──かなり時間をかけて議論していたんですね。

ジェホ

そのおかげもあって、インフラ周りもしっかり準備できました。当時、このプロジェクト以外にも、「検索」とか新しいサービスがどんどん作られていたので、サーバーが不足していたんですよ。でも、数千万人のユーザー規模でパーソナライズしていくためには、大量のサーバーが必要です。

そのサーバーをどう確保するか悩んでいた時に、IDC(Internet Data Center)を大阪に作る話を聞きまして、レコメンドサービス用の大規模クラスター(サーバーグループ)の構築をお願いしました。準備期間中に大阪IDCができ上がってきたので、落ち着いてサービスをリリースできました。

──万全の状態でリリースできた。

ジェホ

はい。サーバー以外にも、レコメンドシステムでは、ユーザーの「行動ログ」と最新の「記事データ」を、リアルタイムに連動させる必要があります。これには、かなり悩みました。リアルタイムで新しい記事をレコメンドしていくためには、いろんな方法がありますが、ストリーミングで連動させていくのが一番良いんです。

そのためには、ユーザーの行動ログが発生するたびに、それをサーバーに送り込んで、さらに取り込んでいく必要がある。幸い、LINEアプリには「WTS」(Web Tracking Service)と呼んでいるリアルタイムストリーミングログがありました。これが無かったら、かなり時間が掛かっていたと思います。WTSを活用することで、「行動ログ」と「記事」を連動できたのも、プロジェクトが成功した要因の一つだと思います。

A/Bテストを重ねて見えてきたもの

──当時、森本さんはどんな関わり方をしていたんですか。

森本

当時はData Labsのプランナーとして、LINE NEWSをグロースさせるためのプランニングを担当していました。LINE NEWSの企画の皆さんから相談を受けて、データサイエンティストに分析してもらい、その結果から、どんな施策を打てばよさそうか、考えるような仕事ですね。

リニューアルにあたっては、中村さんから「ニュースタブトップの大規模なリニューアルがある」「A/Bテストをやりながら進めたい」と相談を受けて、企画に必要なデータの分析、A/Bテストのディレクションを担当していました。LINE NEWS自体が大きいサービスなので、いろんなA/Bテストをやっているんですよね。それをどう管理、運用していくのかが難しかったです。

中村

大変でしたね。「今このテストをやっているので、あのテストはできない」みたいな前後関係を意識しながら、どうやったらうまく管理できるのか、森本さんと2人で密に話し合いながら決めていきました。

──A/Bテストを重ねて、2019年4月にリリースを迎えます。リリース直後の反響はいかがでしたか。

中村

ニュースタブトップの大きなUI変更もセットでやったので、リリース直後のA/Bテストでは、CTRが旧バージョンより低く出るような日もあって、少し不安になったりもしました。でも、「ユーザーの慣れ」とか「レコメンド精度の改善」もあって、 1、2カ月経つと効果が上がっていきました。

リリース後、十数回にわたるアルゴリズム調整を経て、126億PVを突破した。「GLOBAL WOW PROJECT AWARDS 2019」プレゼン資料より。

──レコメンド精度の改善は、どんな風にやっていたんですか。

ジュンキュ

ユーザーログを分析して、そこから思いつく対策を片っ端から試していきました。例えば、韓国では「最新記事」が好まれるんですね。NAVERでは「朝起きてページを開いたのに、どうして昨日のニュースがトップに出てくるんだ?」という意見がたくさん寄せられます。なので、日本でも最新の記事を優先していたら、「事件があまりに多くて悲しくなる」というフィードバックが多かった。これは「予想と違うぞ」と思いましたね。

仮説が間違いだったことがデータで示されたら、問われるのはフレキシブルな「対応力」です。この時は、ユーザーログを分析したら、内容が面白ければ、数時間経った古い記事でも読まれることが分かりました。

そんな風にアルゴリズムを調整していたら、レコメンドの精度が劇的に改善していきました。はっきりと結果が出たのは、2019年のゴールデンウィーク明け頃ですね。その時は、チームのみんなで喜びました。

──笹山さんは、2019年4月のリリース時は、新卒で入社したばかりでしたね。

笹山

そうですね。まだ研修中でした。カンファレンスで「Deep Personalization」の構想を聞いていたので、今のチームに配属が決まったときは、とてもワクワクしましたね。

判断の軸は数百万人のデータ

──ここからは、LINE STYLEの11項目を見ながら、「Deep Personalization」プロジェクトに取り組む中で、LINE STYLEをどう実践していたのか、聞かせてください。まずは、こちらの4項目で特に意識していたのは?

LINE STYLE BOOK」より。

笹山

私は、「Always Date-driven(感覚ではなく、データ=事実を信じる)」です。レコメンドのアルゴリズムを改善する時に、それがどれくらいユーザーに影響を与えたのか、判断する軸はとにかくデータです。今は「デモレビュー」→「チューニング」→「リリースしてからの効果検証」の3つのプロセスを回しながら、最適なアルゴリズムを目指しています。リリース以降、もう10回以上はA/Bテストをしています。

LINE NEWSでA/Bテストをする時は、全ユーザーの数%を対象にしています。それでも何百万人というボリュームになるので、3、4日テストするだけで統計的な有意差検定ができます。施策の結果がすぐにわかるので、面白いですし、モチベーションにもつながっています。

ジェホ

AiRSチームでは、これまで韓国ユーザーのためのレコメンドシステムを作ってきました。でも、今回は日本ユーザーのためのシステムなので、当然、基準は日本ユーザーにするべきです。その意味では、「Users Rule(全ての原点は、ユーザーニーズ)」ですね。

日本のユーザーのニーズを把握して、それに合わせていくためには、私も「Always Date-driven(感覚ではなく、データ=事実を信じる)」が重要だと思います。人間はものごとを判断する時に、頭の中でバイアスを掛けたりしますが、データ自体には偏見がありません。数百万人を対象にしたA/Bテストをやることで、正確な判断を導き出す根拠になります。そういったデータを活用することで、日本でLINEが発展してきたんだと思いますしね。

毎朝30分の「ハドル」で同期

──次はチームワークにまつわる項目です。この3つの中で特に意識していた項目は?

中村

LINE NEWSは大規模なサービスですが、私のチームは、ニュースタブ全般のUI/UXを担当している2人と、レコメンドを担当している3人の合計5人だけなんですね。もちろん、事業部内で関わる人はたくさんいますが、チームは少人数です。「Build Lean and Exceptional Teams(最高を目指す、少数精鋭のチーム)」になっていたことが、機動力の高さにつながっているのと同時に、「Keep in Sync, Aiming for the Same Goal(同じゴールを目指し、同期し続ける)」にもつながるんだと思います。

笹山

企画チームでは、毎朝30分間「ハドル」という、各メンバーの進捗状況を共有する会があるんですよ。直近のToDoの確認だけじゃなくて、中村さんと森本さんが今何をやっているか把握しながら、拾い切れてないボールがないかを意識して聞くようにしています。そういう場があるので、「Keep in Sync, Aiming for the Same Goal(同じゴールを目指し、同期し続ける)」を意識できるし、メンバーの業務への想像力がついて、チームとしての調和が取れていると感じています。

ジェホ

このプロジェクトでは、企画と開発のR&R(役割と責任)がありつつ、各自がきちんとそのR&Rを果たした上で、さらにその枠を飛び越えて動いているところがうまくワークしている要因だと思います。必要な質問や意見は、LINEのグループチャットでいつでも話せる状態になっていますし。リモートワークになる前は、月1回は日本と韓国を行き来して、顔を合わせてミーティングをしていました。仕事が終わった後も一緒に食事に行ったりして、みんなの考えが分かるようになりました。それが業務にもうまくつながっていったと思います。

日本での打ち合わせの後、みんなでカラオケに行ったこともあるそう。その時、ジェホが歌ったのは「尾崎豊」。

互いに一歩踏み込んだ対話

──コミュニケーションの部分は、日本と韓国の合同プロジェクトということで、難しい部分もあったのではと思います。ほかにも、工夫したこと、意識していたことがあれば教えてください。

中村

言語の面でのキーパーソンはジュンキュさんでしたね。もちろん、エンジニアとしても優秀な方ですけど、すごく日本語が上手で、企画メンバーの日本語のニュアンスをしっかり汲み取ってくれます。ジュンキュさんがいなかったら、ここまでうまく進まなかったと思います。

ジュンキュ

言語の話はいったん置いておくとして......(笑)。コミュニケーションの仕方で意識していたことがあります。例えば、企画チームから新しい企画の話が来たら、それをやりたい理由をAiRSチームなりに解釈して、そのために必要な機能を逆提案するようにしていました。仕様書には書かれてないけど、きっと必要であろう機能を、もう一段階考えた上でコミュニケーションするわけです。

中村

企画サイドからも、AiRSチームの意見を踏み込んで聞くようにして、内容をかみ砕いて理解しようとする動きをしていましたね。

ジェホ

ディテール部分も最後まで詰めていきたい方ばかりなので、企画/開発という枠にとらわれず、なぜこれが必要なのか、という本質的な対話もたくさんしましたね。

企画チームの3人が、画面越しでAiRSチームと記念撮影。(写真提供:中村)

1つの課題に8つの解決策

──こちらの働き方についての2項目ではいかがでしょうか。

笹山

テストの過程で、鮮度がやや低めな記事が出てしまうことがあった時に、AiRSチームと相談しながら、8つぐらい解決策を出したことがありました。それぞれのアプローチのメリット/デメリット、モデルの開発とチューニングの工数を考慮して、最終的に1つに絞りました。

解決したい問題は1つだけなのに、8つも解決策があるというのは、多角的な視点を持って取り組めているからだと思います。そういう意味で、「1% Problem-finding, 99% Solution-making(「できない」から「できる」をつくる)」だったと思います。

──実際に、どうやって8つも解決策を出したんですか。その過程をもう少し聞かせてください。

笹山

企画チームで話し合った時に出てきた解決策は、3つぐらいでした。それをAiRSチームに相談したら、「これでもある程度は解決できるけど、本質的、根本的な解決にはならないかも」という意見をもらいました。そしたらハン(ジュンキュ)さんから、「ロジック観点では、こういう方法があります」とさらに3つの解決策を出してくれました。あとはAiRSチームが日本に来てくれた時に、全員で話し合って出していきました。

ジェホ

開発組織を長い間やっていて感じるんですが、エンジニアは開発の途中で難しそうだと思ったら、「これは無理だ、できないよ」と言うことが多いんですよ。もちろん組織のスタイルによるとは思いますけどね。新しいことをやると、既存のものにエラーが発生するリスクが出てきますから。

でも、AiRSチームでは新しい試みを奨励しています。「できない」と言うよりは、何とかしてうまくいく方法を考えるようにお願いしています。それは開発側だけの話でなくて、企画側にも言えると思うんですよね。開発と企画が一緒に相談していかないと良いソリューションは生まれないんです。

企画が「これをやってくれ」と言い、開発が「それはダメです」というのでは、対立しか生まれません。お互いに案を出しあうことで第3のソリューションにつながることがあるんです。そういう意味では、このプロジェクトは企画と開発のバランスが取れていたと思います。

Deep Personalizationはどこへ行く?

──最後の2つは、仕事に対するマインドについての項目です。

中村

このプロジェクトは、「トップニュースは人の手で選ぶ」というニュースサービスの常識を、大胆に変えたんですよね。このアグレッシブさは、「Go Brave. No Fear. No Regrets(世界を変えるのは、大胆で勇気ある挑戦)」の精神だと思いますし、本プロジェクトの良いところだなと思っています。

──情報のパーソナライズが進むと、他の思想や価値観に触れる機会が減って、社会が分断化されていく「フィルターバブル」が問題視されることもあると思います。そのあたり、どんな風に捉えていますか。

中村

パーソナライズされている領域と、LINE NEWS編集部が手動で今広く知るべきニュースを運用している枠と両方が掲載されていて、ニュースサービスとしての公益性も担保できるような設計になっています。その上でパーソナライズロジック領域ではどんな方向性を模索するといいのかを日々考えています。

笹山

そうですね。今のレコメンドロジックは、どうしても興味が顕在化している分野に対して働きやすい傾向があります。パーソナライズは情報過多な時代の交通整理でもありますが、そこと、新しい発見や公共性のバランスをどう取っていくのかを、常に模索しています。

「個人の知りたい」にも応えながら、「社会の知っておきたい」にも応えるためには、CPさんと連携して「パーソナライズ機能を使って、もっとこんな情報とのタッチポイント作りたいよね」みたいな話ができるともっと良いと思います。

例えば、選挙そのものに興味がない人でも、住んでいる地域の「選挙割」みたいな情報がナチュラルにレコメンドされたら、少し風穴を開けられるかも知れません。そうやって「個人化×公共性」の重層的なロジックを組むことが、結果的に「Users Rules(全ての原点は、ユーザーニーズ)」に向き合うことになるとは思っています。

──LINE NEWSは、国内NO.1になりました。今後の目標は? 「Deep Personalization」はどこに向かうのでしょうか。

中村

ポータルカンパニー全体で掲げているのは、「代替不可能な存在になる」ということですね。数字としては、2020年4月末にMAUは7500万人、PVは165億まで伸びています。さらに 成長を続けるためには、インターネット上にある情報をもれなく集めて、ない記事は自分たちでも作り、その記事を「レコメンド」というベースに乗せて、時と場合に応じて、それぞれのユーザーに最適化して届ける。今はそういう方向を目指しています。

2020年もWOWを届ける。写真は「GLOBAL WOW PROJECT AWARDS 2019」より。

もう一つのEnjoy the Challenges

──プライベートでもチャレンジしていることがあったら教えてください。

中村

緊急事態宣言もあって外出を控えているので、気分転換と、子供にも喜んでもらえるようにと、料理に挑戦しています。最近はスパイス調味料の奥深さにハマりそうです。

大量のスパイスの小瓶。見ているだけで気分が上がりそう。(写真提供:中村)

森本

私も料理です。妻もリモートワークなので食事の準備を分担しています。週に妻4:私3ぐらいの割合ですね。

森本が週3ペースで立つ台所。(写真提供:森本)

ジュンキュ

久しぶりに趣味だった飛行機のプラモデルを作っています。元のキットのできが悪いので、いろいろカスタマイズしていますけどね。リモートワークでも週に2~3時間しか作業時間が取れなくて、なかなか進んでいません。年末までは完成させたいですね。

笹山

私は「GLOBAL WOW PROJECT AWARDS」でもらった賞金で、憧れだったプロジェクターを買いました。今は家にいることが多いので、週に5本ぐらいはプロジェクターで映画を見ていて、感想をTwitterでつぶやくようにしています。

モバイルプロジェクター「Anker Nebula Capsule II」。シックなデザインが物欲をそそります。(写真提供:笹山)

取材の事前アンケートで、中村は、AiRSチームへの質問を書いてくれていました。「AiRSチームの皆さんの万物を包み込むような懐の深さは、一体どこから生まれるんですか」。当日、時間が足りなくて、その話はできなかったのですが、改めて皆さんの発言を読み返してみると、答えが既に出ていたように思います。2020年も、WOWを生み出してくれそうです。

最後に「WOW=NO.1」を作ってもらいました。

*

斉藤 幹晴

PR室で社内広報を担当。2004年にライブドア(現LINE)入社。メディア事業部でスポーツ、映画などのニュースサイト、コンテンツ作りに携わる。現在は社内報の企画編集などに従事。趣味は音楽鑑賞(ジェイコブ・コリアー)、読書(「うしろめたさの人類学」)、自転車に乗ること。