技術情報

レコメンド

• 2021-03-04

  • レコメンド

  レコメンド#3 GPUで近似近傍探索を行うことで大規模データの計算時間を、12時間から50分へ約1/12に削減したお話

  この記事はレコメンドエンジン連載の第3回目になります。前回までの記事はこちらを御覧ください。 レコメンド#1 ～レコメンドって何？～ レコメンド#2 Sparkで機械学習モデルを高速分散推論させる はじめまして、Marketing Solution Division所属の野尻と申します。19年度にARISEに新卒入社してから約1年間レコメンドエンジンの開発を担当しています。 今回は商品間の類似距離を計算する際に近似近傍探索×PySparkを用いることで、大量の商品に対しての計算時間を当初の12時間から50分まで、大幅に削減したお話をします。 背景と課題 最近傍探索について...

• 2020-12-20

  • レコメンド

  レコメンド#2 Sparkで機械学習モデルを高速分散推論させる

  導入 レコメンドエンジン連載の第2回目です。 前回の「レコメンドって何？」はこちらを御覧ください。 Analytics Delivery Division Initiative Center機械学習担当の下野です。 Initiative Centerでは最新技術を用いて、分析の手法や環境を業務適用可能な品質で実現する活動しています。 SparkクラスタをKubernetes上に構築し、分析者はボタン1つで高速に自分専用の分析環境を立ち上げられるソリューションを開発しています。 KubernetesはEKSを使用しており、TerraformによりInfrastructure as...

• 2020-11-20

  • レコメンド

  レコメンド#1 　～レコメンドって何？～

  はじめまして、Marketing Solution Division所属の岩永と申します。Marketing Solution Divisionでは、主にKDDIグループ会社に対し、データ分析観点でのコンサルティング、ソリューションの提供などを行っています。 ARISEでは現在、新規ソリューションとしてレコメンドエンジンの開発を進めています。レコメンドエンジンと聞くとあまり馴染みのない方もいらっしゃるのではないかと思い、今回を含め全3回で、レコメンド自体の概要から、どのような仕組みを用いているのか、具体的にどのように大規模データを扱っているのかなどを紹介する予定です。...