はじめに
ARISE analyticsでデータ基盤構築業務を主に行う「データアーキテクト」というキャリアトラックに所属しているエンジニアの田畑です。
現在は主にSnowflakeでの基盤構築案件に携わっています。
今回の記事では、Snowflakeにおける年に1度の最大のカンファレンスイベントであるSnowflake Summitに参加したので、その報告をしたいと思います。
出張の背景
先述した通り、現在私はDMP基盤をSnowflakeで構築するプロジェクトに参画しており、開発メンバーとして業務に従事しています。
イベントの様子
今回のSnowflake Summit 2023は6/26(月)～30(木)の4日間、アメリカ ネバダ州のラスベガスで開催されました。
各日程において、全員が参加するキーノートセッションと、
各参加者がそれぞれ希望するものに参加する個別セッションが用意されています。
キーノートにおいては、CEOであるFrank Slootman氏や共同創業者の1人であるBenoit Dageville氏をはじめとしたSnowflake社のトップ層の方々はもちろん、今回提携を発表したNVIDIAのCEOであるJensen Huang氏やAI関連のCourseraで有名なAndrew Ng氏などの著名人も登壇しました（ミーハー心をくすぐられました笑）。
キーノートセッションの様子。
革ジャンでおなじみのNVIDIA CEO Jensen Huang氏。この日も革ジャンでした。
個別セッションにおいては、様々な新規機能や企業の活用事例などの紹介が4日間でなんと合計400個以上も開催されました。どれも行きたいものばかりだったのですが、体は一つしかないので泣く泣く優先順位をつけて選びました・・・。一部録画されているセッションもあるので、公開されたら見たいと思っています。
またセッションの合間には、Snowflake社はもちろん、dbt LabsやSigma、AlationなどSnowflakeと共に利用するツール（BIツール、ETL/ELTツール、データカタログツールなど）を提供する企業もブースを用意しており、それらを見学することも可能でした。
会場を360度カメラで撮影した様子
Snowflakeの認定資格合格者がグッズをもらえるブースも用意されており、そこでグッズをいただけました！（画像）
合格の旨を伝えると、受付にいるスタッフがWhooooo!!という盛大な歓声でお祝いしてくれました笑
学んだこと
まず今回のSummitで各種キーノート講演や新規追加機能などから個人的に最も強く感じたことは、Snowflakeが「蓄積したデータの活用」を支援する機能に注力していることでした。
現時点でSnowflakeは、安全性、経済性、運用効率性などをそれぞれ高い水準で実現しながらデータを蓄積することができる基盤として人気を集めていますが、今回のSummitでは、それを支える機能改善は継続して実施しつつ、蓄積しているデータを、同じSnowflake内で、アプリケーションや機械学習などに活用できるようにしていく新機能開発・改善が多く見受けられました。
具体的な機能追加について、カテゴリも沢山ある中で、個人的に特に注目したのは、アプリケーション関連機能と、Large Language Models（以下LLM）を含むMachine Learning（以下ML）関連機能です。
アプリケーション実行基盤
Streamlit in Snowflake
Snowflake社が買収したStreamlit社が開発するWebアプリケーションフレームワークを、SnowflakeのUIからSnowflake内部で構築できるようになります。本来であれば面倒な環境構築や、構築した環境へのデータ移動などが発生するのですが、それらを必要とせずに簡単に利用可能になります。
またStreamlit自体、少ないコードで非常にスピーディにアプリ開発ができるフレームワークなので、Snowflakeのデータを活用したアプリケーションがかなりスピーディに構築できることが予想されます。
native application framework
先述のStreamlitやSnowpark、UDFやStored Procedureなどとデータを組み合わせたアプリの構築、マーケットプレイス経由での配信（バージョン管理含む）、収益化を容易にするSnowflake Native App Frameworkを発表しました。
価格体系は利用料に応じた課金や月額、１回の支払いなど柔軟に設定可能です。
Snowpark Container Services
こちらは特に衝撃的だった発表。Snowflakeがコンテナ実行サービスを提供します。ジョブの実行やアプリケーションサーバとしての実行ができるとのことです。AWSにおけるEKSのようなイメージのものを、データを蓄積しているSnowflakeの内部で利用できるようになります。
詳細は公式ブログ: 「Snowpark Container Services:Snowflake で洗練された生成 AI とフルスタック アプリを安全に展開して実行する」をご参照ください。
Snowpark Container Servicesのイメージ図です。
AirflowやHexなど様々なサービスをContainerで実行するデモ画面が投影されました。
Data Clean RoomのUI及び新機能追加
これまでSnowflakeでData Clean Roomを実装しようとすると、必要となるシェア設定や権限設定、タスクの設定など少々複雑な設定を施す必要があったのですが、それを容易にするためのUI及び新機能が追加となりました。
ML機能の拡張
ML機能やLLM関連機能についても沢山の新機能が発表されました。
Document AI
まず大きな衝撃を受けた発表がDocument AIです。Snowflakeが構築したファーストパーティのLLMモデルを利用し、非構造化データから構造化データを取り出すDocument AIを発表しました。UIも用意されており、SQLやMLについての知識が無くてもUIを通して簡単に利用ができます。また同じUIから簡単な操作でファインチューニングまでできてしまいます。更に既存のタスク機能などと組み合わせて、PDFが保存されるたびにデータ抽出を行えるようです。
非構造化データであるPDFからLLMへの問い合わせを通して構造化データを抽出。 更に正しい回答をこちらからフィードバックし、ファインチューニングも可能。
StreamlitでのLLM関連機能サポート
先ほどアプリ側で挙げたStreamlitにおいては、外部のLLMモデルを呼び出すことが可能になります。同じく新機能であるchat形式の実装を容易にする関数を組み合わせることでLLMをchat形式で利用可能なアプリが簡単に実装できるとのことです（実際に個別セッションでは、知りたい情報を自然言語で伝えることで、Snowflake内の然るべきテーブルからSQLを実行し、適切なデータを出力するアプリが紹介されており、衝撃を受けました、、）。
SnowparkのML関連機能
加えて、Snowpark（Snowflakeにて、処理はSnowflakeのウェアハウスを利用しつつ、プログラミング言語としてPython、Javaなどを利用可能にする機能）にて、特徴量エンジニアリングやトレーニングにおける一般的なフレームワーク（Sklearn、XGBoost、LightGBMなど）のサポートを開始することも発表されました。更に、Snowflake内にモデルレジストリ機能（Snowpark Model Registry）を実装することも発表、SageMakerやVertex AIなどで構築したモデルの登録なども可能になります。先述したSnowpark Container ServicesではNVIDIAが提供するGPUを選択可能となっているので、それらを用いたモデルの学習や推論も可能になります。
(これでも一部割愛しているんですが、本当に盛り沢山ですよね、、、)
その他の感想
英語圏のイベントに、会社からひとりで参加するということで少し不安もあったのですが、日本の企業向けのラップアップやディナー会の開催など、Snowflake日本法人の皆様によるフォローが非常に手厚く、おかげさまで当初の不安は早々に解消されました。
日本法人社長の東條氏。久しぶりの日本語講演に少しホッとしました。笑
また、それらのイベントなどを通して、他社のSnowflakeユーザの方々と会話ができ、コミュニティでの情報共有の重要性に気づきました。今後は日本のSnowflakeコミュニティの活動にも関わっていけたらと考えています（早速KDDIグループのSnowflakeコミュニティにてSummit参加報告Lightning Talkに参加させていただくことになりました！）。
終わりに
まず一番の感想としては、本当に刺激的な4日間だったということです。毎日思いもよらない新機能が信じられないほどの数発表されて、驚きの連続でした。特に先ほど挙げたStreamlitでのLLMを用いたアプリケーションの実装は衝撃的でした。ChatGPTが話題になり始めたのも12月頃だったにもかかわらず、これだけのLLM関連の機能を、デモが行えるレベルで開発しているスピードに感動しました。
また、今回初めてこういったイベントに現地で参加したのですが、現地だからこそ味わえた熱気や勢いは間違いなくあったなと感じています。4日間どっぷりとSnowflakeに浸ったからこそSnowflakeのメッセージを深く理解できたと感じています。
今回のSummitへの参加を通して、今後もSnowflakeを使っていきたいと感じ、学んでいきたいという気持ちを更に強めることができました。加えて、当初の目的であった「今後役立つ知見の獲得」も達成できたと感じています。特に構築後の活用フェーズに関する示唆は、テーマとのつながりも強かったため、沢山得られました。新機能の多くはまだプレビューで、使えないものも多々ありますが、実際に触れるようになったら、すぐに手元で試してみたいと思います。
改めて、このような素敵な機会を与えてくださった社長はじめ上司の方々、またこの出張によってプロジェクトに1週間ほど穴を開けてしまうことを許容してくださったチームの方々へ感謝を伝えたいです。その分、今回の経験を元に、しっかりと貢献、還元していきたいと思います！
以上、Snowflake Summit 2023参加のご報告でした！
