1152【Dev】データプラットフォームエンジニア

【会社概要】 ストックマーク株式会社は「価値創造の仕組みを再発明し、人類を前進させる」をミッションに掲げ、最先端の生成AI技術を活用し、多くの企業の企業変革を支援しています。 社内外の情報をワンストップで検索できる「Anews」及び、あらゆるデータを構造化し企業の資産に変える「SAT(Stockmark A Technology)」を運営しています。さらに、企業特化生成AIの開発や、独自システムの構築も支援しています。 現在のメインターゲットは国内大手の製造業R&Dであり、すでに日経225の30％、250社を超える企業様での導入が進んでいます。今後は製造業のR＆Dを起点に、国内のエンタープライズ企業、そして日本企業全体、さらにはグローバル企業にも展開していく予定です。 また、日本語及びビジネス領域に強い純国産LLMの開発研究にも注力しており、2024年5月に1000億パラメーターの自社LLMを公開いたしました！ 2024年10月にはシリーズDにて45億円、累計88億円の資金調達を完了。 従業員も100名を超え、更なる成長を目指すために人員を募集しております！ 【現状の課題】 ・数億件規模のWeb上の文献をクローリング/コンテンツ抽出/配信するためのアプリケーションおよびインフラの開発と運用が必要になっている。 ・Web上の文献（ニュース、論文、特許）および顧客社内文献を解析、配信するためのデータパイプラインの開発と運用が必要になっている。 ・Web上の文献を安定的に収集・拡充していくための監視基盤の構築が必要になっている。 【業務内容】 全プロダクト共通のデータ配信システムに位置する、Webクローラーと文書配信パイプライン の設計、開発、運用を行なっていただきます。 エンジニアとして記載の課題解決のための開発を進めながら、データプラットフォームチームをリードし生産性の最大化を行うことも期待しています。 ■具体的な業務内容 ・TypeScript/Pythonを用いたWebニュース・特許・論文などを配信するデータプラットフォームの開発と運用 ・大規模言語モデル(LLM)の学習に必要となる日本語データセットの作成 ・顧客の社内文献を解析/配信するための解析ロジック及びデータパイプラインの新規構築と運用 ・FaaS/CaaSによる分散処理のスケーラビリティ向上と監視設計 ※変更の範囲：開発関連業務 【チーム構成】 Product Engineering Unit（27名） 内訳：VPoE1名、リードエンジニア3名、エンジニア24名 うちOpendata Teamに配属予定 フルスタックエンジニア2名、DRE1名 【開発環境】 [開発言語] Webクローラー: TypeScript(Node.js) データパイプライン: Python [コンテナ] Docker [IaC] Terraform [クラウド] AWS, GCP 【ポジションの魅力】 全プロダクト共通の文書配信システムの開発と運用に携わることで、以下の経験を積むことができる。 ・数億件規模の文書データのサーバーレス分散処理に携わることができる ・数万サイトを対象としたWebクローラーの開発に携わることで、Webフロント・バックエンド両方の知見を活かしつつ、不安定なシステムの監視・運用設計のノウハウを取得できる ・PdMやCustomer Successチームとコミュニケーションしながら新規開発や改善策を自身で提案・開発することで、事業へのコミットを経験できる 【関連資料】 ・Opendata チームまとめサイト https://stockmark.wraptas.site/48e328c4d33a480f837a6509f575db8f ・世界中の情報を収集し、機械学習の力で届ける　Opendata Unitのご紹介 https://note.com/stockmark/n/nebcfb9447683

※①〜③すべて必須 ①PythonまたはTypeScript(Node.js)を用いたアプリケーション開発経験 ②要件定義から設計〜実装〜運用に至るまで一気通貫での経験 ③以下の経験1つ以上 　・サーバーレスを用いたフルスタックな開発/運用及びそのリード経験 　　（Lambda, ECS, Fargate, Step Functions, Cloud Functions, Cloud Runなど） 　・データパイプライン・ETLの構築やワークフローエンジン、分散処理フレームワークを用いた開発/運用経験 　　（Hadoop、Sparkなど）

・コンピュータサイエンスに関連する技術分野の修士号または博士号 ・チーム開発をリードした経験 ・顧客向け自社開発サービスの開発、運用経験 ・文書検索や文書推薦を行うサービスの開発、運用経験 ・サーバーレスに対する幅広い知見と業務経験 ・Terraformを用いた開発/運用経験

・コンピュータサイエンス、分散処理が好き ・最新の理論や事例をフォロー、検証するのが好き ・与えられた課題だけでなく、自ら問いを立て、そのために必要な解決策を生み出せる ・ビジネスサイドとコミュニケーションしながら、いかにプロダクトに貢献できるかを考えられる ・前向きなチャレンジ精神 ＜その他＞ ・日本国内に居住可能な方 ・開発に関する技術的な内容含め、日本語で円滑にコミュニケーションが取れる方 　目安：日常会話レベル