【Dev】サーバーサイドエンジニア

【会社概要】 ストックマークは、「価値創造の仕組みを再発明し、人類を前進させる」というミッションを掲げ、2016年に設立した自然言語処理AI×SaaSのスタートアップです。 我々は日本企業の世界における国際競争力の低下という課題に向き合っています。多くの日本の大企業では国際的な競争力を高めるため、新規事業開発やイノベーション創出を進めていますが、テクノロジーの発展や市場の複雑化、顧客ニーズの多様化により情報が整理できず、思うように新規事業開発が進んでいないケースが多く見られます。 そこで、日英中の3.5万サイトもの膨大な情報網から自然言語処理を活用して、ニュース/ IR / 特許 / 論文 / 社内資料を解析。解析された情報を最適な形でお届けし、次世代のイノベーション創出＆アイデア創出の仕組みを提供することで、新たなビジネスチャンスを発掘する支援を行っております。 具体的には ・AIが毎日必要なニュース情報をレコメンドし、新規事業創出のアイディエーションを助ける「Anews」 ・AIを使ってオープンデータから業界のトレンドや市場構造を分析する「Astrategy」 という2つのSaaSプロダクトを通じて、「お客様の企業で新しい事業や顧客価値を継続的に生み出せる状態」を目指しております。 2022年8月にシリーズCで11億、累計30億超の資金調達完了。 従業員も80名を超え、急成長中につき、人員を募集しております！ 【現状の課題】 ・数億件規模のWeb上の技術文献をクローリング/コンテンツ抽出/配信するためのアプリケーションおよびインフラの開発及び運用が必要になっている。 ・Web上の文献と顧客の社内文献を解析、配信するためのデータパイプラインの開発及び運用が必要になっている。 【ミッション】 全プロダクト共通のデータ配信システムに位置する、Webクローラーと文書配信パイプラインの設計、開発、運用を行なっていただきます。 【業務内容】 ・TypeScript/Rust/Pythonを用いたWebニュース・特許・論文などを配信するデータプラットフォームの開発と運用 ・大規模言語モデル(LLM)の学習に必要となる日本語データセットの作成 ・顧客の社内文献を解析/配信するための解析ロジック及びデータパイプラインの新規構築と運用 ・FaaS/CaaSによる分散処理のスケーラビリティ向上と監視設計 【開発環境】 [開発言語] Webクローラー: TypeScript(Node.js) コンテンツ抽出/分類/集約, データパイプライン: Python 文字列処理: Rust [コンテナ] Docker [クラウド] AWS, GCP 【ポジションの魅力】 全プロダクト共通の文書配信システムの開発と運用に携わることで、以下の経験を積むことができる。 ・数億件規模の文書データのサーバーレス分散処理に携わることができる ・数万サイトを対象としたWebクローラーの開発に携わることで、Webフロント・バックエンド両方の知見を活かしつつ、不安定なシステムの監視・運用設計のノウハウを取得できる ・PdMやCustomer Successチームとコミュニケーションしながら新規開発や改善策を自身で提案・開発することで、事業へのコミットを経験できる 【関連資料】 Opendata Unit採用ページ https://stockmark.wraptas.site/48e328c4d33a480f837a6509f575db8f

※すべて必須 ①エンジニア経験3年以上 ②PythonまたはTypeScript(Node.js)を用いたアプリケーション開発経験 ③以下の項目を1つ以上満たす方 ・サーバーレスを用いたフルスタックな開発/運用及びそのリード経験（Lambda, ECS, Fargate, Step Functions, Cloud Functions, Cloud Runなど） ・ワークフローエンジンや分散処理フレームワークを用いた開発/運用経験（Hadoop、Sparkなど）

・コンピュータサイエンスに関連する技術分野の修士号または博士号 ・顧客向け自社開発サービスの開発、運用経験 ・文書検索や文書推薦を行うサービスの開発、運用経験 ・サーバーレスに対する幅広い知見と業務経験 ・リーダーなどの立場で事業背景を理解し自ら短期施策を立案／実行した経験 ・Terraformを用いた開発/運用経験

・コンピュータサイエンス、分散処理が好き ・最新の理論や事例をフォロー、検証するのが好き ・与えられた課題だけでなく、自ら問いを立て、そのために必要な解決策を生み出せる ・ビジネスサイドとコミュニケーションしながら、いかにプロダクトに貢献できるかを考えられる ・前向きなチャレンジ精神 ＜その他＞ ・日本国内に居住可能な方 ・開発に関する技術的な内容含め、日本語で円滑にコミュニケーションが取れる方 　目安：日常会話レベル