サイバーエージェント新卒研修にて『生成 AI を用いた SNS』というテーマで 3 週間の短期開発に取り組みました。我々のチームは 'AI で生成した美女' を共有する SNS アプリケーションを開発し、成果発表では インフラ部門で技術賞 を頂きました。今回の記事では、開発したサービスと実際に構築した運用アーキテクチャについて設計思想や技術選定を交え、紹介したいと思います。

新卒研修で構築したサービス運用基盤の紹介

株式会社 AbemaTV Cloud Platform Team にて ABEMA を構成するマイクロサービスのデプロイ状況を可視化するモニタリングツールの開発・導入ミッションに臨みました。本ブログは 「CyberAgent Developers Blog - ABEMA におけるマイクロサービスデプロイ状況可視化のための内製モニタリングツールの開発」 に掲載された内容です。

ABEMA に内製モニタリングツールを導入した話

クラウドサービスや Third-party ベンダが普及する昨今、各サービスを連携する上で、OIDC や OAuth 2.0 という言葉をよく耳にすると思います。これらの仕組みは、サービスを利用する際のセキュリティを担保する上で重要となる、認証・認可を提供するための基本的な規約（プロトコル）になります。OAuth 2.0 や、その仕組みを流用して拡張された OIDC は複雑で、認証・認可において多くのフローを辿ります。毎回、再調査をするのが大変なので、認証・認可の仕組みについて一度整理しておきたいと思います。

OAuth 2.0 に基づく認証・認可

現在、研究室で利用するための KaaS 基盤（プライベートクラウド）を整備するべく、ベアメタル Kubernetes の構築に取り組んでいます。今回は、CNCF cloud native landscape にもある Rook/Ceph を使用して分散ストレージシステムを導入し、Amazon S3 や Google Cloud Storage に相当するオブジェクトストレージを自前で構築してみたので、その紹介です。

Rook/Ceph で実現する分散ストレージの構築

Kubernetes やクラウドネイティブな環境下での負荷試験において、Grafana Labs の k6 が注目されています。 k6 はコンテナフレンドリーな設計となっており、シナリオの定義も非常に容易です。 また、Kubernetes への導入には、オペレータ（k6-operator）を用いることで、大規模な負荷シナリオや分散実行、自動化されたパイプラインとの統合も可能です。今回のブログでは、モダンな負荷試験ツールである k6 を取り上げ、導入方法や負荷試験環境の構築についてまとめてみたいと思います。

k6 で実現する負荷試験のモダナイゼーション

先日開催された Qiita Hackathon 2024 に参加をし、無事に予選を通過してきたので、振り返りも兼ねてブログを書こうと思います。

Qiita Hackathon 2024 に参戦してきました

GCP では各マネージドサービスを利用する際の権限管理としてサービスアカウント（GSA：Google Service Account）を用います。GSA には、予め Google 側で用意しているデフォルト GSA と、利用者が自由に作成できる GSA が存在します。一般に、前者のデフォルト GSA はプロジェクト作成時点や API を有効化した際に自動的に作成されます。デフォルト GSA は削除してしまうと、その GSA を利用するマネージドサービスにアクセスできなくなってしまいます。今回は、誤って削除してしまったデフォルト GSA の復元方法について紹介したいと思います。

誤削除したデフォルト GSA の復元方法

8 月 1 - 2 日（2 Days）パシフィコ横浜にて開催された Google Cloud Next Tokyo'24 に現地参加してきました。基調講演では主に生成 AI の最新動向や将来性について、実際の活用事例や今後の展望、使用していく上での課題や解決策に関する話題がメインでした。今回のブログでは、基調講演をはじめ、いくつか気になったセッションに関してまとめようと思います。

Google Cloud Next Tokyo'24 現地参加レポート

マルチクラウド環境において、AWS から GCP のマネージドサービスに対し、OIDC によるキーレス連携を実現する GCP Workload Identity Federation の仕組みについて紹介します。多くのクラウドサービスでは、API キーや Credential（AWS アクセスキーや GSA アカウントキー）を発行することで、各種マネージドサービスにアクセスすることが可能です。しかし、永続的に使用できてしまう認証情報は、キーローテーションによる管理の煩雑化や、流出によるセキュリティリスクが存在します。GCP Workload Identity Federation では、Credential として有効期限の短い STS トークンで認証・認可を行うため、前述のセキュリティリスクを軽減できます。これらの処理はクライアントライブラリによって隠蔽されるため、サービスの開発者やワークロードは OAuth 2.0 Token Exchange の複雑な仕組みを意識することなく、通常の Credential と同じように利用することができます。GCP Workload Identity Federation は非常にセキュアで利便性が良いですが、内部でどのような手続きが行われているのか気になったので DeepDive してみました。

Workload Identity Federation の仕組み

5 月 28 - 30 日（3 Days）Google Cloud が開催する Platform Engineering のハンズオンセミナーに参加してきました。 今回のセミナーは Google Cloud カスタマーエンジニアの公演を聞きながら、Google Kubernetes Engine（GKE）を活用して実践的に Platform Engineering を学ぶコンテンツとなっており、座学とラボの両方が実施されました。今回のブログでは、振り返りも兼ねて 3 日間の参加レポートをまとめたいと思います。

Google Cloud を活用した Platform Engineering の実践

こんにちは！れん（@ren510dev）です。今年も近所の桜が満開で、外に出ると香りが漂ってきます。夜は過ごしやすい気温だし、風も気持ち良いので 最近は毎日 1 時間程散歩をしています。健康に良いし、考えも整理出来るしで一石二鳥！丁度 1 年前の 2022 年 4 月 ~ 2022 年 7 月にかけて、インターンシップを始め就職活動を行い、計 40 社 以上の面談・面接を受けました。結果、多くの企業よりオファーを頂き、インターンの合格通知、内定を獲得することができました。最近では、25 卒の方から、選考対策・就活に関する相談を受けることも多くなってきたので、今回は当時を振りつつ、経験を踏まえてこれから就活を始める人に向けてメッセージを書いてみようと思います。

【What's my color?】自分のイロを探す旅

3 年ぶりに Orenge Diary を更新します。jQuery から Next.js + TypeScript に移行しました！

Orenge Diary をリニューアル

Next.js は、React ベースの Web アプリケーションフレームワークで、SSR（Server Side Rendering）等のフロントエンド開発に必要な機能を十分に備えています。2022 年 10 月には、App Directory（App Router）というルーティングエンジンを beta 版として導入した Next.js 13 がリリースされました。今回の記事では、Next.js 13 の基本的な考え方と使い方について整理してみたいと思います。

Next.js 13 でリリースされた機能の紹介

従来、Kubernetes では秘匿情報を管理するコンポーネントとして KES（Kubernetes External Secrets）が広く利用されており、Secret リソースを管理するツールとしてデファクトスタンダートとなっていました。しかし、2021 年 11 月 KES の非推奨化が発表され、2022 年 7 月時点でアーカイブされました。KES が非推奨になった背景としては、アクティブなメンテナがいなかったことや、プロジェクト内で抱えていた技術負債を解消しきれず、メンテナンスのモチベーションを維持できなかったことが言及されています。KES の非推奨化に伴う後継ツールの一つとして ESO（External Secrets Operator）が注目を集めています。ESO は KES を開発していたコミュニティによってホスティングされており、Go でリファクタリングされています。ESO は KES との互換性を維持しつつ、メンテナンス性を重視した機能豊富なサービスとなっており、移行ツールも用意されています。今回の記事では、KES の非推奨化に伴う ESO への移行について、ツールの特徴を交えながら紹介したいと思います。

KES 非推奨に伴う ESO への移行

Ubuntu 22.04（LTS）がリリースされたのでインストールしてみましたが、そのまま放置して数ヶ月が経っていました。 久しぶりに使用する場面が来たので、いつも通り apt update しようとしたところ、『Warning: apt-key is deprecated』というメッセージが表示されました。Debian 12 からは、apt パッケージの署名に利用している apt-key が非推奨・廃止になるとのことです。しかし、今のところ、apt-key に変わる、apt リポジトリの署名に使用する GPG 公開鍵の管理手法におけるベストプラクティス的なものが無かったので、とりあえず、GnuPG（gnupg + signed-by） で移行してみました。

apt-key 非推奨に伴う gnupg への移行

Go を書いたことがある人なら、一度は Goroutine というワードを耳にしたことがあるかと思います。Goroutine とは、Go で並行処理（マルチスレッド）を実現するための軽量なスレッドのことです。Goroutine は一般的なカーネルスレッドと比較して、非常に軽量かつ効率的なスケジューリングが可能です。今回のブログでは、Go ランタイムの実装を覗き、Goroutine が '軽量スレッド' と呼ばれる理由についてまとめてみたいと思います。

Goroutine はなぜ軽量スレッドと称されるのか

ネットワーク経路上のルータ（ソフトウェアルータ）をはじめとし、ロードバランサやキャッシュサーバ等のミドルウェア装置は、特に高いパケットレートを処理する必要があります。これらのシステムは、膨大なパケットを迅速かつ効率的に処理するために、物理および論理の両方で高いパフォーマンスが要求されます。ネットワークトラフィックの処理は、コンピュータシステムにとって非常にリソース集約的な作業であり、高パケットレート環境下では CPU に掛かる負荷が非常に大きくなってきます。ネットワークミドルウェア装置では、多数のクライアントからの要求を捌くために、マシン内の処理に起因する負荷を効率的に分散・軽減させる必要があります。アプリケーションをマルチコア環境でスケールさせる際、CPU 負荷が特定のコアに集中することでシステム全体のパフォーマンスが低下する場合があります。この問題を解決するため、Linux ネットワークスタックの NAPI や NIC のオフロード機能が、CPU の割り込み処理を効率化し、パフォーマンスを最適化する上で重要な役割を果たします。また、マルチコアスケーリングを効果的に実現するためには、NIC の RSS やカーネルの RPS/RFS といった技術も活用する必要があります。これらの技術により、パケット処理を複数の CPU コアに分散させ、システム全体のパフォーマンスを最適化することが可能です。本記事では、高パケットレート環境下において膨大な量のリクエストデータを捌くために Linux カーネルが取った対策について紹介したいと思います。

高パケットレート環境下におけるネットワークスタック最適化

Go で競プロに臨んだ際、fmt.Scan で TLE が発生したので、その原因と解決策について fmt パッケージの Scan 関数と bufio パッケージの Scanner メソッドに注目しながらまとめてみます。

Go 言語における Scanning の特性と使い分け

インターネットを介して提供されるサービスはどのように構築・実現されるのでしょうか。現代のネットワークアプリケーション開発において、Socket API は非常に重要な役割を果たします。Socket API は、異なるコンピュータ間でデータを送受信するための低レベルインターフェースを提供し、TCP/IP に則った通信を実現します。今回の記事では、ネットワークソケットについて触れ、Socket API の概要から実際の使用法について紹介します。

ネットワーク通信の裏側と Socket API

日本で IP-Clos が採用されているヤフーにて Clos ネットワークの構築をハンズオンしてきたので、聞いた話や知見を含め、IP-Clos について紹介しようと思います。

IP-Clos で実現するスケーラブルな DC ネットワーク

ソースコードだろうと論文だろうと VSCode で全てを完結させたい！今回は、mactex-no-gui というパッケージを導入して VSCode に Tex 環境を構築してみました。

brew + VSCode で TeX 環境を構築する

今日、インターネットは電気や水道と同じく日常に欠かせないインフラとなっています。我々はスマートフォンやパソコンといったネットワーク機器を Wi-Fi やモバイル回線（5G や LTE）に接続することで、インターネットを通じて世界中の人と容易に繋がることができます。では、インターネットは一体どのようにして我々のもとに情報を届けているのでしょうか？今回の記事では、インターネットやコンピュータネットワークの仕組みを紹介します。

インターネットの仕組みと TCP/IP

2020 年 11 月〜2021 年 3 月の約 5 ヶ月間、株式会社サイバーエージェントが企画する長期育成型プログラム CA Tech Accel という企画に参加をしたので、取り組んだこと、成果についてアウトプットしてみようと思います。

エンジニアとしての第一歩を踏み込んだ瞬間

開発の中で Linux 環境での検証が必要になったので、macOS に VirtualBox をインストールし、Ubuntu を仮想マシンとして立てて利用していました。ところが Docker を多用していたところ、Docker イメージが思いの他ストレージを占領するため、あっという間にオーバーフローしました。 ちょっと酷使し過ぎたかな 🤔 ということでそれまで 20 GB の仮想 HDD をアタッチしていましたが、これを機に一気に 64 GB までストレージを拡張していきたいと思います。今回は調べた内容を元に、**Ubuntu 仮想マシンのストレージ拡張方法**について書き残しておきたいと思います。