Episode Details

本日は、あのChatGPTを支える「縁の下の力持ち」にスポットライトを当てます。OpenAIが今週公開したエンジニアリングブログ「Scaling PostgreSQL」が、データベース界隈で大きな話題を呼んでいます。

現在、ChatGPTのユーザー数は全世界で8億人に達し、そのトラフィックは過去1年で10倍以上に膨れ上がりました。これほどの規模になると、通常はGoogleのSpannerのような分散型データベースや、NoSQLへの全面移行を検討するのが定石です。しかし、OpenAIのエンジニアたちが選んだ道は、意外なことに「PostgreSQLを極限まで使い倒す」という、非常に泥臭く、職人的なアプローチでした。

彼らのアーキテクチャの基本は「単一プライマリ構成」です。つまり、世界中からの書き込みを一手に引き受ける「親」となるサーバーは、たった1セットしかありません。その代わりに、読み取り専用の「レプリカ」を世界中に約50台配置し、数百万クエリ毎秒という猛烈なアクセスを捌いています。

もちろん、ただ並べただけでは動きません。彼らはPostgreSQL特有の弱点である「書き込みの重さ」を回避するため、チャット履歴などの書き込み負荷が高いデータの一部を、シャーディング（分割）が得意な「Azure Cosmos DB」へと逃がしています。つまり、読み取りは得意なPostgreSQLに、書き込みは得意なCosmos DBに任せるという「適材適所」のハイブリッド戦略です。

さらに興味深いのは、その接続管理です。彼らは「PgBouncer」というツールを使い、データベースへの接続時間を50ミリ秒からわずか5ミリ秒へと10分の1に短縮しました。また、プライマリサーバーが50台ものレプリカ全てにデータを送るとネットワークがパンクしてしまうため、MicrosoftのAzureチームと協力して、「カスケードレプリケーション」の実装テストを進めています。これは、レプリカが別のレプリカにデータを転送するバケツリレー方式で、これによりレプリカ数を100台規模まで増やすことが可能になります。

ブログの最後で著者のBohan Zhang氏は、「新しい技術に飛びつくのではなく、信頼できる既存の技術を深く理解し、最適化し続けることが重要だ」と結んでいます。華やかなAIの進化の裏側には、こうした堅実なデータベースエンジニアたちの「意地とプライド」が詰まっているのです。