Solana HFTのための 低遅延アーキテクチャ

Solana HFTのための 低遅延アーキテクチャ

Solana HFTのための 低遅延アーキテクチャ
データは届いているのに、アプリが判断に使う価格は古いまま。SolanaでHFTを行うアプリケーションでは、計算の速さに加えて、受信したデータが判断に使われるまでの待ち時間も調べる必要があります。前のデータが処理を待っている、記録の保存が終わらない、別の市場の更新にロックを取られている。こうした待ちは、コードの構成によって変わります。
この記事では、届いたデータがどこで待ち、設計を変えると何が進むのかを、5つのパターンで見ていきます。まず自分のアプリで起きている症状を選び、その節から読み進めても構いません。
アプリで起きていること確認する設計
動かし続けるほど、未処理のデータが増える1. 届く量と処理量、待ちの上限
記録の保存中に、次の価格を処理できない2. 判断に必要な処理と、分析用記録の分離
市場Aの更新が、市場Bの更新まで待たせる3. 独立した状態を守るロックの分割
受信するたびに、同じ準備を繰り返している4. 変わらない準備の事前実行と再利用
再接続したのに、古い値で判断してしまう5. 接続の復帰と、判断に使う状態の復旧
図の件数・価格・処理回数・時間幅は、仕組みを説明するためのモデルです。実測した速度や取引の成果を示すものではありません。
図はタップまたはクリックで原寸画像を開けます。

1. 届く量と処理できる量を比べ、待ちの上限を決める

同じ長さの時間区間ごとに6件が届き、2件を処理できる例を考えます。最初の区間を終えた時点で、4件が未処理のまま残ります。このように、処理を待つデータの置き場をキューと呼びます。
到着した6件を6粒で表す。処理済みの2粒と、キューに残って次へ持ち越す4粒に分かれる。
処理は進んでいますが、4件はまだ判断に使われていません。
同じ割合を、6万件の入力へ広げます。2万件を処理しても、4万件が待ちます。図の右では1点を100件、100点の束を1万件として描いているため、処理済みは2束分、待ちは4束分です。
左は1粒1件の6件で、2件を処理し4件が待つ。右は1点100件、1束100点の6万件で、2万件を処理し4万件が待つ。
右の束は、量を見せるためのまとまりです。アプリが一度に処理する単位を表しているわけではありません。
次の区間は、前からの4万件を抱えて始まります。そこへ6万件が届き、2万件を処理するので、残りは8万件です。その次は12万件になります。新しく届いた価格も、先に並んだ仕事の後ろで待つことになります。
各区間で6万件が届き2万件を処理すると、未処理のデータが4万件、8万件、12万件と積み上がる。
届く量が処理量を上回り続けると、未処理のデータも増え続けます。
キューは、短時間に入力が集中するバーストを受け止めるために役立ちます。ただし、容量を増やしても、この例のような持続的な処理能力の不足は解消しません。保持する件数・バイト数に加え、一番古いデータが何秒待っているかを観測し、許容できる上限を決めます。判断に必要な鮮度を満たせない場合は、更新の欠落がなくても、その値に依存する新たな取引判断を保留します。
では、上限に達したらどうするのでしょうか。次の図では、8件の保持枠が埋まったところへ、新しい2件が届いています。その2件を保持できず、しかも判断に必要な更新だった場合、アプリの保存値を正しく更新できません。その値に依存する新たな取引判断を保留し、必要な更新を補ってから再開します。
8件の保持枠が埋まり、判断に必要な更新2件を保持できない。その欠落を理由に、対象の取引判断を保留する。
上限に達した後の動作まで決めて、キューの設計になります。
扱う仕事を減らせるか、処理能力を増やせるかも見直します。同じ対象の最新の完全な状態だけが必要なら、途中の値を最新値へまとめられる場合があります。一方、差分を足し合わせる処理や、途中のイベントも必要な処理では、更新を省くと結果が変わります。
受信を一時停止すると、待ちが配信側へ移る場合もあります。送受信のペースを調整するgRPCのflow control、受け取る対象を絞るサーバー側フィルター、アプリの処理能力を合わせて考えます。[3][4]
まず一つのキューを選び、同じ時間区間に何件入り、何件出ているかを確認してください。処理担当へ渡す前の待ちも含めて一番古いデータの待ち時間を測り、上限を超えたときに必要な更新を失わないか、失った場合に対象の判断を止められるかを確かめます。

2. 記録を待たず、次のデータを判断する

市場価格が100から101へ変わる例を考えます。アプリは100の反映と判断を終え、分析用の記録を保存しています。次の入力を処理するループが保存完了まで待つ構成では、その間に101が届いても反映できません。アプリが持つ価格は、100のままです。
価格100の分析用記録を保存している間、届いた101は反映待ちになり、アプリの価格は100のままになる。
101の計算を始められない原因は、100の記録を待っていることです。
分析用記録を空きのある補助キューへ渡し、保存を別の処理に任せる構成に変えてみます。受信側は、記録を渡したところで次の入力へ戻れます。100の保存が続いていても、101を反映して判断へ進められます。
次の図では、100の保存が続く時間と、101が届く時点、101を処理する時間をそろえて比較しています。変えたのは、次の入力へ進むために保存完了を待つかどうかです。
改善前後を同じ時間軸で比較する。100の記録を保存する区間と101の到着時点、101の処理区間の長さは同じ。改善前は保存完了まで101が待ち、改善後は記録を補助キューへ渡した後に101の反映と判断へ進む。
101の処理自体を短くしなくても、始めるまでの待ちを減らせます。
受信から判断・送信までに必要な処理経路を、ホットパスと呼びます。この例では、判断を待たせる必要がない分析用記録を、その経路から分けています。残高やリスク上限の確認、正しさのために完了が必要な保存処理は、要件を満たす位置に残します。
保存する仕事は残るため、補助キューにも容量と待ち時間の上限が必要です。また、別のタスクにしただけで、別のCPUで動くとは限りません。Tokioの長いCPU処理やブロッキング処理、Node.jsのevent loop上の長い同期処理は、ほかの仕事の進行を妨げる場合があります。処理を移すときは、実際にどこで実行されるかまで確認します。[1][2]
自分の受信ループでも、次の入力へ戻るまでに待っている保存処理を一つ探してください。その保存の完了が判断の前提になっているかを確認し、分離できる場合は、同じ入力に対する判断開始時刻と補助キューの待ち時間を比較します。

3. 独立した更新を、同じロックで待たせない

市場Aと市場Bの価格を、それぞれ独立に更新できるアプリを考えます。Aの更新が始まった後で、Bの更新データが届きました。AとBを一つのMutex(排他ロック)で保護していると、BはAがロックを解放するまで待つことになります。
Mutexは、保護したデータを扱う権利を、一度に一つの処理へ渡す仕組みです。別の処理が使用中なら、同じロックを取得しようとする処理は待ちます。[17]
市場Aの更新が共通ロックを保持している途中で、市場Bの更新データが到着する。Bはピンクの区間を待ち、Aがロックを解放した位置から更新を始める。
Bのデータは届いていますが、Aが使っている共通ロックを待っています。
AとBが別々の値だけを書き換えるなら、それぞれを別のロックで保護する方法があります。次の図は、上段が共通ロック、下段がロックを分けた構成です。A・Bの到着位置と、それぞれがロックを保持する時間は上下で同じです。Bのロックが空いていて、Bを実行する余力もある条件で比較しています。独立したキーを持つデータのロック分割は、Tokioの公式チュートリアルでも説明されています。[18]
上段は市場Aと市場Bが共通ロックを使い、下段は別々のロックを使う。上下でA・Bの到着位置とロック保持時間は同じ。上段のBはAの解放を待ち、下段のBは到着した時点から更新を始める。
Bの青い帯の長さは同じです。取り除いたのは、その前にあるピンクの待ち時間です。
青い帯は、ロックを取得してから解放するまでの期間です。この例では、BはAの更新中に完了します。ロックを分けても、B自身のロックが使用中だったり、実行する場所がほかの仕事で埋まっていたりすれば、その待ちは残ります。
分割する際には、どの更新が独立しているかを確かめます。AとBの価格更新を別々に進められても、両方の価格や共通の残高を使って判断する処理には、必要な値を矛盾なく読む仕組みが要ります。同じスレッドでも、awaitで処理を中断している間に値が変わる場合があります。判断に使う値の版と読み取り方、更新を適用する順序を決めます。
たとえば、AとBが同じ残高を読み、それぞれ注文を作ると、両方が使えると考えた資金が重なることがあります。残高の確認と注文用の資金の確保を同じ担当で順に確定するなど、共通の値を守る仕組みは別に必要です。
状態ごとに更新担当を一つ置き、その担当へメッセージを送る方法もあります。書き手を一つにする考え方がSingle Writerです。ロックを分けることと、書き手を一つにすることは、それぞれ別の設計上の判断です。LMAX DisruptorではSingle Writerと処理の依存関係、Tokioでは専用タスクへのメッセージによる状態管理が説明されています。[5][18]
まず、実際に待ちが発生しているロックを一つ選び、Aの仕事がBを待たせている理由を確認してください。独立にできる範囲だけを分け、同じ入力でロック待ちが減るか、値の更新順序と判断結果を保てるかを比べます。並列でデータを解析する場合も、解析が終わった順と適用すべき順が一致するとは限らない点を確認します。

4. 変わらない準備を先に済ませ、受信後の仕事を減らす

価格の更新データを受け取るたびに、同じ固定IDを解析し、同じ条件から固定アドレスを導出し、作業用メモリを確保しているとします。作業用メモリはバッファとも呼ばれます。この3種類の準備を毎回行うと、変わっていない情報を用意する時間も、判断までの経路へ入ります。
入力条件が変わらない準備は、データの到着前に済ませて再利用できます。到着後は、今回変わった情報を確認し、最終的に送るメッセージを組み立て、その内容へ署名します。
固定IDの解析、固定アドレスの導出、作業用メモリの確保をデータ到着前に行う。到着後は今回の価格などを確認し、固定部分と合わせて内容を確定してから署名する。
変わらない準備を前へ移し、今回の内容の確認と署名は到着後に行います。
何が減るのかを、3件の更新で数えます。毎回3種類を準備すると、合計9回です。先に用意した3種類を順に使い回せば、固定準備は3回で済みます。どちらも入力するデータは3件で、1件ずつ処理して3件を出力します。
上段は3件それぞれで3種類を準備するため9回。下段は先に準備した同じ3種類を順に再利用するため3回。両方とも3件を入力し、3件を処理して出力する。
処理するデータは3件のまま、固定準備を9回から3回へ減らす例です。
この比較は、固定条件が変わらず、作業用メモリを順に安全に再利用できる場合を表しています。メモリの中身は、その都度、今回のデータに合わせて書き換えます。同時に複数の処理で使う場合は、同じ領域を上書きし合わないよう、処理ごとの領域や、貸し出しを管理するプールを用意します。
同じ例を1,000件に広げると、毎回3種類を準備する構成は3,000回、共通の準備を一度済ませる構成は3回です。左右とも1,000件を入力し、1件ずつ処理して1,000件を出力します。準備の回数と、処理するイベントの数を分けて見てください。
左右とも1,000件を入力して処理し、1,000件を出力する。固定準備は、毎回行う左で3,000回、共通の準備を再利用する右で3回。灰色の1枠は準備1回を表し、右の円内は同じ3枠の5倍拡大表示。
減ったのは繰り返す固定準備です。確認・判断・署名などの仕事は残るため、この回数の差をアプリ全体の速度倍率としては扱えません。
再利用を続けられる条件も決めておきます。固定アドレスの導出に使う入力が変わったなら、再計算が必要です。価格、数量、残高、参照するアカウントの状態、リスク上限、blockhashは、判断時に有効なものを使います。継続更新しているローカル状態を使う場合は、その版・鮮度・有効性を確認します。この確認のために、毎回すべてをRPCで取得し直す必要があるとは限りません。
SolanaのgetLatestBlockhashは、blockhashと、その有効期限を示すlastValidBlockHeightを返します。期限の判定ではblock heightとslotを区別します。[7] 最終メッセージを確定してから署名し、署名後にそのメッセージを書き換えた場合は、その内容に対応する署名を作り直します。[19]
自分のコードで繰り返している解析・導出・メモリ確保を一つ選び、何が変わると作り直しになるかを書き出してください。再利用できる期間を決めてから前へ移し、受信後の準備時間と出力を比較します。古い準備結果を誤って使わないことも、条件を変えた入力で確かめます。

5. 更新を取りこぼした状態で、判断を続けない

ここでは、同じ銘柄を扱う二つの市場で、価格差B−Aを計算します。接続が切れている間に市場Aが100から105へ変わり、その更新を受け取れなかったとします。再接続後にBの104だけが届くと、アプリの計算は104−100で+4です。Aの更新を反映した値では104−105で-1となり、符号まで変わります。
Aが100から105へ変わった更新を逃し、Bの104だけを受け取ったアプリでは、B−Aが+4になる。同じ比較時点でAの更新を反映した値を使うと、B−Aは-1になる。
Aの古い100を使うか、更新後の105を使うかで、同じ計算の結果が変わります。
これは価格差だけのモデルです。手数料や約定条件などは含まず、売買の利益を示していません。ここで確認したいのは、接続が戻っただけでは、判断に必要な更新が揃うとは限らないことです。
この例では、AとBの価格を使う新たな取引判断を保留し、まず古いAの100を、取得した105へ更新します。その後、AとBについて判断に必要な更新を反映できたか、採用する更新順序や鮮度の条件を満たすかを確認します。必要な確認が済んだら再開し、確認できない間は保留を続けます。
古い市場Aの100を105へ更新し、市場Bの104とともに別の整合確認へ渡す。必要な確認ができれば判断を再開し、できなければ保留を続ける。
値を更新する工程と、その値で判断してよいか確認する工程を分けます。
復旧時によく使うのが、ある時点の状態をまとめて取得するスナップショットです。これを継続的な更新ストリームへつなぐときは、スナップショットにどこまでの更新が含まれ、どこから後の更新を適用すればよいかを確認します。すでに含まれる差分を二重に適用したり、境界にある更新を取りこぼしたりしないためです。具体的な接続方法は、使うAPIが提供する購読開始・識別・再取得・再送の保証に合わせます。
Yellowstoneのメッセージにはslotやwrite_versionがあります。[16] こうした値だけで、提供者をまたいでも使える連番や、欠落を完全に検出できる保証があると決めつけないでください。slot差だけを欠損件数や遅延秒数へ置き換えず、採用した配信元の保証に沿って、状態をつなぎ直せたかを確認します。
復旧前に始めた計算にも注意が必要です。古い状態で計算を始めた処理が復旧後に終わると、その結果で新しい状態を上書きするおそれがあります。復旧の前後で状態に世代番号を付けるなどして、古い世代の結果を適用しないようにします。processedの状態を使う場合は、その状態が後から採用されなくなるロールバックも、状態を見直す条件に含めます。[6]
まず再接続処理を確認し、接続フラグを戻すだけで取引判断を再開していないかを調べてください。更新が一つ欠ける入力を再生し、接続復帰から状態の復旧完了まで判断を保留できるかを確かめます。続けて、更新の重複や順序の逆転、復旧前から実行中だった処理も含めて、検出できる範囲と復帰条件を確認します。

Rust、TypeScript、Node.js、Denoをどう選ぶか

5つの設計を実装すると、誰がデータを更新するか、どこでメモリを確保するか、何をコピーするか、どの処理が待つかを細かく決めることになります。この制御を重要な処理経路で突き詰めるとき、Rustが有力な候補になります。
Rustは、データの所有権の規則をコンパイル時に検査します。通常のメモリ管理に、実行中のオブジェクトを追跡して不要なものを回収するトレーシングGCを必要としません。[8] 誰がデータを持ち、いつ使い終えるかを設計し、メモリの確保・再利用や並行処理の費用を詰めていける点が、この記事のような改善と結びつきます。
Rustでも、メモリの確保と解放、コピー、ロック、OSによる待ちは発生します。要求する遅延を満たすかは、実際の入力と負荷で確かめます。言語を変える判断も、待ちや繰り返しを見つけた後で、どこまで制御する必要があるかに基づいて行えます。
TypeScriptは言語で、Node.jsとDenoはJavaScriptを実行する環境です。TypeScriptの型注釈は実行時には消えるため、外部から届くデータの実行時検証や、CPUを使う計算の費用は別に考えます。Denoも、TypeScriptの型を除去したJavaScriptをV8で実行します。[9][10]
選択肢担当させる仕事と確認する点
Rustデコード、状態更新、判断など、メモリと並行処理を細かく制御したい経路の候補です。実際のコピー、メモリ確保、同期の費用まで測ります。
TypeScriptWeb UIや、Node.js・Denoで動くアプリの実装に使えます。型による設計支援と、実行時の性能・入力検証を分けて考えます。
Node.js / DenoAPI連携、設定管理、監視、必要な性能を満たすストリーム処理などを担えます。event loopを長く占有する仕事と、別の実行場所への受け渡しを確認します。
Go並行するサービスやデータ処理を組み立てる候補です。GCの仕事は主に並行して進みますが、割り当てとGCによるCPU・メモリ・遅延の費用を測ります。[13]
Python研究、分析、検証、既存ライブラリを使う処理の候補です。実際のCPythonの構成と、CやRustなどのネイティブ実装が処理する範囲を確認します。[14]
C / C++ / Zigメモリや実行を低い層まで制御する候補です。生成コードとライブラリ、実装の安全性、チームの習熟と保守の費用を含めて選びます。
Node.jsのworker_threadsやDenoのWeb Workersは、CPU処理を別の実行場所へ移す選択肢です。Node.jsの公式文書では、仕事ごとにworkerを作る方法より、プールを使う方法が推奨されています。移動先の計算時間だけでなく、データの変換・コピー・投入待ちも含めて比較します。[11][12]
Pythonについても、free-threaded buildを含め、使う構成を確かめて評価します。[14] 既存のアプリなら、まず測定で見つかった一部分を改善できます。Rustやネイティブ処理へ移す場合も、境界での変換やコピーの費用を含めて、アプリ全体で効果が出るかを確認します。

一つの変更を、同じ入力で確かめる

最初に選ぶのは、自分のアプリで確認できた一つの問題です。未処理のデータが増えるなら入力と処理量、保存を待つなら受信ループ、別の市場の更新を待つなら共有ロックから調べます。5つのパターンを一度に導入する必要はありません。
変更前後は、同じ入力、購読条件、負荷、出力条件で比べます。受信から判断完了までの時間は、中央値のp50に加えて、p95・p99も確認します。p99は、測定したイベントの99%がその時間以内に終わる境目です。平均的な処理だけでなく、待ちが長くなる側も見るために使います。
各工程のp99を足して、全体のp99にすることはできません。同じイベントの受信から判断完了までを直接測り、キューの待ち、CPU・メモリ、欠損・破棄、判断結果の一致と合わせて確認します。
アプリが動く一台のホスト内で経過時間を測るときは、時刻の修正で逆戻りしない単調時計を使います。SDKがデータを解析し終えてからコールバックを呼ぶなら、コールバックの開始より前にも処理があります。どこからどこまでを測れたかを明記すると、配信の遅延とアプリ内部の遅延を分けて考えられます。
送信後の結果も確認します。sendTransactionの成功応答は、クラスタでの処理や確認を保証しません。[15] データの受信、判断、送信の受理、オンチェーンで確認した結果を対応させることで、次に改善する場所を選べます。

自分のアプリに取り入れるための指示

プロジェクトのコードを読めるAIエージェントへ、次の指示を渡してください。実装の確認から、一つの変更とその検証までを進めるためのものです。
text
このアプリの受信→状態更新→判断→送信を調べ、正しさを保ちながら遅延と処理効率を改善してください。

まずREADME、開発指示、依存関係と実際のコードを読み、言語・実行環境・SDK・データ源・commitment・配置を確認してください。同期I/O、CPU処理、コピー、メモリ確保、共有状態、キュー、外部通信の待ちを、コード上の場所と対応させてください。

次の5パターンから、効果を検証できるものを一つ選んでください。
1. キューの件数・バイト数、並列数、待ち時間の上限
2. 判断に必要な経路と、後でよい処理の分離
3. 状態の更新責任、ロックの範囲、適用順序の明確化
4. 事前計算と、有効期限・無効化条件の管理
5. 初期状態と更新ストリームの接続、欠落検出、再同期

選ぶ根拠、得られる効果と増える費用、測る値を示してください。変更前に、再現入力と現状の測定結果を保存してください。目標とする遅延や負荷が不明なら、仮定を明示してください。そのうえで、既存の権限と開発手順に従って最小の変更を実装してください。全面的なRust移行や、5パターンすべての導入を前提にしないでください。TypeScriptは言語、Node.js/Denoは実行環境として区別してください。

変更前後を同じ入力で比べ、受信→判断のp50/p95/p99、処理量、キューの待ち時間、CPU・メモリ、欠損・破棄、出力の一致を必要な範囲で確認してください。workerやネイティブ処理へ渡す場合は、変換・コピー・待ちも含めます。測れない値は未測定としてください。

状態に必要な更新、順序、数値精度、リスク確認、署名の有効性を維持してください。再送やスナップショットの保証を仮定せず、状態が無効な間は、その状態に依存する新たな取引判断を止め、復帰条件を設計してください。秘密鍵・認証情報・顧客データは出力しないでください。本番変更、有料契約、実売買の権限を、この指示だけから新たに推定しないでください。

最後に、変更したファイル、確認できた原因、改善前後の結果、正しさの検証、残る制約、次に試す一項目を報告してください。

インフラの速さを、判断につなげる

配信が早く届くことと、アプリケーションが必要な判断を間に合って終えることは、どちらも大切です。ERPCは配信環境を改善するとともに、その上で動くソフトウェアを改善するための情報も整えていきます。
まずアプリ側の変更を同じ環境で確かめ、その後、必要に応じて同じコードを別の配置やリソースで比較すると、効果を分けて見やすくなります。ERPCの時間課金を使う場合も、調べたい仮説、比較条件、利用時間を先に決め、料金・在庫はDashboardの現在の表示で確認してください。

参考資料・関連リンク