ys memos

Blog

Rustで簡単なKVSを実装してみた ~0. 概要~


rust

2023/11/04


  1. 概要
  2. 型定義など
  3. handler定義
  4. Query定義
  5. KvsServer実装
  6. main&使ってみる

昔、Rustの勉強も兼ねて、Redis風のKVSをサーバで実装していました。その実装を紹介します。

実装コードはGitHubで公開し、記事執筆以降もExample自体は書き換える可能性があります。 その際にコードの実態と記事上のコードがズレる可能性があります、ご了承ください。 そのような場合では、リポジトリのほうが整備されている状態と見てください。

↓記事執筆時点でのパーマリンク

https://github.com/ysuzuki19/rust-examples/tree/f04005ea64867430a9f491fc8491c83546c17f1ekvs


本サンプルによって得られそうなことリスト

  • tokioによる非同期処理
  • tokioでTCPストリームを扱う
  • RwLockによる排他制御
  • 値を持つenum
  • enumのFromStr/ToStr実装による変換
  • enumのTryFromを用いた、失敗する可能性のある返還
  • enumのパターンマッチ
  • VecをArrayに変換しつつ要素数によるバリデーション
  • strへ新規メソッドの実装
  • thiserrorによるカスタムエラー定義
  • unitテスト

KVSとして基本的な機能を以下のように定義し、実装対象とした。

  • TCPサーバとして動作
    • パフォーマンスやセキュリティを求めず、単にTCP接続でメッセージをそのまま送信する。
    • メッセージのやり取りによってKVSを利用する
    • 同時に複数のクライアントが接続可能
  • リクエストメッセージ
    • 全てスペース区切りを基本とする
  • 保存する値は文字列
  • メソッドはシンプルな2つで、GET, SET
    • GETは引数一つ
    • SETは引数二つ

基本的には、

<method> <..args>

という形式をとる。

<..args>の個数はメソッドごとに固定で、条件を満たさないとエラーとして処理をせずにレスポンスする。多くても少なくてもエラーとする。

例)

  • ok
    • GET x
    • SET x 10
  • er
    • GET, GET x 10
    • SET, SET x

RustのResult型にインスパイアされたルールでメッセージを返す。リクエストが成功した場合には Ok ..., 失敗した場合には Er ...とする。 Okの場合はそのレスポンスのBody(取得対象の値や単なるメッセージ)を続け、Erの場合はその原因を人間が読みやすい形式で返す。

GET <key><key>というキーがセットされていない場合はそのエラーを返す。

クライアント向けSDKを開発する場合は、エラーコードだけで返すだけでいいと考えられるが、ここでの開発ではその辺りは目的としていないのでそこまではパフォーマンスを追い求めなかった。

例)

  • ok
    • SET x 1Ok Succeed to insert
    • GET xOk 10
  • er
    • SET xEr method must to have 2 payloads
    • GET x 10Er method must to have 1 payloads
    • GET ashdfEr key not found: "ashdf" (セットされていないキーはエラー)

ここで実装対象とする GET, SETはどちらも直感的で、そのイメージ通りに

  • GET: 引数一つで、引数をキーとする値を取得
  • SET: 引数二つで、引数1をキーとする値を引数2に上書き

と言った挙動を実現するものとする。


プロジェクト設定はこちら

Cargo.toml
[package]
name = "kvs"
version = "0.1.0"
edition = "2021"

# See more keys and their definitions at https://doc.rust-lang.org/cargo/reference/manifest.html

[dependencies]
tokio = { version = "1.21.0", features = ["full"] }
thiserror = "1.0"

src/
├── error.rs
├── handlers
│   ├── get.rs
│   ├── mod.rs
│   └── set.rs
├── kvs
│   ├── mod.rs
│   ├── response.rs
│   └── stream.rs
├── main.rs
├── query
│   ├── args.rs
│   ├── method.rs
│   ├── mod.rs
│   └── str_ssv_array.rs
└── types.rs

当時の自分目線で、

この開発によって、排他制御のバリエーションを学ぶことができた。


かなり前に開発したものの紹介なので、読んだ記事が抜けていると思います。スミマセン。

記事書く際に見たものをリストします。

関連タグを探す