Rustへの移行 #126

qwerty2501 · 2022-05-08T16:38:21Z

内容

voicevox_coreをRustに移植する話が配信でされていたのでおためしでrustへの移行をしてみるPR

その他

どうせ大きく変えるのであれば、非同期APIとかもやりたいのでdllのインターフェースも変えようかと考えてます

Hiroshiba · 2022-05-09T00:38:04Z

機能を追加していくのはOSS的に見ると、あとから見返しがしやすかったり議論しやすかったりなので、別PRだと嬉しそうです！

あといきなりお１人で全部ガラッと変えるのは難しいかもなので、またVOICEVOX側にrust用のbranchを作って、そちらにPRしていく形も良いかもと思いました。
もしその方式で問題なければ、今のmainからrustブランチを作ろうと思います。

qwerty2501 · 2022-05-09T00:46:05Z

そうですね。branchがあると良さそうです。
とりあえずAPIについては #124 がmergeされる前提で、そこに合わせる感じにしようかと

Hiroshiba · 2022-05-09T00:55:37Z

branch作りました！ https://github.com/VOICEVOX/voicevox_core/tree/rust

APIに関して、良さそうに感じました。
機能に関しては、onnxruntimeを使ったり、DLLにバイナリを埋め込んだり、openjtalk使ったりとかなりいろいろあるので、一旦また簡単な実装だけでもPRいただけると進めやすいのかもと少し思いました。
やりやすいように進めて頂くのが一番良いのかなと思っています･･･！

qwerty2501 · 2022-05-09T01:46:22Z

@Hiroshiba target branch変えました。専用ブランチできたのであれば、CI通ってない状態でもmergeして大丈夫かなと思うのでとりあえずこのままmergeしてしまってよいかなと思います。CI修正するのはかなりかかるので
APIについて既存のものに寄せるようにしましたが、initializeのデフォルト引数についてRustにはデフォルト引数がないのでデフォルト引数なしの状態になってます

qwerty2501 · 2022-05-09T01:59:57Z

デフォルト引数ないことについてですが、今後の修正でこれと似たような対応が必要になりそうです
#125 (comment)

PickledChair · 2022-05-09T03:45:58Z

Rust 移行、C++ の辛い点をいくつか回避できそうで良さそうですね！ Rust を勉強中なので、自分も今後できる範囲で議論や PR 等で貢献したいと思いました。

少し前に version 0.11 のコアを使う想定の Rust TTS クレートを作ってみていました https://github.com/PickledChair/voicevox-tts-rs
内容としては version 0.12 で追加される予定の TTS 機能部分（ただし現在は kana_parser を除く）の Rust による再実装と、cmake-rs を使った OpenJTalk の静的リンクを試したものです。まだ手を入れたい部分もあるのですが、もし参考になれば幸いです（あるいは今後いくつかの段階に分けて実装を進める感じであれば、このコードを踏まえて自分も PR を出そうかなと思っています）。

qwerty2501 · 2022-05-09T04:01:02Z

そちらのコードをベースにすればsynthesize部分を実装して割と早くmainにmergeできそうですね

PickledChair · 2022-05-09T04:25:06Z

そちらのコードをベースにすればsynthesize部分を実装して割と早くmainにmergeできそうですね

そうですね、そのつもりでもうちょっと自分のコードを見直しておこうと思います……！

qwerty2501 · 2022-05-09T07:52:32Z

すみませんdraftのままでした

qwerty2501 · 2022-05-09T13:03:11Z

openjtalkを静的リンクする場合を考えるとcargo projectをworkspace化してしておいたほうがよさそうだったので変更

qwerty2501 · 2022-05-09T18:43:38Z

すみませんもう少し修正したいのでいちどdraftに戻します。

qwerty2501 · 2022-05-10T01:01:57Z

軽い実装をするつもりでしたがどの機能も何かしらのライブラリに依存しているため、やはり一度mergeしてから順次実装を追加していく方向にしたいと思います。
draftはずします

PickledChair

気になったところに対していくつか質問させていただきました。コード自体は全体的に問題なさそうでした！

voicevox_core/Cargo.toml

voicevox_core/build.rs

voicevox_core/src/c_export.rs

voicevox_core/src/internal.rs

- バイナリ名を従来通りcoreに変更 - ヘッダを従来どおりcore.hに変更 - workaroundでworkspaceのルートディレクトリを取得しその配下のtargetにヘッダを出力するようにした

VOICEVOX#126 (comment)

PickledChair

追加で気になったところがあったので確認よろしくお願いします！

voicevox_core/Cargo.toml

voicevox_core/src/c_export.rs

PickledChair

小刻みなコメントになってしまいすみません。もう一箇所だけコメントしました。

voicevox_core/src/c_export.rs

PickledChair

LGTM！ PR ありがとうございました……！

今後の実装作業について、方針や進捗状況などを整理するための Issue があると便利そうですね。作っておこうと思います。

…ratesサブディレクトリ内に移動させた

qwerty2501 · 2022-05-10T22:36:04Z

@PickledChair あ、LGTMいただいてたんですね。ちょっとソースコード配置するディレクトリをcrates配下にするようにしちゃいました。(実装は変えてないです。workspaceを採用しているcargo projectの場合cratesディレクトリ配下に各crateのディレクトリを作成するのはよく見ます)

とりあえずこれ以上の自分からの修正はこのPRでは行わないようにします

PickledChair · 2022-05-11T00:45:43Z

@qwerty2501

ちょっとソースコード配置するディレクトリをcrates配下にするようにしちゃいました。

了解です！問題ないです。

Hiroshiba

Rustちゃんとわかってないので、メンテナンス面からコメントしてみました！

build.ymlが落ちる関係で、CIが必ず失敗するようになっていそうです。
別に良いのですが、テンションが下がってしまうのと、テストが通ってるかぱっとわかりにくいので、いったん消してしまっても良いかもと思いました。

core/__init__.py

crates/voicevox_core/Cargo.toml

.gitignore

Co-authored-by: Hiroshiba <[email protected]>

qwerty2501 · 2022-05-14T09:42:56Z

@Hiroshiba build.yml消してみました！

Hiroshiba

LGTM！！

* いったんC++関係のコードを削除 * とりあえずcargo initializeと関数定義だけ * APIを既存のものに合わせて定義しなおした * cargo projectをworkspace化 * テストCI追加 * last_error_messageの定義が抜けていたので修正 * internal関数に定義を分けた * anyhowやめた * 元あったヘッダーファイルに合わせて出力されるように定義を変更した * result 変換方法を変更 * 従来どおりの出力をするように修正 - バイナリ名を従来通りcoreに変更 - ヘッダを従来どおりcore.hに変更 - workaroundでworkspaceのルートディレクトリを取得しその配下のtargetにヘッダを出力するようにした * ERROR_MESSAGEをonce cell化 * Succeed渡したときでもメッセージを返すように修正 VOICEVOX#126 (comment) * VoicevoxResultCodeのエラーメッセージとErrorのベースとなる文字列を同一にするようにした * output_binary_sizeの型をCのintに変更 * output_binary_sizeの型をc_intに変更 * 不要な文言を削除 * 今後workspace内にcrateが増えるとサブディレクトリがいっぱいできるのでrootディレクトリにディレクトリが増えすぎないようにcratesサブディレクトリ内に移動させた * 無駄な空行を削除 * 不要な空白行を削除 Co-authored-by: Hiroshiba <[email protected]> * 現状かならずCIテストが失敗するようになっているのでbuild.ymlを削除 Co-authored-by: Hiroshiba <[email protected]>

qwerty2501 added 2 commits May 8, 2022 21:25

いったんC++関係のコードを削除

f5c0258

とりあえずcargo initializeと関数定義だけ

5746d6a

qwerty2501 force-pushed the feature/migrate_to_rust branch from 95623da to 5746d6a Compare May 8, 2022 17:04

APIを既存のものに合わせて定義しなおした

dc0046c

qwerty2501 changed the base branch from main to rust May 9, 2022 01:43

qwerty2501 marked this pull request as ready for review May 9, 2022 07:52

cargo projectをworkspace化

b6203d0

qwerty2501 added 2 commits May 10, 2022 02:04

テストCI追加

4550516

last_error_messageの定義が抜けていたので修正

0705f82

qwerty2501 marked this pull request as draft May 9, 2022 18:43

internal関数に定義を分けた

c54282c

qwerty2501 marked this pull request as ready for review May 10, 2022 01:00

anyhowやめた

3c677b6

qwerty2501 force-pushed the feature/migrate_to_rust branch from 165a2b4 to 3c677b6 Compare May 10, 2022 08:33

qwerty2501 added 2 commits May 10, 2022 18:23

元あったヘッダーファイルに合わせて出力されるように定義を変更した

224aa92

result 変換方法を変更

e503ea2

PickledChair reviewed May 10, 2022

View reviewed changes

従来どおりの出力をするように修正

65cd37b

- バイナリ名を従来通りcoreに変更 - ヘッダを従来どおりcore.hに変更 - workaroundでworkspaceのルートディレクトリを取得しその配下のtargetにヘッダを出力するようにした

ERROR_MESSAGEをonce cell化

adc9d65

qwerty2501 force-pushed the feature/migrate_to_rust branch from b4fbf40 to adc9d65 Compare May 10, 2022 13:46

qwerty2501 added 2 commits May 10, 2022 23:18

Succeed渡したときでもメッセージを返すように修正

2893add

VOICEVOX#126 (comment)

VoicevoxResultCodeのエラーメッセージとErrorのベースとなる文字列を同一にするようにした

1987a05

PickledChair requested changes May 10, 2022

View reviewed changes

voicevox_core/Cargo.toml Outdated Show resolved Hide resolved

voicevox_core/src/c_export.rs Outdated Show resolved Hide resolved

voicevox_core/src/c_export.rs Outdated Show resolved Hide resolved

qwerty2501 added 2 commits May 11, 2022 00:26

output_binary_sizeの型をCのintに変更

a353489

output_binary_sizeの型をc_intに変更

1b89743

PickledChair requested changes May 10, 2022

View reviewed changes

voicevox_core/src/c_export.rs Outdated Show resolved Hide resolved

不要な文言を削除

09339ff

PickledChair approved these changes May 10, 2022

View reviewed changes

PickledChair mentioned this pull request May 10, 2022

コアの実装言語を C++ から Rust へ移行する #128

Closed

43 tasks

今後workspace内にcrateが増えるとサブディレクトリがいっぱいできるのでrootディレクトリにディレクトリが増えすぎないようにc…

c2a6ff7

…ratesサブディレクトリ内に移動させた

Hiroshiba reviewed May 13, 2022

View reviewed changes

core/__init__.py Show resolved Hide resolved

crates/voicevox_core/Cargo.toml Outdated Show resolved Hide resolved

.gitignore Outdated Show resolved Hide resolved

qwerty2501 and others added 3 commits May 14, 2022 18:37

無駄な空行を削除

f7a1077

不要な空白行を削除

2288c02

Co-authored-by: Hiroshiba <[email protected]>

現状かならずCIテストが失敗するようになっているのでbuild.ymlを削除

9e3ccee

Hiroshiba approved these changes May 15, 2022

View reviewed changes

Hiroshiba merged commit e466c20 into VOICEVOX:rust May 15, 2022

qryxip mentioned this pull request Jun 11, 2023

cbindgenにfn.args=verticalを設定し、__declspecの後の空行を消す #518

Merged

qryxip mentioned this pull request Aug 17, 2023

error_result_to_message関数で返ってくる文字列がnull終端文字列になってしまっている #275

Closed

qryxip mentioned this pull request Mar 24, 2024

last_error_messageではなく標準出力にエラーログを流すようにする #95

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Rustへの移行 #126

Rustへの移行 #126

qwerty2501 commented May 8, 2022 •

edited

Loading

Hiroshiba commented May 9, 2022 •

edited

Loading

qwerty2501 commented May 9, 2022

Hiroshiba commented May 9, 2022

qwerty2501 commented May 9, 2022

qwerty2501 commented May 9, 2022 •

edited

Loading

PickledChair commented May 9, 2022

qwerty2501 commented May 9, 2022

PickledChair commented May 9, 2022

qwerty2501 commented May 9, 2022

qwerty2501 commented May 9, 2022

qwerty2501 commented May 9, 2022

qwerty2501 commented May 10, 2022

PickledChair left a comment

PickledChair left a comment

PickledChair left a comment

PickledChair left a comment •

edited

Loading

qwerty2501 commented May 10, 2022 •

edited

Loading

PickledChair commented May 11, 2022

Hiroshiba left a comment

qwerty2501 commented May 14, 2022

Hiroshiba left a comment

Rustへの移行 #126

Rustへの移行 #126

Conversation

qwerty2501 commented May 8, 2022 • edited Loading

内容

その他

Hiroshiba commented May 9, 2022 • edited Loading

qwerty2501 commented May 9, 2022

Hiroshiba commented May 9, 2022

qwerty2501 commented May 9, 2022

qwerty2501 commented May 9, 2022 • edited Loading

PickledChair commented May 9, 2022

qwerty2501 commented May 9, 2022

PickledChair commented May 9, 2022

qwerty2501 commented May 9, 2022

qwerty2501 commented May 9, 2022

qwerty2501 commented May 9, 2022

qwerty2501 commented May 10, 2022

PickledChair left a comment

Choose a reason for hiding this comment

PickledChair left a comment

Choose a reason for hiding this comment

PickledChair left a comment

Choose a reason for hiding this comment

PickledChair left a comment • edited Loading

Choose a reason for hiding this comment

qwerty2501 commented May 10, 2022 • edited Loading

PickledChair commented May 11, 2022

Hiroshiba left a comment

Choose a reason for hiding this comment

qwerty2501 commented May 14, 2022

Hiroshiba left a comment

Choose a reason for hiding this comment

qwerty2501 commented May 8, 2022 •

edited

Loading

Hiroshiba commented May 9, 2022 •

edited

Loading

qwerty2501 commented May 9, 2022 •

edited

Loading

PickledChair left a comment •

edited

Loading

qwerty2501 commented May 10, 2022 •

edited

Loading