Pivot Keyword List機能の追加

[kazuminn]

fix #393.

なにこれ

(levelがlow以上の)アラートがある場合は、以下のフィールドから"Pivot Keyword"(攻撃者の足跡になる送信元のIPアドレス、ログオンID等々)をリストアップして、出力する機能です。キーワードリストで、大量のinformationalログをgrepして、攻撃者の痕跡だけを抽出するための機能です。(informationalログが多すぎて解析が難しいという意見(クレーム？）が来ていたので、これで不要なinformationalログが減るはずです。）
また、キーワードの一覧を見るだけで、どのユーザや端末が攻撃を受けている可能性があるかパッと見て分かるので、fast forenscisに役立ちます。

以下のように実装しました。

オプション: -p / --pivot-keywords-list -o <ファイル名> or -p
(ただの、-oだけだと、csv出力になる。)
例: ./hayabusa.exe --min-level high --pivot-keywords-list -o keywords.txt -d ./sample-evtx

-oがあると、スキャン後にファイルに出力する。
-oがないと、タイムラインではなく、標準出力する。

hashSetをつかっているので、キーワードが重複することはない。
空("-")、("127.0.0.1")、("::1")になっている可能性があって、誤検知になりそうなので、すべてで無視している。

キーワードをハードコーディングではなく、設定ファイルで自由に修正できるようにしました。config/pivot_keywords.txtで設定できます。

configをcsvとして読み込む。すべての行数が、一致しなくてもよい。flexibleになっている。

取り敢えず、アラートに以下のフィールドが存在する場合は、Pivot Keywords Listに追加します。（デフォルトでのconfig設定）

%SubjectUserName%
%TargetUserName%
%User%
%SubjectLogonId%
%TargetLogonId%
%WorkstationName%
%IpAddress%
%Image%

evidence

> .\target\release\hayabusa.exe  -D -n -r C:\Users\warug\hayabusa-rules\ -f 'C:\Users\warug\hayabusa-sample-evtx\YamatoSecurity\T1218.004_Signed Binary Proxy Execution InstallUtil\sysmon.evtx'  -p

██╗  ██╗ █████╗ ██╗   ██╗ █████╗ ██████╗ ██╗   ██╗███████╗ █████╗
██║  ██║██╔══██╗╚██╗ ██╔╝██╔══██╗██╔══██╗██║   ██║██╔════╝██╔══██╗
███████║███████║ ╚████╔╝ ███████║██████╔╝██║   ██║███████╗███████║
██╔══██║██╔══██║  ╚██╔╝  ██╔══██║██╔══██╗██║   ██║╚════██║██╔══██║
██║  ██║██║  ██║   ██║   ██║  ██║██████╔╝╚██████╔╝███████║██║  ██║
╚═╝  ╚═╝╚═╝  ╚═╝   ╚═╝   ╚═╝  ╚═╝╚═════╝  ╚═════╝ ╚══════╝╚═╝  ╚═╝
   by Yamato Security

Analyzing event files: 1
Hayabusa rules: 46
Sigma rules: 1139
Ignored rules: 7
Rule parsing errors: 0
Total enabled detection rules: 1185

1 / 1 [====================================================================================================] 100.00 % 
Elapsed Time: 00:00:02.262


The following pivot keywords were found:
Processes: C:\Windows\Microsoft.NET\Framework\v4.0.30319\InstallUtil.exe,
field's list: (%Image%, )

Ip Addresses:
field's list: (%IpAddress%, )

Users: CYBERCAT\pc1-user,
field's list: (%User%, %SubjectUserName%, %TargetUserName%, )

Logon IDs:
field's list: (%TargetLogonId%, %SubjectLogonId%, )

Workstation Names:
field's list: (%WorkstationName%, )

手動テスト項目

• -pなしで、-oを実行　→csvがファイルに出力されるか
• -pだけで、pivot keywords listが標準出力されるか
• -p -oを付けて、pivot keywords listがファイルに出力されるか

(ちなみに、コードにおいて、-oオプションの依存度が複雑になってくるので、今後手を入れる場合は、何か対策が必要になってくる。）

[kazuminn]

おっと、rebaseが必要になるので、少しお待ちください。

[kazuminn]

CI通りました。 @hitenkoku さん　@YamatoSecurity さん。
動作確認やレビューをお願いします。

[kazuminn]

2GBのBig-Security.evtxでスキャンかけましたが、あまり出てこない結果になりました。こんなもんなんですね。

The following pivot keywords were found:
Workstation Names: SEC504STUDENT,
field's list: (%WorkstationName%, )

Ip Addresses:
field's list: (%IpAddress%, )

Logon IDs: 0x0, 0x36eea,
field's list: (%TargetLogonId%, %SubjectLogonId%, )

Users: DefaultAccount, WDAGUtilityAccount, Administrator, Guest, Sec504,
field's list: (%TargetUserName%, %User%, %SubjectUserName%, )

Processes:
field's list: (%Image%, )

[hitenkoku]

一応ソースコードレベルで気になるところを指摘しました。まだ動作確認はしていません。

[hitenkoku]

記載が漏れておりましたが、documentも日本語だけでもよいので作成してください。
英語版は @YamatoSecurity に添削してもらうなりしましょう。

[kazuminn]

レビューの指摘の対応は終えたので、
clippyの対応とドキュメントの作成に着手します。

[kazuminn]

一応、自分の範囲のclippyのwarnは直した。（clippyのプルリクが先にマージされると、また、再度rebaseが必要になってきそう。）

[kazuminn]

@hitenkoku @YamatoSecurity
ドキュメント書くのに時間かかりそうなので、
先にこのプルリクをマージしていただいた方が気持ち的にすごく楽なので、
先にマージする感じのほうが個人的にいいです。それで、お願いしたいです。

レビューの修正とclippyのwarn処理は終わりました。

[hitenkoku]

修正分も含めて、確認しました。いくつか指摘をしましたのでご確認ください。

ドキュメント作成と機能の作成を分けてしまうと、ドキュメントの更新が遅れて、develop側の実態が合わなくなってしまう可能性が出てくるので、ドキュメントを追加した上でマージ対応をさせてもらったほうが後々良いと思いますので、このプルリクエストはドキュメントを書いてからマージをするようにしましょう。

[kazuminn]

@hitenkoku @YamatoSecurity え、keyは固定でfields(%hoge%のやつ)が自由に設定できる仕様の話だったと思います。

ただこの処理を見ているとconfigのkeyを増やせるようには見えないです。

(keyをconfigでカスタマイズする実装することもできる気はしますが)

[kazuminn]

@YamatoSecurity
キーを自由にカスタマイズできた方が嬉しいです？

[hitenkoku]

issueでは固定である旨を書いていません。あと @YamatoSecurity はissueで以下のように書いています。単純に読めば、項目のつ追加対応が容易にできるようにするほうが良いと思います。

@YamatoSecurity 本件、念の為ご確認をお願いいたします。

(後でプロセスID等も追加したいかも）
refs #393

[hitenkoku]

@kazuminn が以下のように発言をまとめています。 @YamatoSecurity はキーワードは任意で読み込めるようにという依頼をしているようです。

#393 (comment)

ちょっと、Slackの方でお話をして方針変わってきたので、メモっておきます。最終的にどのように実装したかは、プルリクエストのほうに書いておきます。

ザックさんの発言
キーワードをできればハードコーディングではなく、設定ファイルで自由に修正できたら理想ですが、できそうですか？
-> できそう。

ザックさんの発言
以下のよう使い方の方が良い気がしてきました：
-p / --pivot-keywords-listを指定する際に通常のフォレンジックタイムラインではなく、ピボット一覧を表示します。-p -o file.txtを指定する場合は結果をfile.txtに保存します。ファイルが存在する場合は上書きせず、エラーを出します。
(Fast forensicsはスピードを重視するが、エビデンスや解析データ等を上書きすると、大変なことになる可能があるので）
そうすると、--pivot-keywordsの後にfile.txtの必要性が無くなります。
もし、既存の-oオプションを利用するのが難しいのであれば、仕様に書いてあるように、アウトプットファイル名を-p <file.txt>にして、更に-oオプションが付けられた場合は「You cannot specify -o / --output when using -p / --pivot-keywords-list」というエラーを出しましょう。
->　前者でやる。

[YamatoSecurity]

返事が遅くなってすみません！ はい、キーも自由に指定したいです。
pivot_keywords.txtの

key,field1,field2,field3
Users,SubjectUserName,TargetUserName,User
Logon IDs,SubjectLogonId,TargetLogonId
Workstation Names,WorkstationName
Ip Addresses,IpAddress
Processes,Image

はキーも含めて全部カスタマイズできると思っていました。

また、色々追加の注文がありまして、すみません。。

今の画面出力：

Ip Addresses: 10.23.123.11, 172.16.66.1,
field's list: (%IpAddress%, )

を

Ip Addresses (%IpAddress%): 
10.23.123.11
172.16.66.1

という風に出力できますか？
変更点：

1. (%Field%, )の最後の不要のコンマの削除 -> (%Field)
2. (%Field%)をキーの右側に出力する
3. コンマを改行にする

また、grep -f keywords.txt timeline.csvのようにキーワードがあるイベント・アラートだけ抽出したいのですが、そのために、コンマの代わりに改行にして、キーワードリストを別々のファイルに分けた方が良さそうです。

例えば-o keywordsを指定したら、
keywords-Users.txt
keywords-LogonIDs.txt
keywords-Processes.txt
keywords-IpAddresses.txt
keywords-WorkstationNames.txt
という様々なファイルが出力されます。誤検知のキーワードも毎回出て来そうなので、アナリストが手動でテキストファイルを確認して、使えなさそうなキーワードを削除した上で、grep -f keywords.txt timeline.csv等で絞ったタイムラインを作成するイメージです。

[kazuminn]

@YamatoSecurity
（また仕様の変更ですかい笑）
keyのカスタマイズと、出力の変更、かしこまりました。

たしかに、その方がtimelineを絞れて、良さそうです。

[YamatoSecurity]

すまない！ m(__)m
宜しくお願いします！

[YamatoSecurity]

@kazuminn
後で私がドキュメンテーションを書きましょうか？
(すぐできると思うので）

[hitenkoku]

ドキュメントの作成者は誰でも良いのですが、ドキュメントはpull requestをマージする状態にはすでにかけてるといいなぁと思っています。(というか書けていないと、結局ドキュメント作成が後手に回ってしまうと大変なので……)

[kazuminn]

@YamatoSecurity
お願いしますー。

[kazuminn]

Dさんが言っていたように、configファイルを以下のように変更します。

 Users,SubjectUserName
 Users,TargetUserName
 Users,User
 

[kazuminn]

@YamatoSecurity
ファイル出力の際も、こんな感じに、標準出力するように実装しました。

Outputted results to the following files:
sysmon4-Logon IDs.txt
sysmon4-Users.txt
sysmon4-Workstation Names.txt
sysmon4-Processes.txt
sysmon4-Ip Addresses.txt

[kazuminn]

@YamatoSecurity デフォルトの設定ファイルはこれでよいですか？
変更したいのであれば、おっしゃってください。

Users.SubjectUserName
Users.TargetUserName
Users.User
Logon IDs.SubjectLogonId
Logon IDs.TargetLogonId
Workstation Names.WorkstationName
Ip Addresses.IpAddress
Processes.Image

[YamatoSecurity]

OKです！ありがとうございます！

[YamatoSecurity]

ドキュメンテーションお待たせしました。書いてみました。

@hitenkoku お手数をかけますが、確認＆和訳をお願いできますか？

[YamatoSecurity]

おっと、こちらの環境では出力メッセージを編集しても問題なかったけど、githubではbuild failedになっています。誰か確認して頂けますか？

[kazuminn]

@YamatoSecurity
CIをパスするようにしておきました。
（ほぼ、$ cargo fmt　しただけ）

英語ドキュメントありがとうございます。

[kazuminn]

@YamatoSecurity
やっぱり、一回目の実行でcsvを作って、二回目の実行でキーワードファイルを作って、grepしてtimelineをファストフォレンジックするのって、大きいevtxだと時間がかかって、手間です。（2GBの手動テストは、大変でした。まぁ、マシンスペックが低いからかもしれませんが）

時間短縮ために、
同時にcsvも吐いた方がよいと思っていて、

今の使い方の、 -p -o tagets　でtargets.csvも吐けるように、できますが、どうでしょうか?
(targets-timeline.csvなんかでいける）

前に、そんな感じのことを会議でyamatosecurityさんが言ったときは、Dさんが複雑になると言っていましたが、今やろうと思うと、そんなに複雑ではないのでは、と思いました。

-oはcsvを吐いてくれて、-pを付けると、キーワードファイルも吐ける。みたいに、ユーザーも理解しやすいと思います。

リリースも近いので、次のバージョンに回しても大丈夫です。

[hitenkoku]

前回話した際は-pをつけた場合と-pをつけなかった場合で出力されるものが異なる(その時は-pをつけていたらここで話をしているpivot keywordlistの出力。-pをつけていなかったら今までの結果のcsvの出力)となっている場合にusageのときに説明がつけづらいと考えていました。

-p をつけていてもつけていなくても今までのcsvが出力されるのであれば -p側のusageに 「-oを追加すれば別途pivot keyword listのcsvを出力する」旨を書けば特に混乱はないと思っています。

[hitenkoku]

私は特に決定権ないので @YamatoSecurity に一任します

[YamatoSecurity]

@kazuminn 提案ありがとうございます！grep -fは確かに手間なので、書いてくれたように-o指定の時だけ、targets-timeline.csvも作成されるようにお願いできたら嬉しいです。
ただ、速度がかなり遅くなるのであれば、別のオプションに分けたいかもしれません。
例えば、-m critical等を指定した場合は、一旦-m criticalスキャンで見つけたキーワードリストを作った後に、info以上の全イベント・アラートのタイムラインを作ってgrepするので、速度が倍になると思っていたのですが、そこまで遅くならないですか？ (再スキャンの必要はないとか？）
(気持ち的に1.5倍ぐらいまで遅くなっても同時にpivot keywordのタイムラインを作りたいけど、2倍近く遅くなるのであれば、別のオプションにしたいかもです。

@hitenkoku ご意見ありがとうございます！確かに勘違いする人も居るかもしれないので、最後のメッセージの出力時に「Saved a timeline filtered by the pivot keywords found.」等を追加しておけば、伝わると思います。

[kazuminn]

@YamatoSecurity
なるほど。
timeline csv作る場合とキーワード作る場合のフィルタリングlevelが違う使い方の想定なんですね。
たしかに、高々2回スキャンする(selectを二回する）感じで、2倍近くになります。

遅くなるので、たしかに、オプションのほうが良いと思いました。

もしやるなら、別のプルリクでやりましょうか。

[YamatoSecurity]

そうですね。-mオプションも組み合わせないと、infoのキーワードも全部入るので、結局タイムラインはあまり変わらないと思います。-m指定無しのキーワードリストも有用な情報ですが、(特にログが多い場合は）基本的に-m medium以上のレベル指定を想定しています。また、127.0.0.1のローカルホストとか、SYSTEMプロセス等々除外したいキーワードもあるので、取り敢えず今の機能で色々検証した上で、キーワードタイムライン機能をお願いできたらと思います。

[hitenkoku]

@YamatoSecurity ドキュメントを確認しました。特に問題はないと思います。また、 6009779 で日本語訳を追加しましたのでご確認のほど、よろしくお願いいたします。

[kazuminn]

日本語訳ありがとうございます。LGTM

[YamatoSecurity]

@hitenkoku ありがとうございます！一箇所だけ分かりにくいところがあったので、修正してみました。ご確認ください。
問題が無ければマージしましょう。

[hitenkoku]

@YamatoSecurity 　確認いたしました。修正ありがとうございます。問題ないと思いますのでマージ対応をしておきます