AWS Kinesis Note

Sample

Ec2 Instance(Consumer)
|
+- Worker +
|- Processor <-- shard (shard 的 seqId, partictionId 會被記錄到 DynamoDB)
|- Processor <-- shard (shard 的 seqId, partictionId 會被記錄到 DynamoDB)
|- Processor <-- shard (shard 的 seqId, partictionId 會被記錄到 DynamoDB)
|- Processor <-- shard (shard 的 seqId, partictionId 會被記錄到 DynamoDB)

Ec2 Instance(Consumer)
|
+- Worker +
|- Processor <-- shard (shard 的 seqId, partictionId 會被記錄到 DynamoDB)
|- Processor <-- shard (shard 的 seqId, partictionId 會被記錄到 DynamoDB)
|- Processor <-- shard (shard 的 seqId, partictionId 會被記錄到 DynamoDB)
|- Processor <-- shard (shard 的 seqId, partictionId 會被記錄到 DynamoDB)

Concept

每一台 Ec2 可視為一個 Consumer，每個 Consumer 會有個 Worker 機制把 shard Stream 分配給 Processor，當 shard 的數量調大的時候，KCL(Kinesis Clinet Libary) 裡面的 IRecordProcessorFactory 就會自動建立對應， shard 的 processor。

當有新的 Consumer 被建立時，AWS 會自動做 loadbalance，去平衡每個 worker 要負責的 shards，這時候 Processor 裡面的 shutdown 會被執行。

切記 Consumer 不應該開的比 shard 的數量還大。