AWS Serverless 流式傳輸與訊息佇列在資料處理中的應用
流式傳輸用於資料處理
對於非同步資料處理,可以使用訊息服務,例如 Amazon SQS 或 SNS。
這取決於處理的型別以及您收集的資料的型別。
訊息服務中的主要元素是單個訊息。
一旦訊息被使用,它們就會從訊息服務中被刪除。
要跳過流中的一條記錄,您必須在函式中提供錯誤處理。
流式傳輸與訊息佇列在資料處理中的比較影片
W3schools.com 與 Amazon Web Services 合作,為我們的學生提供數字培訓內容。
訊息佇列在資料處理中的應用
流是資料緩衝區,它們不關心使用者對它們做了什麼。
無論使用者如何操作,流上的資料都會在一段時間後消失。
您需要提供錯誤處理。
下表顯示了流式傳輸和訊息佇列之間的區別。
訊息佇列 | 流式傳輸 |
---|---|
單個訊息是核心單元,訊息速率可變 | 訊息流通常是連續的 |
一旦訊息被讀取,就會被移除 | 資料在流中保留一段時間。 |
對於故障,您必須設定重試和死信佇列 | 訊息會一直重試,直到成功或超時 |