IT and software

From collection to delivery

Where data goes from collection through transformation, storage and aggregation to display, and what kind of container holds it at each step

This drawing comes from one YAML file. No shape was moved by hand.

Notes in the source (in Japanese)

データフロー図で数えるのは、箱ではなく「入口」。外部 API と手上げの CSV —— 入口が 2 つある時点で、形の違う 2 種類が入ってくる。

新しいワーカーができても、旧バッチが止まるまでは両方が同じ集約先へ書く。移行中の期間こそ、図が要る。 片方だけ描くと、二重書き込みが見えない。旧バッチにも入口の線を描く。入力の無い処理は、データフロー図では「どこからともなく出力が出る」誤り（奇跡の処理、miracle）として数える。

キューは「そこに溜まる」ので、詰まったときに何が起きるかを図から読む。入る速さと出る速さが釣り合わない所が、いつも事故になる。