1、背景

公司存在多種物料種類(lèi)、不同類(lèi)型的庫(kù)存和價(jià)值管理不一，存貨系統(tǒng)目前主要接入包裝耗材、商品數(shù)據(jù)。目的是為了：

• 管理出入庫(kù)價(jià)格、數(shù)量、庫(kù)齡等業(yè)務(wù)數(shù)據(jù)，便于管理部門(mén)追溯及財(cái)務(wù)管控，協(xié)助倉(cāng)庫(kù)提升存貨和物料的管理能力。
• 管理倉(cāng)庫(kù)物料及商品的費(fèi)用價(jià)值，提升核算及業(yè)務(wù)的效率，實(shí)現(xiàn)業(yè)務(wù)信息一體化及憑證自動(dòng)化。
• 輔助計(jì)劃或采購(gòu)部門(mén)查看庫(kù)存，為采購(gòu)計(jì)劃提供數(shù)據(jù)支撐。

存貨系統(tǒng)先接入了包耗材數(shù)據(jù)，這類(lèi)數(shù)據(jù)的特性是行數(shù)據(jù)不多，但每行數(shù)量很大。后接入了商品的庫(kù)存，由于行數(shù)據(jù)量增長(zhǎng)N倍以上，并且隨著業(yè)務(wù)不斷增長(zhǎng)數(shù)據(jù)量越來(lái)越大，考慮到原有底層設(shè)計(jì)不能很好的支撐這么大的數(shù)據(jù)量，故有了這次系統(tǒng)的模型升級(jí)。

2、面對(duì)的問(wèn)題

2.1 數(shù)據(jù)承接點(diǎn)問(wèn)題

原業(yè)務(wù)流程在數(shù)據(jù)承接上跨越了核心P0鏈路后才把數(shù)據(jù)落地到庫(kù)存應(yīng)用（造成了一定的技術(shù)風(fēng)險(xiǎn)，歷史上也確實(shí)發(fā)生過(guò)一次技術(shù)故障 ，消費(fèi)上游消息代碼有bug，導(dǎo)致P0清結(jié)算鏈路數(shù)據(jù)下發(fā)出現(xiàn)阻塞，影響了部分結(jié)算單據(jù)的處理時(shí)效）：

（1）數(shù)據(jù)落庫(kù)在單據(jù)系統(tǒng)

（2）關(guān)聯(lián)訂單數(shù)據(jù)

（3）查詢(xún)出未稅單價(jià)

（4）組裝后下發(fā)庫(kù)存

2.1 數(shù)據(jù)存儲(chǔ)設(shè)計(jì)問(wèn)題（數(shù)據(jù)每日倍化膨脹）

重構(gòu)前的設(shè)計(jì)，成本表存儲(chǔ)邏輯：不管每天成本價(jià)有沒(méi)有變化，都會(huì)維護(hù)一條記錄；臺(tái)賬表存儲(chǔ)邏輯：每天如果有出入庫(kù)數(shù)據(jù)按照業(yè)務(wù)類(lèi)型匯總+2條期初期末數(shù)據(jù)，如果沒(méi)有出入庫(kù)數(shù)據(jù)，只保存2條期初期末數(shù)據(jù)。從存儲(chǔ)邏輯不難看出存儲(chǔ)了很多冗余數(shù)據(jù)，且臺(tái)賬表期初期末數(shù)據(jù)以行的形式存儲(chǔ)也是不合理的。

如下是例子數(shù)據(jù)

2.2.1 明細(xì)表（record）

每天出入庫(kù)、調(diào)價(jià)單的數(shù)據(jù)

2.2.2 成本表（cost_price）

所有物料每天都需要計(jì)算一個(gè)成本價(jià)

2.2.3 臺(tái)賬表（ledger）

日臺(tái)賬：匯總當(dāng)天明細(xì)數(shù)據(jù)、以及期初、期末價(jià)格和數(shù)量 月臺(tái)賬：匯總當(dāng)月明細(xì)數(shù)據(jù)、以及期初、期末價(jià)格和數(shù)量

2.3 頁(yè)面數(shù)據(jù)查詢(xún)性能瓶頸

2.3.1 大盤(pán)&臺(tái)賬表分析:

通過(guò)大盤(pán)和臺(tái)賬表分析，在接入倉(cāng)庫(kù)商品數(shù)據(jù)后，頁(yè)面查詢(xún)接口耗時(shí)很高，接口性能存在問(wèn)題

2.3.2 日/月進(jìn)銷(xiāo)存也面臨同樣的問(wèn)題

3、解決方案

3.1 數(shù)據(jù)承接優(yōu)化

3.1.1 庫(kù)存應(yīng)用直接承接單據(jù)池落地信息表

3.1.2 具體實(shí)現(xiàn)過(guò)程

3.2 數(shù)據(jù)存儲(chǔ)設(shè)計(jì)問(wèn)題優(yōu)化

3.2.1 簡(jiǎn)單示例

比如一個(gè)物料，3月1日的成本價(jià)為100元，后在3月30日又進(jìn)一件成本價(jià)200元的相同物料，則我們庫(kù)里的記錄信息如下， 2條數(shù)據(jù)即可 ， 【無(wú)須每日更新數(shù)據(jù)，只有當(dāng)前物料當(dāng)日有出入庫(kù)、調(diào)價(jià)數(shù)據(jù)時(shí)，才需要插入當(dāng)日最新數(shù)據(jù)】，

實(shí)際場(chǎng)景，當(dāng)業(yè)務(wù)代碼查詢(xún)3月10日的成本價(jià)時(shí)，往前查詢(xún)到03.01的數(shù)據(jù)即可

3.2.2 期望的數(shù)據(jù)存儲(chǔ)樣式

而不是30條數(shù)據(jù) （ 03.02 至 03.29，這28條數(shù)據(jù)都是冗余的數(shù)據(jù)）

3.2.3 頁(yè)面數(shù)據(jù)查詢(xún)性能瓶頸解決方案

由于數(shù)據(jù)存儲(chǔ)邏輯變更，只會(huì)存儲(chǔ)有變動(dòng)的數(shù)據(jù)，而進(jìn)銷(xiāo)存報(bào)表是每天都需要產(chǎn)出的不管數(shù)據(jù)有沒(méi)有變化。結(jié)合當(dāng)前業(yè)務(wù)邏輯以及數(shù)據(jù)量最后決定把數(shù)據(jù)同步到數(shù)倉(cāng)，在數(shù)倉(cāng)進(jìn)行數(shù)據(jù)補(bǔ)全后，通過(guò)報(bào)表平臺(tái)拉取報(bào)表信息。

棄用當(dāng)前后管平臺(tái)查詢(xún)報(bào)表   轉(zhuǎn)為使用報(bào)表平臺(tái)拉取庫(kù)存報(bào)表信息

數(shù)據(jù)同步流程如下：

報(bào)表平臺(tái)具備生成類(lèi)似于Excel的數(shù)據(jù)展示，以及任意維度查詢(xún)信息的能力，同時(shí)也具備Excel導(dǎo)出的功能

4、重構(gòu)后的價(jià)值

4.1 量化業(yè)務(wù)價(jià)值：

每月節(jié)省核算以及審核時(shí)間約30小時(shí)，占核算組總月結(jié)時(shí)間比例為30%。

4.2 不可量化業(yè)務(wù)價(jià)值

• 將倉(cāng)庫(kù)業(yè)務(wù)納入存貨系統(tǒng)，龐大數(shù)據(jù)量通過(guò)系統(tǒng)自動(dòng)核算，輸出表格，節(jié)約手工核算的時(shí)間，以及提升核算數(shù)據(jù)的準(zhǔn)確性，解決無(wú)法通過(guò)表格實(shí)現(xiàn)的困境；
• 提升核算質(zhì)量的同時(shí)，可以完成更多庫(kù)存、銷(xiāo)售數(shù)據(jù)分析，如周轉(zhuǎn)率分析，出入庫(kù)渠道分析，減值計(jì)提等等。分析結(jié)果提升公司退貨商品的管理以及庫(kù)存管理。
• 功能重構(gòu)從基礎(chǔ)數(shù)據(jù)、入庫(kù)模型、調(diào)價(jià)單、成本計(jì)算、出庫(kù)模型、重算、報(bào)表都做了升級(jí)，在數(shù)據(jù)接收、成本計(jì)算等過(guò)程中增加了校驗(yàn)邏輯和修復(fù)數(shù)據(jù)的功能。

4.3 技術(shù)價(jià)值

（1）技術(shù)價(jià)值：首次嘗試了在線(xiàn)TIDB切換流程（包括數(shù)據(jù)復(fù)制、數(shù)據(jù)同步、數(shù)據(jù)比對(duì)、數(shù)據(jù)切流），積累了TIDB切換經(jīng)驗(yàn)，給后續(xù)的TIDB遷移專(zhuān)項(xiàng)提供了經(jīng)驗(yàn)沉淀。

（2）技術(shù)價(jià)值：把P0級(jí)的清結(jié)算應(yīng)用里的部分功能遷移到庫(kù)存應(yīng)用中，解決了大流量的倉(cāng)庫(kù)數(shù)據(jù)下傳至清結(jié)算應(yīng)用的風(fēng)險(xiǎn)，實(shí)現(xiàn)了交易和非交易在應(yīng)用級(jí)別的解耦和隔離。

（3） 團(tuán)隊(duì)價(jià)值：以賽代練，通過(guò)該項(xiàng)目培養(yǎng)了組內(nèi)成員對(duì)于數(shù)倉(cāng)平臺(tái)和報(bào)表平臺(tái)的實(shí)踐和使用，拓寬了團(tuán)隊(duì)整體的技術(shù)棧，并積累了數(shù)據(jù)開(kāi)發(fā)的對(duì)應(yīng)經(jīng)驗(yàn)，也落地了數(shù)倉(cāng)平臺(tái)和報(bào)表平臺(tái)的操作使用文檔（節(jié)省了后續(xù)團(tuán)隊(duì)成員的數(shù)據(jù)開(kāi)發(fā)熟悉接入的成本）。