大數據應用的需求分析方法
張靖笙
傳統方法在大數據需求面前遇到問題
需求分析階段關系到一個軟件開發的成敗，這已經得到了普遍的認識,然而，根據作者實戰經驗，在大數據應用項目中，按照傳統軟件工程規范要求的需求分析往往是一個非常尷尬的過程，為什么呢?
根據筆者在實際工作中的經驗,問題主要來自以下方面：
1.需求分析本身的難度。需求的任務是了解和描述軟件用戶對軟件的需求，即明確做什么。但在實際的軟件開發中，用戶了解他們的專業領域，但計算機知識，特別是軟件知識往往比較薄弱,而開發人員與此恰好相反，而在需求分析的過程中，雙方面對的往往不是一個可見的產品，而只是頭腦中的構思和想象，由于專業的差異和溝通的有限，用戶的許多需求對開發人員來說往往是難于理解的和準確把握。
2.傳統軟件工程規范在需求分析的嚴格執行有實際管理上的難度。在廣大的應用軟件開發部門，軟件開發工作的地位往往只是本單位業務的輔助，一般沒有專職的而且非常有經驗的系統分析員，需求分析往往由主管經理和開發程序員簡單進行，而領導往往重成績多于重過程，對于一個沒有顯效的需求分析過程，領導的耐心往往有限，這就造成了對需求分析缺乏嚴格的管理和要求。
3.嚴格按照軟件工程規范要求進行需求分析在時間和開發成本的限制。由于用戶對軟件技術的認識水平，他們對軟件的開發在時間上往往要求過高，特別當用戶是單位的上層領導，他們往往覺得這種對他們而言空洞無物的分析是開發人員的紙上談兵,時間一長不免就會流露出不滿。這令開發人員非常尷尬，往往非常嚴重地打擊他們的自信心和士氣。
綜上所述，傳統軟件工程規范中需求分析理論在實踐中的矛盾是成本，效率和規范要求間的矛盾。而忽略規范要求的代價也是慘重的，那我們能找到一種方法解決以上矛盾嗎？
大數據應用的需求特點
數據庫技術的核心思想是數據的獨立與共享，所以開發數據應用，就是利用云計算、數據庫、數據分析等技術來組織、管理和使用信息。不同形式的數據應用可謂多種多樣，但功能需求的核心是圍繞著數據分析需求來展開的。筆者曾開發過多個不同應用領域的數據應用，我發現在數據應用中雖然功能很多，許多功能在邏輯上相似，往往只是處理的數據不同，所以，筆者認為數據應用需求分析應該圍繞數據(信息)，而不是軟件功能展開。這與傳統的需求分析中以軟件的功能需求為核心有明顯的不同。從這個意義上，如果傳統需求分析階段是“做什么”，在數據應用需求分析階段就是先要解決“有什么”，然后再明確“做什么”。
大數據需求分析工作方法
需求分析作為軟件工程的第一階段，是整個軟件開發項目進行設計和實現的基礎，決定了一個項目的成敗。但是需求分析不能只看成是一個獨立的階段，對需求的了解貫穿整個項目的始終，了解需求的過程是一個逐步細化，逐步深入的過程，整個項目自始而終都需要與用戶交流。
既然大數據應用需求以數據為中心，在需求分析階段就強調數據和數據結構的分析一點也不過分。圍繞數據應用的需求分析大體上分為以下幾個階段：
1)場景需求分析(總體設計)
2)概念需求分析(概念設計)
3)細節需求分析(詳細設計)
4)界面需求分析(界面設計)
這些需求分析貫穿整個項目的各個環節中，與設計是穿插在一起。
大數據需求分析過程活動
1)場景需求分析
這個階段體現了系統的總體構思與設計，任務是了解系統的組織形式和功能需求概貌，解決“是什么”的問題。我認為場景需求分析主要任務是用戶應用場景的定義，需要明確用戶將來是用何種方式、在什么條件下、如何用哪些數據解決什么問題的場景，這當然也會涉及到硬件，用戶環境，系統功能等多方面的全局考慮。如界面是手機APP應用還是Web 應用，如何進行功能的分層。這些都需要在場景需求分析過程中決定。
場景需求分析工作是大數據應用項目的早期分析，所以對功能的描述應該有高度的抽象性，在理想的情況下，一個系統最好由一張紙內直觀圖形化描述，便于開發人員對系統目標的整體把握，也保持了與用戶交流的靈活性和一致性。所以在項目初期，我不贊成用功能模塊圖對功能需求做太多層次的金字塔式羅列，特別如果是系統的分布式分層設計，詳細的功能模塊圖在項目早期沒有什么實際意義，反而容易舍本求末。如對大數據應用場景中數據范圍的分析中，可以用筆者前文所介紹的商業模式分析方法，從商業模式的角度對于數據范圍做明確的界定。
2)概念需求分析
概念需求分析的任務是對系統中涉及的概念、數據范圍和內容等進行調查和分析，分析有什么信息、從什么地方可以可靠獲得，如何組織和描述數據，數據由那些數據項組成，各數據項是什么含義，數據的走向是什么樣的？概念需求分析的目的是建立系統的概念模型，主要是建立描述數據的靜態模型和描述系統運行流程的動態模型，解決“有什么”問題。
當完成模型需求分析后，就要進入到概念需求分析。做概念需求分析，首先要收集原始資料，然后請用戶講述手工的工作流程，根據用戶提供的原始資料和對工作流程的了解的基礎上，我們才可以著手進行概念設計。
3)細節需求分析
細節需求分析要在進行了概念設計之后進行，這個階段是分析如何具體實現用戶需求,就是解決“怎么做”的問題。這個階段要對用戶的需求完整而清晰地確定下來，所以與用戶的交流比前兩個階段多，交流的內容應該更加具體。
細節分析的具體任務是要根據概念設計定義的概念模型制定具體的實現細節。對于靜態模型，要給出詳細的數據字典，包括了表，數據項，數據項限制條件等詳細信息。對于動態模型，要給出具體的狀態定義，事件定義，狀態改變的流程，對數據所有操作的定義等等詳細的設計信息。要求根據細節需求分析的成果應該能成為編碼和建庫的依據。
對于大數據應用，可能還要明確的是采用怎樣的大數據技術架構（例如Hadoop）和數據挖掘模型，隨著開源技術的普及，目前成熟的大數據工具和數據挖掘模型選擇已經很多，實際上很多數據應用的開發工作就是在現有的一些大數據分析工具的基礎上結合應用場景需求來做些配置性的簡單編碼就可以了，沒有必要做一些重新發明輪子的事情。
4)界面需求分析
用戶能否用好軟件最終決定項目的成敗，良好的用戶使用界面是不可忽視的。用戶界面的好壞并不是追求界面的花巧(這是程序員經常犯的毛病),而是界面的設計是否能提高用戶使用軟件的效率，這需要了解用戶的使用環境，操作水平，操作習慣，個人喜好等多方面。輸入輸出需求分析要做到界面設計和概念設計的相互獨立，不能因為界面的表示影響概念設計的穩定，同時也要保持能適應用戶各種不同操作要求的靈活性。具體可以先和用戶共同草擬一些界面設計大綱，在開發過程中邀請用戶試用軟件，根據反饋意見不斷改進和修改。
大數據需求表達工具的考慮
我們分析“有什么”信息，傳統的需求分析理論用數據流圖和數據字典來表達“有什么”信息對大數據應用可能不是特別合適。傳統的數據流圖核心是面向軟件功能的，而在許多大數據數據庫應用系統開發初期，在沒有清晰完整的大數據信息內容構成分析前，功能的需求往往難以穩定。在大數據應用的需求分析初期，我不提倡使用數據流圖，因為在大數據應用中，數據流圖往往不能令人滿意地說明信息構成問題，而且隨著數據的增加，功能流程的變遷需要經常修改早期的設計，這會造成工作的反復。數據字典可以表達數據的構成，但卻沒有定義數據的類型。在一個大數據應用中，數據的類型的通過字段類型表達，有開發經驗的人應該知道，清楚每一個數據字段的含義和類型在開發數據庫應用中有重要的意義，試想一下，如果一個數據格式是視頻或者圖像，對數據的功能需求不言而喻。而傳統的需求分析過程不要求確定數據的具體類型，而在開發一個數據應用時，需求分析階段忽略了這一步就會毫無疑問地造成對需求理解的模糊，并使得需求分析變成空洞無物的紙上談兵。所以，對于數據應用需求分析的表達，最好還是和業務場景的分析結合在一起，筆者推薦使用質量管理大師戴明(Deming)博士發明的SPIOC方法。
SIPOC模型是一代質量大師戴明提出來的組織系統模型，是一門最有用而且最常用的，用于流程管理和改進的技術。是過程管理和改進的常用技術，作為識別核心過程的首選方法。
為什么筆者推薦這個貌似是跟IT界不太搭邊的管理學方面的模型呢？從接下來的示例可以看到，在SPIOC里面，我們可以看清楚兩方面的數據需求，一方面是業務流程工作本身要處理的數據，另外一方面是更有應用前景的分析業務過程效率中的條件測量指標（KPI）和成果測量指標（KPO）數據，這兩個指標性數據是支持不斷優化業務流程、最終達到精益目的的必要手段，數字孿生理念之父Michael Grieves說得好：“信息是被浪費的物理資源的替代品;在精益的理念世界里，我們最終能實現用最少的資源數生產產品的目標”。沒有數據支撐的精益是無法落地的，這樣數據應用的價值就不言而喻了。
產品光有精益是不夠的，產品也必須是創新的，不僅要減少資源的浪費，同時也要創造新的信息和知識，使得創新產品成為可能。從這個方面來說，今天做業務的過程也是一個不斷積累數據資源的過程，這樣才能為創新奠基大數據的基礎。
（本稿完成于2018年9月30日，如需要引用，請注明出處）
浙公網安備 33010802003509號
杭州講師網絡科技有限公司
