C Talk+ #16－AI 賦能的範例展示：巨量數據結構化的解決方案

在 CMoney 眾多產品中，擁有超過 350 萬用戶、累積 50 億張發票數據的「發票載具 APP」無疑是台灣最具代表性的消費觀察窗口。然而，面對後台超過一億筆、雜亂無章且完全非結構化的商品名稱，我們該如何精準地將其「結構化」，進而解讀出消費趨勢？

在 CMoney 第 16 場 C Talk+ 講座中，我們邀請 CMoney AI 資深工程師 Kevin 分享如何透過「定義問題的邊界」與「人機協作的訓練策略」，將原本需要花錢又耗時的 AI 商用模型方案，轉化為具備極高性價比的企業級解決方案。

決策者的必修課：判斷 AI 任務的四大標準

在分享會的一開始，Kevin 提出了一個值得深思的觀點：在開始討論 AI 演算法之前，我們必須先釐清「這個問題是否真的適合 AI 解決？」，對於決策者來說，可以從以下四個標準出發：

1. 分析結果是否能解決商業問題

任何技術投入都必須「回歸商業邏輯」。

我們將發票數據結構化是為了滿足商業目標「市場分析」，但如果分析結果無法轉化為支撐商業決策的情報，那麼即便技術再卓越，也只是盲目的開發。

2. 答案是否可被人類明確定義

AI 學習的前提是人類必須能給出「明確且一致」的判斷標準。

例如判斷一張圖片裡有沒有貓，多數人對於「對與錯」是有共識的；但如果連人類標記員對分類標籤都感到模稜兩可，AI 就無法從中習得穩定的模式。

3. 任務量級是否達到自動化的標準

當「任務數量多到人類無法執行」時，AI 的自動化價值才能轉化為經濟規模的優勢。

如果資料量級只有幾千或幾萬筆，透過簡單的 Regex（正則表達式）搭配工程師幾小時的邏輯撰寫，甚至直接人工處理，可能就解決了。反之，發票商品明細的數據量級是「億」級別的，倘若工程團隊須針對成千上萬種品名組合判斷邏輯，不僅讓程式碼變得極其臃腫、難以維護，且只要廠商稍微更改品名格式，例如：從「飲料 600ml」變成「飲料 – 600ml」，系統就可能失效。這時導入具備「泛化能力」的 AI，才能讓機器自動從海量數據中學習特徵，實現具備成本效益的規模化自動化。

4. AI 的結果是否有「容錯空間」

這是 Kevin 認為最被忽略、卻也最重要的決策指標。舉例來說：手術不能容許誤差，因為誤差有可能會傷害生命，那我們就不應使用 AI 進行手術；但如果是為了觀察全台灣「厚奶茶」的銷售趨勢，那麼正負 5% 的誤差並不影響整體的統計判斷。

總之，當「結果能容許一定程度的誤差」時，AI 就能在相對低的成本下，發揮最強大的槓桿作用；而如果任務絕對不能出錯，則不建議使用 AI 來分析 。

 

解決方案的演進：LLM 的選用與取捨

在處理超過一億筆商品明細的實戰中，我們並非一開始就擁有能夠立即落地的專利方案，而是一段從「簡單直覺」到「深度優化」的試錯歷程，每一次的方案轉向都是在平衡「開發成本」與「產出精度」，嘗試尋找最優解。以下是我們嘗試過的模型方案演進：

1. 方案一：商用 LLM API + Zero-shot Learning

最直覺的嘗試莫過於使用現成的商用模型（如：GPT），這種方式最大的優點是「極其簡單」，我們完全不需要標記任何資料，直接下 Prompt 就能開始。然而，雖然它能理解指令，但面對混亂的在地化發票品項，精確度僅約 60%，且高昂的 API 費用加上漫長的處理時間，讓它在「規模化」應用上完全失去了可行性。

2. 方案二：開源 LLM + Zero-shot Learning

為了降低方案一的高昂費用，我們轉向了開源模型。雖然成本顯著下降，但我們發現，未經特定任務訓練的開源模型在 Zero-shot Learning 的表現上同樣不理想，這讓我們意識到一個核心問題：「泛用型的模型無法解決『特定垂直領域』的任務。」

3. 方案三：開源 LLM + Few-shot Learning

接著，我們嘗試對模型進行「微調」，們在 Prompt 中加入少量的正確標記來引導模型，這讓精確度從原本的 60% 保底提升到了 66%，證實了微小數據量就能帶來質變。

然而，在面對一億筆的巨量數據海時，即便模型只需要「少量」範例，但「該標記哪一筆」卻成了難題，如果採用傳統的隨機抽樣，我們會耗費大量的人力去標記模型「早就懂了」的簡單資料，或是容易抽到大量毫無關係的負樣本，這對於提升精度的邊際效益極低，在人力資源極其寶貴的前提下，我們逐漸意識到訓練不能只是「亂槍打鳥」，而是要能精準挑選出那些位於模型認知邊緣、標記後能產生最大「教育價值」的資料。

4. 最終方案：開源 LLM + Active Learning（主動學習）

Active Learning 方案的核心在於讓模型在寫了幾題後，從海量資料中主動挑選出那些令它感到最「困惑」的資料點，再交由人類標記員進行精準標記，讓模型學會「主動求知」：

• 第一步－冷啟動：不需要幾萬筆標記資料，而是透過極少量的初始樣本（如：正負各 8 筆，共 16 筆）啟動第一輪模型引擎。
• 第二步－模型主動提問：模型會掃描海量資料，主動找出對學習最有幫助的資料點。以「不確定性抽樣」為例，模型會主動產出預測機率，經篩選挑出機率若在 0.5 左右的樣本點作為學習資料，也就是它最猶豫不覺、判斷最模糊的品項名稱。
• 第三步－人機協作：僅需針對這些「難題」進行判斷與標記，再回饋給模型迭代。

我們最後選擇這個方案的原因是，它成功突破了 AI 落地最難跨越的「標記資料成本」門檻，克服了「缺乏大量標記資料」的困局，讓 AI 從「填鴨式學習」進化為「針對性強化」，不僅節省大量的人力標記成本，更讓模型能在最短時間內精進。

最終這套解決方案不僅將精度從 60% 提升至 80% 以上，成功將花費成本縮減 150 倍、資料處理時間加快 100 倍，而這些數據背後代表的商業意義是：CMoney 具備了「近乎即時」捕捉市場脈動的能力。

當我們能以極低成本、極快速度將雜亂數據變成商業洞察時，我們就能更敏銳地觀察出「哪個品牌正在崛起」、「消費者的忠誠度正在如何轉移」等商業問題。

 

結語：定義問題的高度，決定了技術的天花板

技術細節（如：模型結構、參數調整）固然重要，但對於大多數的職場工作者或管理者來說，更關鍵的能力在於如何識別「問題的邊界」。當我們能精準判斷出哪些任務具備巨量特性、哪些商業決策可以容忍微小誤差時，AI 就能成為我們手中最強大的槓桿，而非昂貴的實驗品。

數據結構化不是終點，而是洞察的起點。在 AI 浪潮下，最有價值的人才其實是那些能連結「商業痛點」與「技術可能性」的橋樑。

下次當你面對一堆混亂的數據而感到頭痛，急著想用 AI 解決問題前，不妨先停下來，用這套決策框架思考一遍。或許，一個能為公司節省 150 倍成本的創新方案，就藏在你對問題的重新定義之中！