華為公司官方出品！一站式AI開發平臺，讓人工智能應用開發更便捷
華為輪值董事長徐直軍，中國工程院院士潘雲鶴聯袂作序！華為技術有限公司  創立於1987年，是全球領先的ICT（Information and Communications Technology，信息和通信技術）基礎設施和智能終端提供商，致力於把數字世界帶入每個人、每個家庭、每個組織，構建萬物互聯的智能世界。目前，華為約有19.4萬名員工，業務遍及170多個國家和地區，為30多億人提供服務。華為在通信網絡、IT、智能終端和雲服務等領域為客戶提供有競爭力、安全可信賴的產品、解決方案與服務，與生態伙伴開放合作，持續為客戶創造價值，釋放個人潛能，豐富家庭生活，激發組織創新。華為堅持圍繞客戶需求持續創新，加大基礎研究投入，厚積薄發，推動世界進步。

本書主要圍繞人工智能平臺ModelArts和人工智能應用開發流程，介紹基本概念、關鍵模塊以及典型的場景化應用開發案例。全書共分為三篇： *篇人工智能應用開發概述(第1章和第2章)，介紹了人工智能技術、應用、平臺，以及人工智能應用快速開發流程； 第二篇人工智能應用開發方法(第3章~第9章)，介紹了人工智能應用開發全流程及其子流程，包括數據準備、算法選擇和開發、模型訓練、模型評估和調優、應用生成、應用評估和發布、應用維護； 第三篇人工智能應用開發場景化實踐(第10章~第12章)，介紹了企業級人工智能平臺、面向復雜行業的自動化人工智能繫統、基於端邊雲協同的人工智能平臺及應用開發。本書旨在通過一整套工具鏈和方法傳遞，使得每個開發者都可以借助ModelArts平臺在具體業務場景下更快、更高效、更低成本地開發出人工智能應用，從而更好地解決各行業各領域面臨的實際問題。本書適合有志於從事人工智能應用開發的開發者參考。                                                                                                                                                                                     

田奇：華為雲人工智能領域首席科學家，IEEE Fellow，國家自然科學基金海外傑青，中國科學院海外評審專家。本科畢業於清華大學電子工程繫，後赴美國伊利諾伊大學香檳分校師從Thomas S. Huang教授獲博士學位（2002年），後任美國德克薩斯大學聖安東尼奧分校（UTSA）計算機繫教授。2010年獲谷歌教授科研獎(Google Faculty Research Award)，2017年獲UTSA校長傑出研究獎，2016年獲評多媒體領域十大影響力學者。2018年6月至2020年3月，擔任華為諾亞方舟實驗室計算視覺首席科學家，主導視覺方向的前沿研究。擁有多項美國專利，在計算機視覺及多媒體方向期刊及會議上發表文章550多篇，谷歌學術引用21800多次，7篇論文獲論文獎或學生論文。

白小龍：華為雲機器學習和深度學習技術專家、ModelArts產品架構師，浙江大學工學博士，新加坡南洋理工大學公派聯合培養博士，《深入理解TensorFlow：架構設計與實現原理》作者之一。博士期間主要從事圖像識別、機器學習、智能檢測繫統的研究，曾主導研發了智能檢測和圖像識別繫統，曾獲*博士研究生學術新人獎。

序一：ModelArts讓AI應用開發更簡單

近幾年來，在AI(Artificial Intelligence，人工智能)技術突破和應用機會日益擴大的推動下，AI正在深刻影響著諸多行業，例如交通、零售、能源、化工、制造、金融、醫療、天文地理、智慧城市等。使用AI技術提升生產效率、降低生產成本，進一步促進企業數字化和智能化轉型已成為業界共識，AI應用正處於大規模發展的臨界點。

然而，AI應用的開發仍然非常復雜，主要體現在兩大方面。其一，開發流程冗長、煩瑣。開發全流程包括數據準備、算法開發、模型開發、應用生成、應用部署和維護等多個環節，鏈路很長，而且每個環節都需要大量人力和計算資源的投入，例如，當數據量很大時數據標注非常枯燥耗時，當AI應用需要靈活部署時軟硬件環境的準備非常煩瑣。此外，AI應用還需要不斷迭代、調優和維護，使得開發的復雜性進一步加大。其二，開發技能要求綜合性強、門檻高。開發者不僅要具備豐富的算法知識，還要熟悉行業問題，好有行業經驗，能夠將算法和行業需求緊密結合，並設計出合理的解決方案。受限於AI應用開發的復雜性，目前各個行業中AI應用的滲透率還遠遠不足。

為了應對上述復雜性問題，華為基於多年的行業AI應用開發經驗和實踐積累，推出了一站式AI應用開發和部署平臺——ModelArts。通過完備的基礎平臺和行業知識沉澱，使得面向行業的AI應用開發大大簡化。

首先，為了簡化AI應用開發流程和優化開發成本，ModelArts在基礎平臺的“一橫一縱”兩個方向上提供全面能力。“一橫”是指對AI應用開發全流程而言，ModelArts支持從數據準備、算法準備、模型訓練、模型評估和調優，到應用準備和發布等一繫列開發環節，並且通過分享交易機制使得AI應用的開發和使用更加暢通、便捷。“一縱”是指對AI應用開發所依賴的全棧架構而言，ModelArts支持底層的AI計算設備和端邊雲基礎設施資源管理，以及上層的AI計算任務、作業和服務管理，並通過縱向軟硬件協同優化使得開發成本降低、效率提升，大幅縮減AI應用開發者的準備工作。此外，ModelArts充分將AI能力注入AI開發全流程的各個環節，提供數據增強、智能標注、模型壓縮、難例挖掘等高階能力，即用“AI for AI”的方式進一步簡化開發流程。例如，在智慧交通中，普遍存在大量冗餘的視頻需要標注，部署後的模型需要一鍵式部署，並持續不斷地適應新場景，全流程中存在大量的冗餘可以被優化，ModelArts通過端到端流程優化和智能化滲透，極大地簡化了開發流程，提升了開發效率。

其次，為了降低AI行業應用開發技能要求，ModelArts根據華為多年來在企業級客戶服務方面積累的大量行業經驗沉澱，形成了面向行業的模板、套件和解決方案，覆蓋了大多數主要的行業場景。當AI開發者遇到新的應用開發需求時，可基於這些模板套件或解決方案進行二次開發，並化復用已有的預置能力（如預置算法、模型、行業知識、端到端模板等）和自動化能力。行業開發者可以充分利用ModelArts已有的預置AI算法和模型，AI算法開發者可以充分利用ModelArts已有的行業知識和模板。這些預置能力和自動化能力可以極大降低對AI應用開發的技能要求，將復雜的處理交給ModelArts平臺承載，使得AI應用的開發更加簡單化。例如，在智慧醫療中，面向基因數據分類的模板集成了大量行業經驗與AI算法，當AI開發者面臨類似場景的新數據時，僅需簡單遷移即可。

自 2018年10月發布以來，ModelArts累計服務了眾多行業十幾萬開發者，通過基礎平臺的完備性和面向行業的知識沉澱及平臺化能力，使得AI應用開發更簡單高效。本書從工業界的角度出發，主要介紹了基於ModelArts的AI應用開發的各個環節及其行業應用實踐，希望有助於讀者快速熟悉AI應用開發全流程，並更好地運用ModelArts的快、易、惠的能力，將AI應用拓展到各行各業，快速、充分釋放AI技術的商業價值。

徐直軍
華為公司輪值董事長
2020年8月

序二

近年來，隨著深度學習的快速發展，新一輪的AI技術已經深刻地影響著各行各業。如何纔能使AI技術快速規模化地應用到各行業，是值得深入思考的問題，也是我國人工智能戰略核心要解決的問題之一。

AI學者首先關注於算法的創新研究。然而AI算法要走進各行各業並發揮價值，隻有創新的AI算法是遠遠不夠的。在AI的實際開發過程中，數據的采集往往非常困難而復雜，需要借助各種工具和繫統纔能進行，數據還需要進行清洗、增強等多種處理，並經過復雜的標注、審核等流程，纔可以進入深入學習的模型訓練； 在訓練之前，需要結合具體業務的需求、數據的情況、行業已有經驗知識，選擇或者開發合適的算法用於訓練； 在模型訓練和調優過程中，又會涉及超參數的調優、模型評估、模型的選擇問題； 由於AI應用還可能包括其他算子或多個其他模型，因此從模型到應用的生成環節必不可少； 在AI應用部署和使用時，需要能夠進行異構資源的管理和靈活的伸縮； 很多AI應用都比較脆弱，會對推理時環境和數據的變化非常敏感，應用的維護就非常必要。由此可見，從數據的采集到終應用的維護，AI應用開發全流程是一個繫統化工程，需要有一套完整的平臺支撐。

不同於傳統的IT(Information Technology,信息技術)應用，AI應用的開發尚處於早期快速增長期，缺乏針對開發流程端到端平臺的支撐。令人非常高興的是，能夠看到華為推出了一站式AI應用開發平臺——ModelArts，能夠對AI應用開發全流程給出繫統的支持，並且在AI開發流程的各個環節中提供各種豐富的能力，使得AI應用的開發不僅更加便捷，而且更加高效。這對於加速AI應用的開發和拓展非常重要，同時也會促進人工智能有關標準的建立和推廣。

作者基於ModelArts詳細介紹了AI應用開發全流程，從數據、算法、模型、應用等多個層面講解AI應用開發流程中基本方法、挑戰和難點，可供廣大AI應用開發者借鋻。另外，當AI開發平臺面向企業、復雜行業以及端邊雲復雜部署的時候，相應的AI應用開發將面臨更多的挑戰，本書實踐環節也圍繞這些挑戰展開實例介紹。相信本書能夠對AI應用開發者帶來幫助。隨著開發者的增多、人工智能標準和基礎平臺的逐步完善，我國在人工智能新型基礎設施的建設上必將大步前進。

潘雲鶴
中國工程院院士
2020年8月

前言

人工智能已經有70多年的歷史。經過多年的發展，人工智能技術已經在很多產品或商業場景中發揮了非常巨大的作用，如語音識別、人臉識別、機器翻譯、推薦搜索、數據分析等。但是，目前業界仍然缺乏對人工智能開發全流程的完整定義及相應的整套平臺支撐，這極大地影響了人工智能商業化拓展時的效率和成本。為了加速人工智能面向各行業各領域的應用，華為雲推出一站式人工智能開發平臺——ModelArts。本書將從“端到端”的角度，介紹人工智能應用開發全流程，以及如何基於ModelArts快速高效地開發人工智能應用。

“端到端”是人工智能應用開發平臺的基礎核心能力，缺乏或弱化任意一個環節都會造成“木桶效應”，進而成為人工智能應用開發的阻塞點。ModelArts支持從數據準備、算法選擇、算法開發、模型訓練、模型評估、模型調優、應用生成、應用評估、應用發布、應用維護的“端到端”全流程開發。在全流程開發過程中，ModelArts具備如下幾個關鍵特點，使得人工智能應用開發效率更高、門檻更低、成本更低。

(1) ModelArts支持豐富的預置數據集、算法和模型、Notebook案例，以及端到端的開發模板，大大加速了人工智能應用的生產效率。進一步地，為了降低人工智能開發門檻，ModelArts支持大量的自動化能力，例如半自動化標注、自動訓練、自動模型搜索、自動超參搜索、自動模型轉換和壓縮、自動難例挖掘等。

(2) ModelArts還通過高性能預置引擎，結合軟硬件優化，使訓練和推理速度更快，為開發者提供極致的性能體驗。另外，從雲服務的角度出發，ModelArts充分彈性算力和多用戶聯邦的可能性，進一步降低人工智能應用開發的成本。

(3) ModelArts作為企業級人工智能平臺的核心底座，對上層平臺提供全開放的接口，支持靈活定制面向各行業各領域的人工智能平臺或解決方案。

本書主要面向人工智能應用的開發者，首先對人工智能的技術、應用和平臺以及快速開發展開介紹； 然後針對全流程開發的各個環節展開深入解析； 後，結合幾個場景化案例，介紹如何基於ModelArts構建企業級人工智能平臺和應用、面向復雜行業的人工智能繫統、端邊雲協同的人工智能應用。

感謝ModelArts平臺的開發者，他們提供的反饋建議促使ModelArts的不斷改進和完善。感謝參與本書撰寫和審閱的華為同事，他們在內容整理、審閱等方面投入了很多的時間。感謝清華大學出版社盛東亮編輯等對本書的細致修改和大力支持。沒有他們就沒有本書的順利出版。由於作者水平有限，如果書中有遺漏或不足之處，懇請讀者批評指正！

編著者
2020年8月