低代码+AI=？NVIDIA发布最新TAO工具包

crossin先生

大家好，欢迎来到 Crossin的编程教室 ！

近年来，“低代码”（Low Code）这个概念挺火的。简单来说就是一种可视化的应用开发方法，有点像少儿编程那样，通过图形化拖拽、参数化配置等方式完成应用程序的开发，使用的代码更少，开发速度更快。

那么AI的开发可不可以用上低代码呢？

答案是肯定的！

同学们还记得我前阵子做的那个体感游戏机吗？（耗时2天，我自制了一台体感游戏机）里面我用到了 NVIDIA 的 Jetson AGX Orin，以及相关开发套件，大大提升了AI项目的开发效率。

前几天，NVIDIA 又放出新的“大杀器”：正式发布了最新版本的 TAO 工具包。作为 NVIDIA 训练、适应和优化 (TAO) 框架的低代码版本，该工具包可简化和加速语音和视觉 AI 应用程序的 AI 模型的创建。

使用 TAO 之后，开发人员可利用迁移学习来定制和优化的生产级模型，而无需自己准备大量学习数据，其中包括缺陷检测、自然语言处理或交通流量管理等常用场景。

此版本通过新的视觉和语音预训练模型提高了开发人员的工作效率。包括 ONNX 模型权重导入、REST API 和 TensorBoard 集成等。

功能特色

• 将 TAO 工具套件部署为 REST API 服务：方便开发者构建新的 AI 服务或使用 REST API 集成到现有服务中，可以在 Kubernetes 上创建并管理 TAO Toolkit 服务。
• 自带模型权重：通过导入 ONNX 图像分类和分割模型的预训练权重来加快模型的自定义。您也可以使用您自己的数据自定义和优化模型。
• 使用 TensorBoard 进行可视化：通过训练和验证损失、模型权重、TensorBoard 中的预测图像等可视化标量来监测模型训练性能。改变超参数，比较实验结果并得出最适合场景需求的选择。
• 预训练模型：加快自定义流程，可通过迁移学习以更少的数据进行微调。
  
  

本次最新版本新增的预训练模型：

• 根据可用于公共安全、零售和工人安全用例的人体姿势对人体动作进行分类。
• 将从激光雷达传感器收集的数据应用于机器人和汽车应用。
• 只需 30 分钟的录制数据即可创建自定义声音，为智能设备、游戏角色和快餐店提供动力。
• 预估人类、动物和物体的关键点，以帮助描绘动作或简单地定义物体形状。  
  

如何使用

• 在 TAO 工具套件入门页面观看教学视频和快速入门指南。详情请见：https://developer.nvidia.com/tao-toolkit-get-started
• 从 NGC 下载计算机视觉或对话式 AI 模型。https://catalog.ngc.nvidia.com/orgs/nvidia/collections/tltcomputervisionhttps://ngc.nvidia.com/catalog/collections/nvidia:tltconversationalai
• 观看新功能的演示视频，包括 Rest API、TensorBoard 和预训练模型。详情请见：https://www.nvidia.com/en-us/on-demand/search/?facet.event_name[]=TAO&facet.mimetype[]=event%20session&headerText=All%20Sessions&layout=list&page=1&q=-&sort=date&sortDir=desc
  

与 TAO 工具套件相关的其他资源和用例：

• 使用 NVIDIA Isaac Sim 和 NVIDIA TAO 开发和部署 AI 机器人。
  https://developer.nvidia.com/blog/developing-and-deploying-ai-powered-robots-with-nvidia-isaac-sim-and-nvidia-tao/
• 使用 TAO 工具套件检测动物健康和表型https://resources.nvidia.com/en-us-metropolis-software-success-stories/onecup-ai
• RocketBoots 提高自动化员工队伍管理的推理性能https://resources.nvidia.com/en-us-metropolis-software-success-stories/rocketboots
• 改变零售行为识别用例的开发工作https://developer.nvidia.com/tao-toolkit-usecases-whitepaper/5-action-recognition
  

正在开发AI项目或对AI开发有兴趣的小伙伴，赶紧来试试吧。相信 TAO 一定会给你一个全新的开发体验！
下载 TAO Toolkit 5.22：
https://catalog.ngc.nvidia.com/o ... tao-getting-started