機器學習推理引擎ONNX Runtime從1.10版本開始,支援使用Xamarin以C#建置行動應用程式。ONNX Runtime 1.10版本的NuGet套件中,包含了對Android和iOS的支援,這使得開發人員可以於存在ONNX Runtime的行動裝置上執行ONNX模型,也就是說,賦予開發人員建置跨行動裝置人工智慧應用程式的能力。

ONNX Runtime為一個機器學習開源專案,能夠加速各種框架、作業系統和硬體平臺的機器學習模型運算,而ONNX Runtime Mobile則是針對Android和iOS裝置的輕量級推理引擎版本,開發人員可以建置占用較小磁碟容量,經過最佳化的智慧行動應用程式。

在這個新釋出的1.10版本中,官方支援開發者使用Xamarin.Forms,建構Android和iOS跨平臺應用程式,其包括使用預設CPU Execution Provider,在裝置CPU上執行ONNX模型,而對於部分行動裝置所使用的專用硬體,ONNX Runtime Mobile套件提供Execution Provider,讓開發者能夠在Android使用NNAPI,在iOS上使用CoreML。

Xamarin是一個開源應用程式平臺,供開發者以C#和.NET,建構現代且高效能的iOS和Android應用程式,由於NuGet套件中加入對Android和iOS的支援,開發人員便可以利用ONNX Runtime,在應用程式中加入人工智慧功能。

除了對Android和iOS的支援之外,ONNX Runtime 1.10的新功能還包括加入X64和ARM64上的新量化核心,提升運算效能。在硬體的靈活度方面,新版本更新了TensorRT、DirectML、OpenVINO和DNNL Execution Providers,在Nvidia GPU上,Python GPU套件同時支援CUDA和TensorRT Provider,讓用戶能夠更易於測試和使用。

新版本也簡化對Mac的部署,Rosetta允許單個二進位檔案跨Apple Silicon和英特爾晶片運作。另外,ONNX Runtime Web則支援WebAssembly SIMD,改進量化模型(Quantized Model)的效能。

熱門新聞

Advertisement