使用 ONNX Runtime 與 Qualcomm QNN 加速影像分類模型推理

Posted on Wed 24 January 2024 in Machine Learning • Tagged with Machine Learning, AI, ONNX, DirectML, ARM64

2024-05-24 更新：由於 ONNX QNN EP 文件更新很多，因此文章因應而大幅更新。

2024-08-15 更新：更正 MobileNet 相關的內文錯誤

2024-08-19 更新：更新模型量化的相關 …


繼續閱讀

使用 ONNX Runtime 與 DirectML 加速 Stable Diffusing 模型推理

Posted on Sun 14 January 2024 in Machine Learning • Tagged with Machine Learning, AI, ONNX, DirectML

背景

在先前的實測中，已經利用 ONNX Runtime 與 DirectML 來加速 ResNet50 影像分類器的推理，所以接下來就測試比較複雜也比較實用的生成式 …


繼續閱讀

使用 ONNX Runtime 與 DirectML 加速 ResNet50 影像分類推理

Posted on Fri 12 January 2024 in Machine Learning • Tagged with Machine Learning, AI, ONNX, DirectML

背景

由於最近生成式 AI 的興起，如 ChatGPT 與 DALL·E，微軟攜手廠商們開始推廣 AI PC。 因此，客戶端 ( 邊緣 ) 裝置的 AI 模型推理速度變得 …


繼續閱讀