Ya-Ti's Blog

使用 ONNX Runtime 與 OpenVINO 加速影像分類模型推理

Posted on Wed 07 August 2024 in Machine Learning • Tagged with Machine Learning, AI, ONNX, OpenVINO

由於最近生成式 AI 的興起，如 ChatGPT 與 DALL·E，微軟攜手廠商們開始推廣 AI PC。因此，客戶端 ( 邊緣 ) 裝置的 AI 模型推理速度變得 …

Posted on Wed 24 January 2024 in Machine Learning • Tagged with Machine Learning, AI, ONNX, DirectML, ARM64

2024-05-24 更新：由於 ONNX QNN EP 文件更新很多，因此文章因應而大幅更新。

2024-08-15 更新：更正 MobileNet 相關的內文錯誤

2024-08-19 更新：更新模型量化的相關 …

繼續閱讀

Posted on Sun 14 January 2024 in Machine Learning • Tagged with Machine Learning, AI, ONNX, DirectML

在先前的實測中，已經利用 ONNX Runtime 與 DirectML 來加速 ResNet50 影像分類器的推理，所以接下來就測試比較複雜也比較實用的生成式 …

Posted on Fri 12 January 2024 in Machine Learning • Tagged with Machine Learning, AI, ONNX, DirectML

由於最近生成式 AI 的興起，如 ChatGPT 與 DALL·E，微軟攜手廠商們開始推廣 AI PC。因此，客戶端 ( 邊緣 ) 裝置的 AI 模型推理速度變得 …