11月25, 2020

使用 SIMD 和多线程增强 TensorFlow.js WebAssembly 后端

本文最初发表在 TensorFlow 官博,经原作者授权,InfoQ 中文站翻译并分享。

今年三月,我们为 TensorFlow.js 引入了一个新的 WebAssembly(Wasm)加速后端。今天,我们很高兴的宣布一个重大的性能更新:从 TensorFlow.js 2.3.0 版本开始,通过 XNNPACK(一个高度优化的神经网络运算符库)利用 SIMD(向量)指令多线程,我们的 Wasm 后端速度提高了 10 倍。

基准测试

SIMD 和多线程为我们的 Wasm 后端带来了重大的性能提升。下面是 Google Chrome 浏览器的基准测试,展示了 BlazeFace 的改进。BlazeFace 是一个具有 10 万个参数和大约 2000 万次乘加运算的轻量级模型。

(表中所列出的时间为每次推断的毫秒数)

设备

普通 JS

本文链接:https://blog.jnliok.com/post/hI2VrXFeVlelCVvoV0g7.html

-- EOF --

Comments