通過實(shí)時(shí)推理提供快速響應(yīng)的用戶體驗(yàn)
響應(yīng)速度是決定用戶是否使用互動(dòng)語音、視覺 搜索和視頻推薦等服務(wù)的關(guān)鍵因素。隨著模型的 準(zhǔn)確性和復(fù)雜性越來越高,CPU 已經(jīng)無法再提供 響應(yīng)靈敏的用戶體驗(yàn)。Tesla P4 借助 INT8 運(yùn)算 能力提供高達(dá) 22 TOPS 的推理性能,可將延遲 降低 15 倍。
為低功耗擴(kuò)展型服務(wù)器帶來更高效率
Tesla P4 憑借小巧的外形和 75W 的功耗為經(jīng)過 密度優(yōu)化的擴(kuò)展型服務(wù)器加速。該加速卡還可為 深度學(xué)習(xí)推理工作負(fù)載提供比 CPU 高 60 倍的 驚人能效,滿足超大規(guī)??蛻魧?AI 應(yīng)用程序 飛速增長的需求。
借助專用解碼引擎開發(fā)新的 AI 型視頻服務(wù)
Tesla P4 配備專用的硬件加速解碼引擎,能對多達(dá) 35 路高清視頻流進(jìn)行實(shí)時(shí)轉(zhuǎn)碼和推理,該解碼 引擎可與進(jìn)行推理的 GPU 并行運(yùn)作。將深度學(xué)習(xí) 集成到視頻流水線后,客戶可以向用戶提供之前 無法實(shí)現(xiàn)的智能創(chuàng)新型視頻服務(wù)。
使用 TENSORRT 和 DEEPSTREAM SDK 加快 部署速度
TensorRT 是為優(yōu)化部署到生產(chǎn)環(huán)境的深度 學(xué)習(xí)模型而創(chuàng)建的庫。它通常以 32 位或 16 位 數(shù)據(jù)的形式獲取接受訓(xùn)練的神經(jīng)網(wǎng)絡(luò),并針對 降低精度的 INT8 運(yùn)算能力優(yōu)化這些網(wǎng)絡(luò)。 NVIDIA DeepStream SDK 利用 Pascal GPU 的 強(qiáng)大功能,可以同時(shí)解碼和分析視頻流。

中國互聯(lián)網(wǎng)信息中心(CNNIC)IP地址分配聯(lián)盟成員 北京市通信行業(yè)協(xié)會(huì)會(huì)員單位 中國互聯(lián)網(wǎng)協(xié)會(huì)會(huì)員單位
跨地區(qū)增值業(yè)務(wù)經(jīng)營許可證(A2.B1-20150255) 電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證(京ICP證060342號) 京ICP備05032038號-1 京公網(wǎng)安備11010802020193號
Copyright ?2005-2024 北京互聯(lián)互通科技有限公司 版權(quán)所有