IT之家 12 月 16 日消息，蘋果公司近日發(fā)布了 DeepPCR 機(jī)器學(xué)習(xí)算法，通過并行處理常規(guī)順序操作，可以加速神經(jīng)網(wǎng)絡(luò)的推理和訓(xùn)練。
神經(jīng)網(wǎng)絡(luò)已能處理文本或圖片合成、分割和分類等復(fù)雜任務(wù)。不過由于計(jì)算需求過大，神經(jīng)網(wǎng)絡(luò)訓(xùn)練和反饋結(jié)果的時(shí)間可能需要數(shù)天或者數(shù)周。
神經(jīng)網(wǎng)絡(luò)處理過程中，目前廣泛采取并行化技術(shù)，可以加速訓(xùn)練和推理速度。
不過神經(jīng)網(wǎng)絡(luò)中的一些操作仍然是按順序完成的，擴(kuò)散模型通過一系列的去噪階段生成輸出，并且逐層進(jìn)行向前和向后傳遞，隨著步驟數(shù)的增加，這些進(jìn)程的順序執(zhí)行在計(jì)算上變得昂貴，可能會(huì)導(dǎo)致計(jì)算瓶頸。
蘋果公司科研團(tuán)隊(duì)為了解決這個(gè)問題，推出了 DeepPCR 算法，進(jìn)一步加速了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理。
該團(tuán)隊(duì)采用了平行循環(huán)還原（PCR）算法來檢索該解決方案，將順序過程的計(jì)算成本從 O（L）降低到 O（log2 L），降低了復(fù)雜性，提高了運(yùn)行速度。
團(tuán)隊(duì)表示多層感知器中部署 DeepPCR 算法之后，并行化前向和后向通過，實(shí)現(xiàn)了最高 30 倍的前向傳遞速度和最高 200 倍的向后傳遞速度。
IT之家附上 DeepPCR 算法主要結(jié)論如下：
DeepPCR 是一種用于在神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理中并行化順序過程的創(chuàng)新方法。它的主要特點(diǎn)是能夠?qū)⒂?jì)算復(fù)雜度從 O（L） 降低到 O（log2 L），其中 L 是序列長度。
DeepPCR 已用于并行化多層感知器 （MLP） 中的前向和后向傳遞，還對(duì)該技術(shù)的性能進(jìn)行了廣泛的分析，以確定該方法的高性能狀態(tài)，同時(shí)考慮基本設(shè)計(jì)參數(shù)。
DeepPCR 已被用于加速 MNIST 上的深度 ResNet 訓(xùn)練，以及在 MNIST、CIFAR-10 和 CelebA 數(shù)據(jù)集上訓(xùn)練的擴(kuò)散模型的生成。結(jié)果表明，雖然 DeepPCR 顯示出顯著的加速，將 ResNet 訓(xùn)練的數(shù)據(jù)恢復(fù)速度提高了 7×，擴(kuò)散模型創(chuàng)建速度提高了 11×。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。