2021 年里 AI 飛速發(fā)展，優(yōu)秀算法層出不窮，令我們大開眼界。而真正要將這些算法實(shí)現(xiàn)，一定少不了 Python 這個(gè)主流機(jī)器學(xué)習(xí)語言的加持。
今年各大公司和研究小組都推出了一系列方便使用的高性能開源庫，其中還不乏一些國產(chǎn)的優(yōu)秀作品。
在這里將盤點(diǎn)出最佳的 10 名，致力于幫你解決各種問題。
如果你還在為模型訓(xùn)練中的“雜務(wù)”頭疼，那就快來看看吧。
1. Awkward Array
根據(jù)官方介紹，Awkward Array 用于嵌套的、大小不一的數(shù)據(jù)，包括任意長度的列表、記錄、混合的類型和缺失數(shù)據(jù)，使用起來類似 NumPy。
看起來像是升級(jí)版的 NumPy 呀。
果然，不同長度的數(shù)組可以直接放在一起運(yùn)算。
并且，官方表示 Awkward Array 不僅使用起來更簡便，在速度和內(nèi)存上也有量級(jí)的優(yōu)勢(shì)。
看看是不是可以安排上了～
https://pypi.org/project/awkward/
2. Jupytext
相信大家對(duì) Jupyter Notebook 都不陌生。
當(dāng)你有了 Jupytext 這個(gè)小插件就可以將 Jupyter Notebook 和 IDE 完美結(jié)合，聽起來是不是很棒！
從此 Jupyter Notebook 可以被存儲(chǔ)為 Markdown 文件或多種語言的腳本文件。
Jupytext 可以做的事主要有：
Jupyter Notebook 的版本控制；
在你喜歡的文本編輯器中編輯、合并或重構(gòu) Notebook；
在 Notebook 上使用 Q&A 檢查。
在 Python 中使用的樣子：
此項(xiàng)目在 Github 上已有 5k+star。
https://github.com/mwouts/jupytext
3. Gradio
比 Streamlit 還輕量的 UI 設(shè)計(jì)庫，Gradio 讓你輕松在瀏覽器中“玩轉(zhuǎn)”你的模型，可以直接在瀏覽器中拖放圖片，粘貼文字，錄制聲音，等等。
只要將 launch () 函數(shù)中的參數(shù)設(shè)置為 share=True，還能得到一個(gè)可分享的網(wǎng)址，拿到鏈接的朋友在電腦和手機(jī)端都能打開，活脫脫就是一個(gè)小程序。
時(shí)常需要做 Demo 的小伙伴快看起來吧，此項(xiàng)目在 Github 上已有 4.5k+star。
https://github.com/gradio-app/gradio
4. Hub
這個(gè) Hub 在數(shù)據(jù)管理和數(shù)據(jù)預(yù)處理上可是一把好手。
它可以處理任何類型，任何大小的數(shù)據(jù)，并且因?yàn)閿?shù)據(jù)儲(chǔ)存在云端上，所以可以無縫在任何機(jī)器上訪問。
被壓縮為二進(jìn)制字節(jié)的數(shù)據(jù)可以被存儲(chǔ)在任何地方，并且只有在需要的時(shí)候才會(huì)被獲取，所以沒有 TB 級(jí)硬盤也可以處理 TB 級(jí)數(shù)據(jù)。
Hub 貼心地提供了重要 API，支持?jǐn)?shù)據(jù)在常用工具（PyTorch 等）上的使用，數(shù)據(jù)版本控制，數(shù)據(jù)轉(zhuǎn)換等功能。
此項(xiàng)目在 github 上已有 4.1k+star。
https://github.com/activeloopai/Hub
5. AugLy
AugLy 是 facebook 最新推出的數(shù)據(jù)增強(qiáng)庫，同時(shí)支持語音，文本，圖像和視頻類型的數(shù)據(jù)，包含了 100 多種增強(qiáng)方式。
數(shù)據(jù)對(duì)于模型訓(xùn)練至關(guān)重要，而標(biāo)注大規(guī)模數(shù)據(jù)十分困難。由于人力資源，和模型特性的限制，數(shù)據(jù)增強(qiáng)的應(yīng)用越來越廣泛。
AugLy 的優(yōu)點(diǎn)：
處理類型更為全面。其他的數(shù)據(jù)增強(qiáng)庫，例如 Albumentations 和 NVIDIA DALI，主要負(fù)責(zé)圖像相關(guān)數(shù)據(jù)的處理，文字?jǐn)?shù)據(jù)不支持。
處理方式十分人性化。AugLy 可以將一張圖片做成備忘錄，在圖片 / 視頻上疊加文字 / Emojis，轉(zhuǎn)發(fā)社交媒體上的截圖，還可以幫助你處理諸如拷貝檢測(cè)、仇恨言論檢測(cè)或版權(quán)侵權(quán)等問題。
此項(xiàng)目在 Github 上已有 4.1k+star。
https://github.com/facebookresearch/AugLy
6. Evidently
Evidently 是用來監(jiān)測(cè)模型效果的工具，可從 Pandas DataFrame 或 csv 文件中生成交互式可視化報(bào)告和 JSON 格式的效果簡介。在 Jupyter Notebook 中可以使用。
目前可以提供 6 種報(bào)告：數(shù)據(jù)漂移、數(shù)值目標(biāo)漂移、分類目標(biāo)漂移、回歸模型性能、分類模型性能和概率分類模型性能。
此項(xiàng)目在 Github 上已有 1.8k+star。
https://github.com/evidentlyai/evidently
7. YOLOX
如果你熟悉 YOLO 的話，那你或許會(huì)對(duì)曠視今年推出的 YOLOX 感興趣。
YOLO 就是那個(gè)目標(biāo)檢測(cè)算法，可以被使用在汽車自動(dòng)駕駛等前沿技術(shù)中。
而 YOLOX 是 YOLO 的無錨版本，設(shè)計(jì)更簡單，但性能更好！它的目標(biāo)是在研究界和工業(yè)界之間架起一座橋梁，同時(shí)彌合兩方之間的差距。
這個(gè) Github 上的開源項(xiàng)目在短短半年內(nèi)已獲得 5.2k+star。
https://github.com/Megvii-BaseDetection/YOLOX
8. LightSeq
正如它的名字一樣，LightSeq 是一款由字節(jié)跳動(dòng)開發(fā)的支持 BERT、GPT、Transformer 等眾多模型的超快推理引擎。
可以看到它的表現(xiàn)，比 FasterTransformer 還要 Fast。
LightSeq 支持的模型也是非常全面。
總之就是兩個(gè)字“好用”。此項(xiàng)目在 Github 上已有 1.9k+star。
https://github.com/bytedance/lightseq
9. Greykite
想預(yù)測(cè) COVID-19 的恢復(fù)速度嗎？那就來看看 LinkedIn 為了自家時(shí)間序列預(yù)測(cè)需求開發(fā)的 Greykite 吧。
功能全面（多種時(shí)間趨勢(shì)），界面直觀，預(yù)測(cè)速度快和可擴(kuò)展性強(qiáng)是它最大的亮點(diǎn)。
被應(yīng)用在上面的三大算法：
Silverkite (Greykite’s flagship algorithm)
Facebook Prophet
Auto Arima
感興趣的話就去研究看看吧，此項(xiàng)目在 Github 上已有 1.4k+star。
https://github.com/linkedin/greykite
10. Jina and Finetuner
如今，在搜索引擎等應(yīng)用上，語義識(shí)別的地位越來越高，因?yàn)樗梢杂行П苊庾衷~匹配的局限。
不過語義識(shí)別涉及的神經(jīng)網(wǎng)絡(luò)可能會(huì)讓很多人感到頭大，Jina 和 Finetuner 可以幫你解決這些問題。
Jina 是一個(gè)神經(jīng)搜索框架，使任何人都能在幾分鐘內(nèi)建立可擴(kuò)展的深度學(xué)習(xí)搜索應(yīng)用程序。
Finetuner 配合 Jina 幫助你對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)參，以獲得神經(jīng)搜索任務(wù)的最佳結(jié)果。
Jina 和 Finetuner 適合沒什么經(jīng)驗(yàn)，又想嘗試的朋友。
https://github.com/jina-ai/finetuner
參考鏈接：
https://tryolabs.com/blog/2021/12/21/top-python-libraries-2021
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。