阿聯(lián)酋在科技及教育產業(yè)方面投入的預算一直不菲,近日,阿聯(lián)酋科技創(chuàng)新研究所(TII)打造出了400億參數(shù)的語言模型Falcon-40B,在Hugging Face的OpenLLM排行榜上排名第一,并持續(xù)霸榜,贏過此前LLaMA、StableLM和RedPajama等競爭者。據(jù)稱,F(xiàn)alcon-40B使用了384顆GPU來進行2個月的訓練、利用將近5億個Token訓練而成。為提高訓練過程的質量,團隊還自己組建了一套工作流程來篩選出“最高質量的的資料”供給 AI 模型訓練。經多個基準測試,表現(xiàn)比LLaMA、Vicuna和Alpaca更加出色。IT之家注意到,F(xiàn)alcon模型已經在huggingface上開源,目前開源的版本有Falcon-7B-Instruct和Falcon-40B-Instruct等。