真灼财經2023年10月9日訊，香港中文大學賈佳亞帶領的研究團隊，近日聯同美國麻省理工大學團隊，發布革命性超長文本擴展技術LongLoRA，大大擴展大語言模型的上下文窗口，允許模型考慮和處理較長的文本序列，首次解決全球大語言模型對話缺陷。
過往，以AI小區著名的開源大語言模型為例，LLaMa支持2k tokens的文本長度、Llama2也僅僅支持4k tokens的文本長度。透過LongLoRA，用家隻需要兩行代碼以及一台8卡A100機器，便可以将7B模型的文本長度拓展到100k tokens，70B模型的文本長度拓展到32k tokens，意味數十頁論文、數百頁報告以至鴻篇巨制，不再成為大模型盲區。研究團隊亦基于LongLoRA技術，同步發布全球首個擁有70B參數量的長文本對話大語言模型LongAlpaca。
目前，LongLoRA技術和LongAlpaca已開源，并大獲用家歡迎，迅速登上Hugging Face熱榜第一名、Paperwithcode熱度第一名、Github全部Python項目熱度第五名，并在Github Stars一周内破千。
賈佳亞是香港中文大學終身教授、電氣與電子工程師協會（IEEE）會士，計算器視覺、人工智能與計算器影像學等領域頂尖專家，全球計算器視覺和人工智能領域頂級期刊《TPAMI》首位視覺領域華人副主編、《IJCV》編委，擁有廣泛的國際影響力。賈博士在2019年創立思謀科技，總部位于香港科學園，是專注于智能制造領域的标準軟硬一體化産品及解決方案供貨商，是香港有名的獨角獸公司。
