Skip to content

香港國際創科展 (InnoEX) 2024

香港國際創科展 (InnoEX) 2024由香港特別行政區政府創新科技及工業局和香港貿易發展局合辦,於二零二四年四月十三至十六日於香港會議展覽中心舉行。人工智能金融科技實驗室今年亦參與了展覽,展示了我們兩個重點解決方案:供應鏈金融解決方案和FinExpertGPT。

長文本中微調大型語言模型的解決方案 – LongLoRA

大型語言模型(LLMs)已經改變了自然語言處理(NLP)任務,但上下文大小限制了它們在長文檔中的應用。LongLoRA在擴展LLMs的上下文窗口方面是一個變革工具,它利用FlashAttention-2、DeepSpeed ZeRO和創新的S2-Attn高效地微調LLMs,實現卓越的性能和減少計算成本!