同花顺问财发布HithinkGPT大模型,采用transformer的decoder-only架构,通过科学高效的训练体系和大规模金融语料预训练,成为国内金融领域首个应用大模型技术的智能投顾产品。
【AiBase提要:】值得一提的是,该研究已经被全球顶级机器学习大会“NeurIPS”,评选为重要论文。
该方法利用专有的大型语言模型在约100种语言的文本嵌入任务中生成了各种合成数据。与复杂的预训练阶段不同,该方法使用基本的对比损失函数,将开源的仅解码的大型语言模型在生成的合成数据上进行微调。
在实验中,VCoder与开源的多模态LLMs(如MiniGPT-4、InstructBLIP、LLaVA-1.5和CogVLM)进行了比较,并在COST验证集上进行了测试。实验结果表明,VCoder在对象识别任务中表现最佳,特别是在对象计数和识别方面优于基线模型。在处理复杂场景中的对象计数和识别任务时,VCoder展现出更高的准确性,尤其是在场景中有许多实体时。