LocoGPT LLM是一个有趣和创新的应用程序,让您可以离线与一个使用您选择的大型语言模型(LLM)的AI代理聊天。您可以进行随意的对话,提出问题,或者请求一些富有想象力和创新性的内容,如诗歌、故事、代码、论文、歌曲、名人模仿等。AI代理可以用您选择的语言流畅地理解和沟通,使用它自己的词汇和知识。
功能
- 离线聊天会话,使用您选择的大型语言模型(LLM)
- 从三种不同的聊天模式和配置中选择:平衡、创造和精确,或者根据您的心情和喜好进行自定义
- 请求LLM生成富有想象力和创新性的内容,如诗歌、故事、代码、论文、歌曲、名人模仿等,使用它自己的词汇和知识
- 请求LLM帮助您写作、重写、改进或优化您的内容
- 自定义推理和模型参数,以微调应用程序的输出和性能,例如温度、TopP、TopK、重复惩罚、最大令牌、重复最后令牌计数、提示模板、反提示
- 从您的电脑中选择您的模型文件夹
- 能够自定义提示模板和反提示
- 使用Mica、Mica Alt、Acrylic或动态着色器动画背景自定义应用程序的外观
模型
您可以浏览和下载预选的LLM,或者带上您自己的.gguf模型文件。该应用程序支持gguf文件格式,即使没有GPU或GPU内存不足,也可以很好地运行LLM模型。该应用程序还支持Nvidia Cuda 11和12 GPU和AVX2 CPU