Continue + Ollama打造自己的AI编程助手

Continue是一个由硅谷YC支持的AI代码编程助手,提供VSCode和JetBrains插件,类似Github Copilot。Continue是开源的,而且支持Ollama,这意味着我们可以定制自己的AI编程助手。

GitHub:https://github.com/continuedev/continue

插件地址:

VSCode插件:https://marketplace.visualstudio.com/items?itemName=Continue.continue

JetBrains插件:https://plugins.jetbrains.com/plugin/22707-continue

也可以IDE的插件市场搜索 continue

Continue + Ollama打造自己的AI编程助手插图

下一步准备好Ollama的本地模型,官网https://ollama.com,下载后启动,在命令行执行

ollama run deepseek-coder:6.7b

在插件config.json中配置好模型参数

{
    "models": [{
        "title": "DeepSeek Coder 6.7B",
        "provider": "ollama",
        "model": "DeepSeek Coder 6.7B"
    }],
    "tabAutocompleteModel": {
        "title": "DeepSeek Coder 6.7B",
        "provider": "ollama",
        "model": "deepseek-coder:6.7b-base"
    }
}

accesswximg-1

Continue也支持利用 Ollama 运行多个模型和处理多个并发请求的能力,方法是使用DeepSeek Coder 6.7B进行自动完成,使用Llama 3 8B进行聊天。前提是你的机器足够强大。可以参考配置

{
    "models": [{
        "title": "Llama 3 8B",
        "provider": "ollama",
        "model": "Llama 3 8B"
    }],
    "tabAutocompleteModel": {
        "title": "DeepSeek Coder 6.7B",
        "provider": "ollama",
        "model": "deepseek-coder:6.7b-base"
    }
}

Continue 内置了@codebase上下文提供程序,可让自动从代码库中检索最相关的代码片段。假设已经设置了聊天模型(例如 Codestral、Llama 3),那么可以通过 Ollama 和LanceDB 的嵌入将整个体验保持在本地。建议使用nomic-embed-text嵌入。

ollama pull nomic-embed-text

然后配置config.json参数

{
    "embeddingsProvider": {
        "provider": "ollama",
        "model": "nomic-embed-text"
    }
}

根据代码库的大小,索引可能需要一些时间,然后可以直接提问,系统会自动找到重要的代码库部分并将其用于回答。

Continue 还内置了@docs上下文提供程序,可让您索引和检索来自任何文档站点的片段。假设您已经设置了聊天模型(例如 Codestral、Llama 3),您可以通过提供文档链接并提出问题以了解更多信息,从而让整个体验保持本地化。

@docs在聊天侧栏中输入内容,选择“添加文档”,复制并粘贴到 URL 字段中,然后在标题字段中输入查询的内容。

它应该快速索引已经上传的内容,然后你可以提出问题,它会自动找到重要部分并将其用于答案。

代码理解

accesswximg-6

代码自动补全

accesswximg-5

重写优化代码

accesswximg-3

查询代码库相关问题

accesswximg-2

把文档作为上下文的问答

accesswximg-4

Ollama的资源要求

根据 Ollama.ai 官方文档,运行 Ollama 的建议系统要求是:

操作系统: Linux:Ubuntu 18.04 或更高版本,macOS:macOS 11 Big Sur 或更高版本

显存: 8GB 用于运行 3B 模型,16GB~24GB 用于运行 7B原尺寸模型或量化模型,32GB 最多能够运行 13B~14B 模型

磁盘空间:12GB 用于安装 Ollama 和基本模型,存储模型数据所需的额外空间,具体取决于您使用的模型。

CPU: 建议使用至少 4 核的任何现代 CPU,对于运行 13B 模型,建议使用至少 8 核的 CPU。

GPU: 运行 Ollama 不需要 GPU,但它可以提高性能,尤其是运行较大的模型。GPU可以用来加速模型推理以及模型的训练。

除了上述内容之外,Ollama 还需要有效的互联网连接来下载基本模型并安装更新。

发表评论