在MacBookProM1上搭建Chatgpt自定义AI助手教程

　　Chatgpt在国内经常会遇到各种网络问题，而且一旦失去网络连接就无法使用。此外，Chatgpt是需要付费的。在2023年，GPT将迎来发展元年，我相信未来每个人都应该有自己的Chatgpt大模型，而不仅仅是大型机构才能拥有。
　　未来，对于Chatgpt大模型所需的计算能力，应该是人人都能负担得起的，就像现在的个人电脑一样。在这里，我主要讲解如何利用Facebook开源的LLAMA 7B大模型和llama.cpp开源代码，在Macbook Pro M1上构建一个能够运行的AI助手。
　　下面我们来逐步讲解。
　　第一步：下载 7B 的大模型
　　使用命令行方式下载curl -o ggml-alpaca-7b-q4.bin -C - 
　　或是直接使用浏览器打开，下载完成后文件改名为 ggml-alpaca-7b-q4.bin:
　　第二步：下载llama.cpp
　　llama.cpp工程是基于Facebook的llama开源项目进行改进的。它通过使用C++进行推理，降低了资源需求，同时保持了高速处理的特点。
　　请使用 git clone 方式下载代码，以便以后轻松更新。当前项目更新速度较快。git clone 
　　第三步：编绎llama.cpp
　　进入llama.cpp，运行如下命令make
　　如果没有报错则表示编绎成功了。
　　在目录下会生成如下几个可执行文件：main、quantize。其中，main是启动会话的程序，而quantize目前不需要使用。
　　第四步：将 ggml-alpaca-7b-q4.bin 放到llama.cpp/models目录下 第五步：完成一个启动脚本start.sh
　　先看看 main 能接受哪些参数:(base) ➜  llama.cpp git:(master) ✗ ./main -h usage: ./main [options]  options:   -h, --help            show this help message and exit   -i, --interactive     run in interactive mode   -ins, --instruct      run in instruction mode (use with Alpaca models)   -r PROMPT, --reverse-prompt PROMPT                         in interactive mode, poll user input upon seeing PROMPT (can be                         specified more than once for multiple prompts).   --color               colorise output to distinguish prompt and user input from generations   -s SEED, --seed SEED  RNG seed (default: -1)   -t N, --threads N     number of threads to use during computation (default: 4)   -p PROMPT, --prompt PROMPT                         prompt to start generation with (default: empty)   --random-prompt       start with a randomized prompt.   -f FNAME, --file FNAME                         prompt file to start generation.   -n N, --n_predict N   number of tokens to predict (default: 128)   --top_k N             top-k sampling (default: 40)   --top_p N             top-p sampling (default: 0.9)   --repeat_last_n N     last n tokens to consider for penalize (default: 64)   --repeat_penalty N    penalize repeat sequence of tokens (default: 1.3)   -c N, --ctx_size N    size of the prompt context (default: 512)   --ignore-eos          ignore end of stream token and continue generating   --memory_f16          use f16 instead of f32 for memory key+value   --temp N              temperature (default: 0.8)   -b N, --batch_size N  batch size for prompt processing (default: 8)   -m FNAME, --model FNAME                         model path (default: models/llama-7B/ggml-model.bin)
　　我们主要使用交互模式，并将可预测的令牌数设置为512，因此请按以下命令操作：./main -m ./models/ggml-alpaca-7b-q4.bin --color -ins -r ＂Me:＂ -n 512
　　启动后的界面如下：
　　开始使用：
　　先提一个问题：＂how to Implementing Gradient Ascent with python?＂
　　生成的答案如下，相比chatgpt有点简陋。
　　毕竟模型只有7B的参数，如果换到65B，应该效果会好很多。不过已经非常好了，相信未来继续优化后会更好。