微信机器人搭建接入Midjourney,让大家都用起来

2023-06-0609:30:22办公软件与工具应用Comments4,546 views字数 7092阅读模式

微信机器人搭建接入Midjourney,让大家都用起来文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

Midjourney很好用,画面很好看,但是一群没有账号的伙伴用不了,所以想着做一个微信机器人去调用Midjourney来降低使用门槛,让大家都用起来。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

搭建微信机器人

肯定不会从零开始自己搭建,先去翻了翻GitHub,找到了一个已经介入ChatGPT的微信机器人。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

github.com/zhayujie/ch…文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

微信机器人搭建接入Midjourney,让大家都用起来文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

Wechat robot based on ChatGPT, which using OpenAI api and itchat library. 使用ChatGPT搭建微信聊天机器人,基于GPT3.5/4.0 API实现,支持个人微信、公众号、企业微信部署,能处理文本、语音和图片,访问操作系统和互联网。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

准备

1. OpenAI账号注册

前往 OpenAI注册页面 创建账号,参考这篇 教程 可以通过虚拟手机号来接收验证码。创建完账号则前往 API管理页面 创建一个 API Key 并保存下来,后面需要在项目中配置这个key。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

项目中默认使用的对话模型是 gpt3.5 turbo,计费方式是约每 500 汉字 (包含请求和回复) 消耗 0.002,图片生成是每张消耗0.002,图片生成是每张消耗 0.016。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

2.运行环境

支持 Linux、MacOS、Windows 系统(可在Linux服务器上长期运行),同时需安装 Python文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

建议Python版本在 3.7.1~3.9.X 之间,推荐3.8版本,3.10及以上版本在 MacOS 可用,其他系统上不确定能否正常运行。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

(1) 克隆项目代码:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

bash文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

复制代码
git clone https://github.com/zhayujie/chatgpt-on-wechat
cd chatgpt-on-wechat/

(2) 安装核心依赖 (必选):文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

能够使用itchat创建机器人,并具有文字交流功能所需的最小依赖集合。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

复制代码
pip3 install -r requirements.txt

(3) 拓展依赖 (可选,建议安装):文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

arduino文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

复制代码
pip3 install -r requirements-optional.txt

如果某项依赖安装失败请注释掉对应的行再继续。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

其中tiktoken要求python版本在3.8以上,它用于精确计算会话使用的tokens数量,强烈建议安装。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

使用googlebaidu语音识别需安装ffmpeg文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

默认的openai语音识别不需要安装ffmpeg文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

配置

配置文件的模板在根目录的config-template.json中,需复制该模板创建最终生效的 config.json 文件:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

arduino文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

复制代码
  cp config-template.json config.json

然后在config.json中填入配置,以下是对默认配置的说明,可根据需要进行自定义修改(请去掉注释):文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

bash文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

复制代码
# config.json文件内容示例
{
  "open_ai_api_key": "YOUR API KEY",                          # 填入上面创建的 OpenAI API KEY
  "model": "gpt-3.5-turbo",                                   # 模型名称。当use_azure_chatgpt为true时,其名称为Azure上model deployment名称
  "proxy": "127.0.0.1:7890",                                  # 代理客户端的ip和端口
  "single_chat_prefix": ["bot", "@bot"],                      # 私聊时文本需要包含该前缀才能触发机器人回复
  "single_chat_reply_prefix": "[bot] ",                       # 私聊时自动回复的前缀,用于区分真人
  "group_chat_prefix": ["@bot"],                              # 群聊时包含该前缀则会触发机器人回复
  "group_name_white_list": ["ChatGPT测试群", "ChatGPT测试群2"], # 开启自动回复的群名称列表
  "group_chat_in_one_session": ["ChatGPT测试群"],              # 支持会话上下文共享的群名称  
  "image_create_prefix": ["画", "看", "找"],                   # 开启图片回复的前缀
  "conversation_max_tokens": 1000,                            # 支持上下文记忆的最多字符数
  "speech_recognition": false,                                # 是否开启语音识别
  "group_speech_recognition": false,                          # 是否开启群组语音识别
  "use_azure_chatgpt": false,                                 # 是否使用Azure ChatGPT service代替openai ChatGPT service. 当设置为true时需要设置 open_ai_api_base,如 https://xxx.openai.azure.com/
  "character_desc": "你是ChatGPT, 一个由OpenAI训练的大型语言模型, 你旨在回答并解决人们的任何问题,并且可以使用多种语言与人交流。",  # 人格描述
  # 订阅消息,公众号和企业微信channel中请填写,当被订阅时会自动回复,可使用特殊占位符。目前支持的占位符有{trigger_prefix},在程序中它会自动替换成bot的触发词。
  "subscribe_msg": "感谢您的关注!\n这里是ChatGPT,可以自由对话。\n支持语音对话。\n支持图片输出,画字开头的消息将按要求创作图片。\n支持角色扮演和文字冒险等丰富插件。\n输入{trigger_prefix}#help 查看详细指令。"
}

配置说明:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

1.个人聊天文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

  • 个人聊天中,需要以 "bot"或"@bot" 为开头的内容触发机器人,对应配置项 single_chat_prefix (如果不需要以前缀触发可以填写 "single_chat_prefix": [""])
  • 机器人回复的内容会以 "[bot] " 作为前缀, 以区分真人,对应的配置项为 single_chat_reply_prefix (如果不需要前缀可以填写 "single_chat_reply_prefix": "")

2.群组聊天文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

  • 群组聊天中,群名称需配置在 group_name_white_list  中才能开启群聊自动回复。如果想对所有群聊生效,可以直接填写 "group_name_white_list": ["ALL_GROUP"]
  • 默认只要被人 @ 就会触发机器人自动回复;另外群聊天中只要检测到以 "@bot" 开头的内容,同样会自动回复(方便自己触发),这对应配置项 group_chat_prefix
  • 可选配置: group_name_keyword_white_list配置项支持模糊匹配群名称,group_chat_keyword配置项则支持模糊匹配群消息内容,用法与上述两个配置项相同。(Contributed by evolay)
  • group_chat_in_one_session:使群聊共享一个会话上下文,配置 ["ALL_GROUP"] 则作用于所有群聊

3.语音识别文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

  • 添加 "speech_recognition": true 将开启语音识别,默认使用openai的whisper模型识别为文字,同时以文字回复,该参数仅支持私聊 (注意由于语音消息无法匹配前缀,一旦开启将对所有语音自动回复,支持语音触发画图);
  • 添加 "group_speech_recognition": true 将开启群组语音识别,默认使用openai的whisper模型识别为文字,同时以文字回复,参数仅支持群聊 (会匹配group_chat_prefix和group_chat_keyword, 支持语音触发画图);
  • 添加 "voice_reply_voice": true 将开启语音回复语音(同时作用于私聊和群聊),但是需要配置对应语音合成平台的key,由于itchat协议的限制,只能发送语音mp3文件,若使用wechaty则回复的是微信语音。

4.其他配置文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

  • model: 模型名称,目前支持 gpt-3.5-turbotext-davinci-003gpt-4gpt-4-32k (其中gpt-4 api暂未开放)
  • temperature,frequency_penalty,presence_penalty: Chat API接口参数,详情参考OpenAI官方文档。
  • proxy:由于目前 openai 接口国内无法访问,需配置代理客户端的地址,详情参考 #351
  • 对于图像生成,在满足个人或群组触发条件外,还需要额外的关键词前缀来触发,对应配置 image_create_prefix
  • 关于OpenAI对话及图片接口的参数配置(内容自由度、回复字数限制、图片大小等),可以参考 对话接口 和 图像接口 文档直接在 代码 bot/openai/open_ai_bot.py 中进行调整。
  • conversation_max_tokens:表示能够记忆的上下文最大字数(一问一答为一组对话,如果累积的对话字数超出限制,就会优先移除最早的一组对话)
  • rate_limit_chatgptrate_limit_dalle:每分钟最高问答速率、画图速率,超速后排队按序处理。
  • clear_memory_commands: 对话内指令,主动清空前文记忆,字符串数组可自定义指令别名。
  • hot_reload: 程序退出后,暂存微信扫码状态,默认关闭。
  • character_desc 配置中保存着你对机器人说的一段话,他会记住这段话并作为他的设定,你可以为他定制任何人格 (关于会话上下文的更多内容参考该 issue)
  • subscribe_msg:订阅消息,公众号和企业微信channel中请填写,当被订阅时会自动回复, 可使用特殊占位符。目前支持的占位符有{trigger_prefix},在程序中它会自动替换成bot的触发词。

所有可选的配置项均在该文件中列出。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

运行

1.本地运行

如果是开发机 本地运行,直接在项目根目录下执行:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

复制代码
python3 app.py

终端输出二维码后,使用微信进行扫码,当输出 "Start auto replying" 时表示自动回复程序已经成功运行了(注意:用于登录的微信需要在支付处已完成实名认证)。扫码登录后你的账号就成为机器人了,可以在微信手机端通过配置的关键词触发自动回复 (任意好友发送消息给你,或是自己发消息给好友),参考#142文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

2.服务器部署

使用nohup命令在后台运行程序:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

bash文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

复制代码
touch nohup.out                                   # 首次运行需要新建日志文件  
nohup python3 app.py & tail -f nohup.out          # 在后台运行程序并通过日志输出二维码

扫码登录后程序即可运行于服务器后台,此时可通过 ctrl+c 关闭日志,不会影响后台程序的运行。使用 ps -ef | grep app.py | grep -v grep 命令可查看运行于后台的进程,如果想要重新启动程序可以先 kill 掉对应的进程。日志关闭后如果想要再次打开只需输入 tail -f nohup.out。此外,scripts 目录下有一键运行、关闭程序的脚本供使用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

多账号支持:  将项目复制多份,分别启动程序,用不同账号扫码登录即可实现同时运行。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

特殊指令:  用户向机器人发送  #reset 即可清空该用户的上下文记忆。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

搭建Midjourney

同样不是从零开始写,从GitHub里找了找,果然找到了一个好项目。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

github.com/novicezk/mi…文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

微信机器人搭建接入Midjourney,让大家都用起来文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

代理 MidJourney 的discord频道,实现api形式调用AI绘图文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

现有功能

  •  支持 Imagine 指令和相关U、V操作
  •  Imagine 时支持添加图片base64,作为垫图
  •  支持 Describe 指令,根据图片生成 prompt
  •  支持 Blend 指令,多个图片混合
  •  支持 Imagine、V、Blend 图片生成进度
  •  支持中文 prompt 翻译,需配置百度翻译或 gpt
  •  prompt 敏感词判断,支持覆盖调整
  •  任务队列,默认队列10,并发3。可参考 MidJourney订阅级别 调整mj.queue
  •  可选 user-token 连接 wss,以获取错误信息和完整功能
  •  支持 discord域名(server、cdn、wss)反代,配置 mj.ng-discord

使用前提

  1. 科学上网
  2. docker环境
  3. 注册 MidJourney,创建自己的频道,参考 docs.midjourney.com/docs/quick-…
  4. 添加自己的机器人: 流程说明
  5. user-wss方式,可不添加自己的机器人,但仍需参考流程的第4、5步,获取用户Token、服务器ID、频道ID

风险须知

  1. 作图频繁等行为,触发midjourney验证码后,需尽快人工验证
  2. user-wss方式可以获取midjourney的错误信息、支持图片变换进度,但可能会增加账号风险

快速启动

  1. /xxx/xxx/config目录下创建 application.yml(mj配置项)、banned-words.txt(可选,覆盖默认的敏感词文件);参考src/main/resources下的文件
  2. 启动容器,映射config目录

arduino文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

复制代码
docker run -d --name midjourney-proxy \
 -p 8080:8080 \
 -v /xxx/xxx/config:/home/spring/config \
 --restart=always \
 novicezk/midjourney-proxy:2.1.4
  1. 访问 http://ip:port/mj 查看API文档

附: 不映射config目录方式,直接在启动命令中设置参数文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

ini文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

复制代码
docker run -d --name midjourney-proxy \
 -p 8080:8080 \
 -e mj.discord.guild-id=xxx \
 -e mj.discord.channel-id=xxx \
 -e mj.discord.user-token=xxx \
 -e mj.discord.bot-token=xxx \
 --restart=always \
 novicezk/midjourney-proxy:2.1.4

本地开发

  • 依赖java17和maven
  • 更改配置项: 修改src/main/application.yml
  • 项目运行: 启动ProxyApplication的main函数
  • 更改代码后,构建镜像: docker build . -t midjourney-proxy

集成

midjourney_bot.py

这个需要从零开始写,Midjourney Proxy服务使用JAVA部署,并通过HTTP可以访问,所以这个机器人就是纯粹的使用HTTP调用服务。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

python文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

复制代码
import time  
  
import requests  
  
from config import conf  
  
class MidJourneyBot(object):  
    def __init__(self):  
        pass  

    def mj_create_img(self,query):  
        url = conf().get("midjourney_url")  
        url = url + "/trigger/submit"  
        if query.endswith("."):  
            query = query[:-1]  
        bodyParams = {  
            "action": "IMAGINE",  
            "prompt": query  
        }  
        # 1. 使用PSOT访问Midjourney接口生成图片  
        response = requests.post(url, json=bodyParams)  

        print(response)  

        # 2. 定时器获取图片生成状态  
        if (response.status_code == 200):  
            data = response.json()  
            # 接口调用成功  
            if (data['code'] == 1):  
                job_id = data['result']  
                # 开始循环调用图片生成状态接口  
                return True, self.check_job_status(job_id)  

            return False, "Not Implemented"  
        # 3. 生成成功返回图片地址  
        return False, "Not Implemented"  

    # 使用定时器定期获取图片生成状态  
    def check_job_status(self,job_id):  
        base_url = conf().get("midjourney_url")  
        url = f"{base_url}/task/{job_id}/fetch"  
        try:  
            while True:  
                response = requests.get(url)  
                if response.status_code == 200:  
                    data = response.json()  
                    status = data['status']  
                if status == 'SUCCESS':  
                    return data['imageUrl']  
                elif status in ['error', 'expired']:  
                    raise Exception(f'Job failed with status {status}')  
                else:  
                    raise Exception('Failed to check job status')  
                time.sleep(2) # 每5秒检查一次  
        except Exception as e:  
            print(e)

修改chat_gpt_bot.py文件

微信机器人搭建接入Midjourney,让大家都用起来文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

找到:elif context.type == ContextType.IMAGE_CREATE:代码行 替换原有调用OpenAI图片生成服务的代码,使用Midjourney实现高质量图片生成。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

 文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html

作者:吕不说
来源:稀土掘金
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/45050.html
  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/office/45050.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定