微信小程序遇上TensorFlow:Server端实现

2020-07-1508:48:39APP与小程序开发Comments2,586 views字数 3648阅读模式
微信小程序遇上TensorFlow:Server端实现

十月一日跑了一个半马迎接国庆,十月二号选择去了一个偏门的景点:张之洞与武汉博物馆。今天则宅在家,吃吃喝喝之余,琢磨起识别狗狗的微信小程序。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

微信小程序遇上TensorFlow:Server端实现

自打想到开发一款识别狗狗的app,我的第一直觉是应该开发一款微信小程序。相对于手机原生app,微信小程序具有开发和部署简单,特别是无需安装,即用即走,特别适合这种功能单一,偶尔用一用的app。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

实现方案,首先想到的是TensorFlow.js,手机端实现深度学习,无需服务器端,但是TensorFlow.js并不支持微信小程序,无奈只得选择小程序 + server的模式。而我并不擅长web + server的开发,所以在《这个中秋,我开发了一个识别狗狗的app》中谈到,我先使用TensorFlow Lite实现了一个Android App。这个Android App 更多的是一个实验性的项目,这个国庆节,空余时间比较多,决定整一整微信小程序。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

因为采用端加server的模式,图片识别在server端完成,所以主要功能实现在server端。我们就先来谈一谈Server端的实现。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

TensorFlow Serving

Server端的实现方案有好多种,C++/Java/Python都可以,我一度甚至考虑采用Node.js实现。上周浏览Google开发者大会资料时发现,TensorFlow已经提供了服务器部署方案: TensorFlow Serving。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

TensorFlow Serving是一种灵活的高性能服务系统,适用于机器学习模型,专为生产环境而设计。 TensorFlow Serving可以轻松部署新算法和实验,同时保持相同的服务器架构和API。 TensorFlow Serving提供与TensorFlow模型的一揽子集成方案,也可以轻松扩展以服务于其他类型的模型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

详细资料请访问: tensorflow.google.cn/serving/文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

TensorFlow Serving正在不断完善中,直接参考示例并不能实现需要的功能,在多方查找资料之后,终于把整个流程走通。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

SavedModel

TensorFlow提供两种模型格式:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

  • checkpoints,这是一种依赖于创建模型的代码的格式。
  • SavedModel,这是一种独立于创建模型的代码的格式。

SaveModel是一种与语言无关,可恢复的密封式序列化格式。TensorFlow提供了多种与SavedModel交互的机制,如tf.saved_model API、Estimator API和CLI。TensorFlow Serving需要使用SavedModel格式的模型文件。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

retrain并保存为SavedModel

在《这个中秋,我开发了一个识别狗狗的app》一文中提到,我们不需要从头训练识别狗狗的深度学习模型,而是采用迁移学习,在现有模型的基础上再训练。考虑到模型是部署到服务器端,所以我选择了识别能力更强的Inception V3模型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

带标签的狗狗数据集采用stanford dog datasets,请自行下载并解压,然后执行如下命令进行训练:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

python retrain.py --image_dir=./Images --saved_model_dir=models/inception_v3
复制代码

训练的模型保存于models/inception_v3/1,其中1是版本号,可以通过retrain.py脚本的命令行参数进行指定。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

安装tensorflow model server

在Ubuntu下这个非常容易,只需要使用下面的命令即可:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

sudo apt install tensorflow-model-server
复制代码

为了开发方便,需要安装TensorFlow Serving Python API:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

pip install tensorflow-serving-api
复制代码

启动tensorflow model server

按照文档,启动tensorflow model server非常简单,这里加上rest_api_port参数是启动server,并提供RESTful API,这种API接口方便微信小程序与之进行通信。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

tensorflow_model_server --rest_api_port=8501 --model_base_path=$PWD/models/inception_v3
复制代码

但是通过这种方法启动tensorflow model server,整了半天也没有和client进行上通讯,正在一筹莫展的时候,看到github上的一个项目:github.com/tobegit3hub…文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

微信小程序遇上TensorFlow:Server端实现

简单说,Simple TensorFlow Serving是一个TensorFlow Serving的封装,是机器学习模型的通用且易于使用的服务。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

其野心也很大,号称支持如下功能:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

  • 支持分布式TensorFlow模型
  • 支持常规RESTful / HTTP API
  • 支持GPU加速推理
  • 支持curl和其他命令行工具
  • 支持客户端使用任何编程语言
  • 支持自动生成客户端代码,无需编码
  • 支持图像模型中使用原始图片文件进行推断
  • 支持详细请求的统计指标
  • 支持同时为多个模型提供服务
  • 支持动态的在线和离线模型版本
  • 支持为TensorFlow模型加载新的自定义操作
  • 通过可配置的基本身份验证支持安全身份验证
  • 支持TensorFlow / MXNet / PyTorch / Caffe2 / CNTK / ONNX / H2o / Scikit-learn / XGBoost / PMML 等多种模型

我最看中的就是它的自动生成客户端代码功能,在没有这个之前,我查找了很多资料,都没有搞定客户端与服务端之间的通信。另外它还提供了一个web界面,可以查看模型的结构以及signature(签名),这个signature也是折腾了我好久都没有搞定的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

浏览器访问: http://127.0.0.1:8500,web界面如下:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

微信小程序遇上TensorFlow:Server端实现

Simple TensorFlow Serving的安装非常简单:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

pip install simple_tensorflow_serving
复制代码

接下来启动server:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

simple_tensorflow_serving --model_base_path="./models/inception_v3" &
复制代码

客户端

微信小程序的开发还没有开始学,先用python写一个客户端先测试一下,我们可以使用自动生成客户端代码功能:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

curl http://localhost:8500/v1/models/default/gen_client?language=python > test_client.py
复制代码

自动生成的代码如下:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

#!/usr/bin/env python

import requests

def main():
  endpoint = "http://ilego.club:8500"
  json_data = {"model_name": "default", "data": {"image": [[[[1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0]]]]}}
  result = requests.post(endpoint, json=json_data)
  print(result.text)

if __name__ == "__main__":
  main()
复制代码

可以看出,客户端向server端post一段JSON数据,并获取结果。在这段代码的基础上进行修改,加入图片读取,图片缩放并转换为JSON格式数据,即完成测试客户端代码,代码请参考: github.com/mogoweb/aie…文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

可以尝试测试一张狗狗图片:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

python test_client.py --image=./Images/n02116738-African_hunting_dog/n02116738_1105.jpg
复制代码

结果如下:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

n02116738 african hunting dog 0.780203342438
n02115913 dhole 0.0102733308449
n02092002 scottish deerhound 0.00600153999403
复制代码

前面是类别标签,后面是属于某个类别的概率,上面结果中Top 1概率0.78。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

总结

这个服务器端远还没有达到完善,还存在一下问题:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

  1. 客户端与服务器端的图片采用JSON格式传递,图像数据由二进制转为JSON字符串,空间效率低,后面考虑对图像数据进行base64编码。
  2. 预测的效率比较第,从发出请求到收到回应,有几十秒的时间,还没有查找瓶颈在何处。
  3. 并发支持,因为现在只是一个简单的测试,如果考虑到产品阶段,多个手机的微信小程序同时进行识别,这还是会有很多工作需要做的。

作者:云水木石
链接:https://juejin.im/post/5bb6c4da6fb9a05d330ad053
来源:掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/xcx/19713.html
  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/xcx/19713.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定