快速入门
智能机审开发案例
作为公司内容安全负责人的小宋管理着近200人的人工审核团队,这给小宋带来了较大的压力:压力一方面来自审核人员流动大、培训成本高,并且公司每年为这200人的团队薪酬投入近3000万;一方面来自于审核人员水平参差不齐,不是每个人都能按照审核标准严格执行。
小宋认为只有通过机器+人工的审核方式才能提高人员效率,提升审核质量,同时可以把一部分审核人员转去做其他更有价值的工作,通过将市面上多家厂商的能力互相比较,小宋选择了百度的内容审核服务,切实提升了审核质量和效率,降低了公司的运营成本,下面让我们一起来和小宋看一下如何接入百度内容审核服务吧。
下面看看如何基于百度智能云的内容审核平台实现对图片和文本等各类媒体的内容审核。
实现步骤
只需三步,1小时内即可完成内容审核接口的调用,按照以下三步,快来试试吧。
Step1:注册百度智能云账号
要调用百度智能云的内容审核能力先要注册百度智能云的账号,首先让我们花5分钟来注册百度百度智能云账号:
先点击此处注册百度账户进入 如下图 的页面快速的建立一个百度账号。
登录百度智能云账号后,找到产品服务-人工智能下的内容审核产品。
根据操作指引,分别领取免费资源、创建应用、配置策略和调用服务
Step2:准备审核数据
内容审核主要针对用户的图像、文本、音频、视频、文档、直播等媒体类型进行审核;以图像和文本为例,让我们准备几张图片以及一些文本,看看通过内容审核平台是否能够代替人工做图片和文本的审核:
合规图片:
不合规图片(包含广告):
合规文本:
我们要热爱祖国热爱党
不合规文本(低俗):
我要爆粗口啦,百度AI真他妈好用
Step3: 编写示例程序
有第一步的API KEY 以及 Secret KEY,以及第二步的数据,我们就可以写一个示例代码调用百度AI开放平台的内容审核能力
准备开发环境
我们选择用python来快速搭建一个原型,关于如何安装python。可以参考下表列出的不同操作系统的安装方法进行安装。
Python的官方下载地址:下载python
Windows 快速测试包
Windows平台的用户如果对上述的python安装感到困难,可以下载我们的一键测试包,下载地址:Windows测试包。
解压zip文件后,双击run.bat即可测试。
编写代码
新建一个 main.py
粘贴以下内容,不要忘记替换你的 API_KEY 以及 SECRET_KEY:
# coding=utf-8
import sys
import json
import base64
# 保证兼容python2以及python3
IS_PY3 = sys.version_info.major == 3
if IS_PY3:
from urllib.request import urlopen
from urllib.request import Request
from urllib.error import URLError
from urllib.parse import urlencode
from urllib.parse import quote_plus
else:
import urllib2
from urllib import quote_plus
from urllib2 import urlopen
from urllib2 import Request
from urllib2 import URLError
from urllib import urlencode
# 防止https证书校验不正确
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
API_KEY = 'eQnGqPdFTTctqkjHvdUEzmrC'
SECRET_KEY = 'HDBuwWT4pfSBGyLkTEAYhwoQkoDGrWU2'
IMAGE_CENSOR = "https://aip.baidubce.com/rest/2.0/solution/v1/img_censor/v2/user_defined"
TEXT_CENSOR = "https://aip.baidubce.com/rest/2.0/solution/v1/text_censor/v2/user_defined";
""" TOKEN start """
TOKEN_URL = 'https://aip.baidubce.com/oauth/2.0/token'
"""
获取token
"""
def fetch_token():
params = {'grant_type': 'client_credentials',
'client_id': API_KEY,
'client_secret': SECRET_KEY}
post_data = urlencode(params)
if (IS_PY3):
post_data = post_data.encode('utf-8')
req = Request(TOKEN_URL, post_data)
try:
f = urlopen(req, timeout=5)
result_str = f.read()
except URLError as err:
print(err)
if (IS_PY3):
result_str = result_str.decode()
result = json.loads(result_str)
if ('access_token' in result.keys() and 'scope' in result.keys()):
if not 'brain_all_scope' in result['scope'].split(' '):
print ('please ensure has check the ability')
exit()
return result['access_token']
else:
print ('please overwrite the correct API_KEY and SECRET_KEY')
exit()
"""
读取文件
"""
def read_file(image_path):
f = None
try:
f = open(image_path, 'rb')
return f.read()
except:
print('read image file fail')
return None
finally:
if f:
f.close()
"""
调用远程服务
"""
def request(url, data):
req = Request(url, data.encode('utf-8'))
has_error = False
try:
f = urlopen(req)
result_str = f.read()
if (IS_PY3):
result_str = result_str.decode()
return result_str
except URLError as err:
print(err)
if __name__ == '__main__':
# 获取access token
token = fetch_token()
# 拼接图像审核url
image_url = IMAGE_CENSOR + "?access_token=" + token
# 拼接文本审核url
text_url = TEXT_CENSOR + "?access_token=" + token
file_content = read_file('./image_normal.jpg')
result = request(image_url, urlencode({'image': base64.b64encode(file_content)}))
print("----- 正常图调用结果 -----")
print(result)
file_content = read_file('./image_advertise.jpeg')
result = request(image_url, urlencode({'image': base64.b64encode(file_content)}))
print("----- 广告图调用结果 -----")
print(result)
text = "我们要热爱祖国热爱党"
result = request(text_url, urlencode({'text': text}))
print("----- 正常文本调用结果 -----")
print(result)
text = "我要爆粗口啦:百度AI真他妈好用"
result = request(text_url, urlencode({'text': text}))
print("----- 粗俗文本调用结果 -----")
print(result)
运行代码
在命令行中运行python main.py
结果
若代码正确运行,命令行界面上会显示出运行结果:
----- 正常图调用结果 -----
{"conclusion":"合规","log_id":15589290206915234,"conclusionType":1}
----- 广告图调用结果 -----
{"conclusion":"不合规","log_id":15589290221307686,"data":[{"msg":"存在水印码内容","probability":0.86516607,"type":5}],"conclusionType":2}
----- 正常文本调用结果 -----
{"conclusion":"合规","log_id":15589290234750607,"conclusionType":1}
----- 粗俗文本调用结果 -----
{"conclusion":"疑似","log_id":15589290237990632,"data":[{"msg":"疑似存在文本色情不合规","conclusion":"疑似","hits":[{"probability":0.802,"datasetName":"百度默认文本反作弊库","words":[]}],"subType":2,"conclusionType":3,"type":12}],"conclusionType":3}
可以看到结果中返回了内容审核服务对于图片以及文本的审核结果,包括了概率以及不合规的类型,具体字段的含义都在内容审核技术文档中有这详细的释义。
总结
小宋带领团队使用了百度内容审核平台实现对所有图片的全量初步审核,配合人工复审对疑似图片和违规图片进行二次确认,又高效又准确,降低了平台违规的风险。
了解更多
示例源代码
您可以在我们的官方github上下载示例源码:
https://github.com/Baidu-AIP/QuickStart/tree/master/CONTENT_CENSOR
更多参考
参见内容审核技术文档