Application of 3D Scanning Technique and Colour Measurement on Pearl Sorting
-
摘要: 基于3D扫描技术及色度测量CIE L*a*b*技术, 提出了珍珠的数字化分选方法,从而可以有效克服传统人工筛选的弊端。通过非接触式3D扫描技术获取珍珠的点云数据,并对数据进行拼接处理,得到完整的珍珠三维模型以及珍珠的大小、形状、光洁度对应数据。分光光度计可对珍珠颜色及光泽度进行测量并且进行基于标准色空间CIE L*a*b*的转换,获得可量化指标。利用该技术,企业可根据实际情况并结合国家分级标准GB/T 18781-2008对不同等级珍珠标准品的大小、形状、光洁度、颜色及光泽度进行测量及数据录入,运用算法对样品的测量数据与标准品的数据进行阈值判别,从而实现数字化分选。本文通过实验验证了3D扫描及颜色测量技术在珍珠分选上具有较高的可行性,且未来二者的结合对于珍珠企业实行批量化机械分选,实现自动化生产,缩减生产成本具有巨大潜力。Abstract: An original method for automatic pearl sorting is proposed based on 3D scanning technique and CIE L*a*b* colorimetry, which is able to overcome the shortcomings of manual pearl sorting. The point cloud data of pearl will be extracted by non-contact 3D scanner and processed to splicing module to obtain a three-dimensional (3D) pearl model. The information of size, shape and surface perfection has been involved in the 3D model. The numerical colour as well as luster data of pearl is measured and converted by the colorimeter base on the standard colour space CIE L*a*b*. Pearl companies are able to test and record the standard samples from various detection ranges on the five factors mentioned above based on the judgement index of national pearls grading standard GB/T 18781-2008, and then calculate the threshold between the standard samples and other samples using corresponding algorithm to achieve automatic sorting. The authors verified the high feasibility for automatic pearl sorting using 3D scanning and colour measurement technology based on experiments. Furthermore, the integration of the two technologies has great potential for pearl companies to implement mechanical sorting, realize automatic production and reduce production costs in the future.
-
珍珠的生长周期长,市场需求量较大[1-2],珍珠的价值极大程度由其质量决定。因而如何快速准确地对珍珠质量进行分选成为珍珠行业亟待解决的问题。目前对珍珠的分选主要分为定性法和定量法,基于当下的产业现状,大多数为人工分选的定性法,即检测人员在一定的分级环境中凭借经验观察或者借助定制的标准模板对珍珠进行接触式测量,以根据珍珠的大小,形状、颜色、光泽度及表面缺陷等特征对其进行分选。肉眼检测法存在主观误差大、效率低、指标无法量化等缺点,而且模板工具的价格昂贵,适用性较差,另外接触性测量易对产生检测磨损[3]。由于珍珠表面破损一般都极其微小,肉眼鉴别的效率极其低下,远远不能满足日益增长的市场需求及匹配珍珠产业的发展速度。
近年,随着先进机械检测技术的迭代及计算机语言的发展,前人利用机器视觉及图像处理技术在珍珠的自动检测上做了系列研究。某些研究者[4-7]针对珍珠分级的五大要素分别设计了不同的图片处理算法,如通过边缘检测获得珍珠图像的轮廓信息,高斯拉普拉斯算子(Laplace of Gaussian)计算珍珠的光洁度等。然而这类被动式自动分选技术主要根据相机拍摄的图像,采用图像匹配方法获取物体的三维形状,因此极度依赖图像的拍摄质量,不仅需要被测物体有丰富的纹理信息,而且需要多维度进行拍摄,但不同角度的拍摄情况易受光线等客观因素影响,另外,对于图像预处理及边界限定方面存在一定困难,距离复原珍珠实物仍有一定距离。
3D扫描技术主要利用结构光或激光扫描物体,获取表面点云数据以得到其三维信息,已被广泛地运用在逆向工程、瑕疵检测、生物医学、工业设计等领域。赵鹏等[7]借助3D扫描技术对木材缺陷进行检测,李新华等[8]利用线结构光对足背三维轮廓进行扫描及重构,获得了较精确的复原效果。因此,笔者提出利用3D扫描技术获得珍珠大小、形状、光洁度等外形数据,对其三维复原,结合分光光度计对珍珠颜色、光泽度进行量化,这对于企业在珍珠分选环节减少人工干预实现高效的自动分选和提高产业链的整体协作效率具有巨大潜力。本文基于三维扫描系统及分光光度计的基本工作原理,对珍珠样品进行扫描及测量,模拟了机械分选的过程。
1. 实验样品、方法及原理
1.1 实验样品
为使实验更加科学、严谨且符合企业的实际分选情况,实验样品选用分选需求较大的淡水养殖珍珠。由于异形珍珠的分选难度较低,不存在人工分选的模糊分类边界,测试样品排除异形珠。因文章篇幅及实验效率,本次实验仅选取了4颗随机抽取的淡水珍珠(图 1)进行分选模拟情况详述,经初步测量,其外形特征及颜色如表 1。
表 1 珍珠样品的外形及颜色特征Table 1. Appearance and colour characteristics of pearl samples样品编号 颜色 光洁度 光泽度 最长直径/mm 最短直径/mm 1 浅粉色 小暇 强 11.9 9.8 2 银紫色 瑕疵 中 12.6 10.2 3 浅黄色 微暇 强 12.8 8.5 4 银白色 重瑕 中 12.2 8.7 注:最长直径,最短直径均以卡尺(mm)进行测定 1.2 实验方法及仪器
实验采用方法包括:三维扫描仪测量、分光光度仪测量以及人工验证。
1.2.1 三维扫描仪测量
本次实验采用PowerScan®非接触式光栅蓝光面扫描三维扫描仪,单幅测量范围360×270 mm2; 摄像头分辨率为1.3 m; 测量点距0.154~0.309 mm; 单幅测量时间0.4 s。其主要部件为点云采集工作组,具体包括工业相机及传感器、数字光栅装置、处理软件及包含软夹具的操作平台等,实验仪器如图 2。该仪器非接触式的扫描方式和高精度(0.008 mm)的特点,使其非常适用于珍珠分选扫描。
1.2.2 分光光度仪测量
采用X-riteVS 3200型号的分光光度仪对珍珠颜色进行测量,该仪器光谱范围为400~700 nm的可见光区,测量孔径为2~12 mm,主要配载Colori Match处理软件进行数据分析。
1.2.3 人工验证
为验证以上仪器对珍珠测量的准确性,比较机械测量与肉眼检测的吻合程度,开展了人工测试。由于受限于实际条件,未能邀请珍珠企业参与分选的一线工作人员进行人工验证,但为最大程度地还原人工分选效果,笔者邀请20名视力正常(无色弱,色盲等视力缺陷)并具备一定珍珠知识,同时接受过分选知识培训的志愿者在标准的分选环境中,对样品依照珍珠国家分级标准GB/T 18781-2008[9]进行人工分选,辅以标准珍珠及卡尺等工具。其中,大小的测量以卡尺量得的最大、最小直径表示,正圆、圆、近圆形淡水珍珠以最小直径表示,其他形状的珍珠以最大尺寸与最小尺寸的乘积表示。形状分选依照国家标准以直径差百分比,如公式(1),形状分为四大类:“圆形类”“椭圆形类”“扁圆形类”及“异形类”,其中前三类中又分别包含“正圆-圆-近圆”“短椭圆-长椭圆”及“高形-低形”这三子类。在光洁度、颜色及光泽度方面依照国标进行肉眼判定。
$$ X = \frac{{{d_{\max }} - {d_{\min }}}}{d} \times 100 $$ (1) 1.3 实验原理
1.3.1 三维重构原理
利用三维测量设备对珍珠样品进行立体扫描,测量时将物件置于操作平台上,随后数字光栅投影装置向被测物体表面投射系列相移光栅图像,并由CCD工业相机采集具备物体表面变形信息的相移光栅图像,通过软件对光栅图像进行相位计算和三维重建等处理,最终得到物体表面完整的三维数据,实现模型重建。
点云数据生成过程:当被扫描物体表面接收到投射的光栅,由于物体轮廓高度变化对光栅的影响,光栅图样发生了变形; 通过收集变形情况,得到被扫描物体表面的高度信息。简明原理如图 3所示,测量时入射光线P投射到参考平面上的A点,放上被测物体后,入射光线照射到被扫描物体的表面B点。当A点移至新的位置C点处,则B点距离平面高度z=(CD× H)/CO,因而可通过高度变化反映表面形状的变化。
点云数据的采集后,数据处理软件基于标记方法对扫描物件与取像传感器间的坐标进行转换,具体过程:影像前处理程序对所接收到的测量图像进行处理后,可获得被扫描物体的平面二维坐标,二维坐标点与取像镜心构成的空间虚拟直线与投射编码图案所在的平面产生的唯一交点,即扫描物体的另一坐标值,于是得到被扫描物体的三维坐标。通过收集另一角度的点云数据,对多角度的数据利用环形编码标定算法进行标准点拼接,再对该两组点云相似度最大的点(点数应大于3)进行变换矩阵,随后进行点云对齐或重复点云删除操作,最终对于已经对齐的点云,进行封装、简化、降噪等步骤,即可获得精准的三维模型[10]。
1.3.2 颜色测量原理
分光光度计是通过将连续范围波长的光照射到样品上, 以得到不同波长相对应的可见光反射率,再通过积分方式来计算颜色三刺激值,并利用处理软件对三刺激值进行色彩三属性的获取。国际照明委员会(CIE)制定的标准色空间CIE L*a*b*(图 4)表征色彩三属性比HIS等其他颜色模型更为简便准确,所以以CIE L*a*b*色彩空间为基准,在相对封闭的测量空间对扫描的珍珠进行颜色量化。其中,L*为亮度值,a*和b*分别表征绿色到红色及蓝色到黄色的色相值,可由分光光度计的配套软件获得。饱和度Chroma(C*)、色调角Hue(H*)及明度值Brightness (B*) 经数据处理软件按相关公式运算得到。另外,运用公式(2)色差公式的简化版计算色品均方差δ,并量化珍珠表面的颜色均匀度。
$$ \delta = \frac{1}{N}\sum\nolimits_{k = 0}^{N - 1} {\sqrt {\left( {\overline {{a^ * }} - a_k^ * } \right) + {{\left( {\overline {{b^ * }} - b_k^ * } \right)}^2}} } $$ (2) 在测量窗口内随机选取N(可根据需求设置)个点测定扫描对象的L*、a*、b*值,每个值重复测量多次,取平均值,公式换算后,软件输出C*、H*、B*及δ,即完成颜色分选的数据量化。
此外,基于CIE L*a*b*空间,可用亮度值L*表征物体的光泽度[11],前人运用CIE L*a*b*标准空间计算光泽度,该研究对珍珠光泽度等级划分有:(1) 当L* ≥74,为极强光泽; (2) 68≤ L* < 74,为强光泽; (3) 当62 ≤L* < 68,为中等光泽; (4) 当L* < 62,为弱光泽,以上等级分别对应珍珠国家标准中的极强、强、中、弱四个光泽等级。经人工检验,该色度分选范围与肉眼分选结果相对吻合,进一步说明利用该色度空间检测珍珠光泽度具有一定的可行性。另外,通过提取CIE(L*, a*, b*) 坐标中亮度值的平均值L*作为珍珠光泽度量化参数,同时运用算法对珍珠表面光泽的均匀程度进行判断。对于珍珠表面的均匀程度,软件采用L*的均方差δ表示[4], 见公式(3)。
$$ \delta = \frac{1}{N}\sqrt {\sum\limits_{k = 0}^{N - 1} {{{\left( {\overline {{L^ * }} - {L^ * }} \right)}^2}} } $$ (3) 2. 实验结果及讨论
4颗样品经扫描及颜色测量获得的数据如图 4,图 5,表 1,为评估系统的准确性,分选人员对试验样品进行肉眼观测其评估结果与仪器测量的吻合程度对比,以进一步判断仪器的可靠性。
2.1 大小及形状测量及分选
经扫描收集,表征物体外形信息的光栅图像转换为空间三维坐标后,即获得物体半径序列,随后根据影像像素与实物距离的比例关系得到珍珠的实际尺寸[12]。4个样品的三维重构图像对实物的还原度较高,能够较好表现不同珍珠的外形特点(图 4)。由于扫描建立了数字化模型,可获得任意珍珠样品的准确三维数据,包括大小、周长及直径等。图 5为扫描识别与外形分选建立联系的原理图,通过对样品进行3个角度的切割,可获得不同切面的最大、最小直径与周长数据(图 5b—图 5d)。
基于扫描数据,在大小分选中,对正圆、圆、近圆形淡水珍珠以最小直径表示,其他形状的珍珠以最大尺寸与最小尺寸的乘积表示。而在形状分选中,已量化的珍珠三维数据可更直观地按照国标范围对不同切面的数据按公式(1)进行直径差百分比运算,以获得对珍珠整体外形的分选。执行国标,具体分选结果如表 2所示。
表 2 珍珠样品大小及形状分选结果Table 2. Sorting outcome of shapes and sizes of pearl samples样品号 大小/mm 直径差/% 形状等级 1 12.437 × 10.594 ≤20.0 短椭圆B1 2 12.316 × 10.389 ≤ 20.0 高形扁圆C1 3 8.825 ≤ 12.0 近圆A3 4 11.750 × 8.682 > 20.0 长椭圆B2 由分选结果可知,经扫描可获得较为准确的珍珠三维数据,并可量化以参照珍珠国家分级标准进行分选。以此为依据比传统人工观测更具科学性、可靠性及可重复性,且文档化的数据信息更便于提取及查询。
2.2 光洁度测量及分选
由于珍珠瑕疵部分与正常部分存在着明显的突变高度差,这种差异将影响投射到珍珠表面的光栅的平滑性。因此通过点云的采集与拼接,作为珍珠表面形貌特征的瑕疵已被记录到3D扫描得到点云数据中,在限定精度范围内,重瑕、瑕疵及小暇等较为明显的瑕疵基本会以各自原来的形态被转化成三维图像记录(图 6),而小疵或微瑕则通常会以表面点云缺失形式呈现。
将扫描得到的点云与企业建立的各等级的标准品的点云数据进行布尔求差,即可求得缺陷区域的数据,获得珍珠瑕疵信息,同时也可判别出光洁度等级。
对比其他利用接触式标准模板的光洁度机械检测,利用非接触式面结构光进行扫描的检测方法避免了检测过程中如划痕等磨损瑕疵的产生。由于3D扫描的高精度特点,其已被广泛运用到文物考古、通讯设备、汽车等表面质量要求较高行业中的表面缺陷检测环节[13-15],因此,3D扫描技术对于珍珠表面的瑕疵检测,即光洁度检测,也同样具有较高的可行性。
2.3 颜色及光泽度的测量级分选
按照CIE L*a*b*标准多次取点测量4个样品的CIE(L*, a*, b*)色彩坐标,结果如图 7。样品1和样品2属于红色系,样品3属于黄色系,样品4属于白色系。经颜色测量获得的量化数值表征不仅能相对客观地识别不同珍珠样品的颜色色相,而且利用运算软件根据公式(1),公式(2),公式(3)运算获取饱和度Chroma(C*)、色调角Hue(H*)及明度值Brightness(B*)等其他颜色指标。
结合企业的实际分选指标,对不同等级的珍珠标准品的颜色、光泽进行测量并数值录入,后续的测试样品数据即可在已建立的数据库中进行阈值判别并分选, 本次试验中模拟分选过程获得的分选结果如表 3所示。
表 3 基于颜色测量的珍珠样品分选结果Table 3. Sorting results based on colour measurement of pearl samples样品编号 体色色系 颜色 光泽 1 红色 浅粉色 强 2 红色 浅紫红色 中 3 黄色 浅黄色 中 4 白色 银白色 弱 2.4 人工分选与仪器检测结果对比
人工分选结果与机械测量在“大小、形状、光洁度、颜色、光泽度”5个指标上对比分选结果,人工分选结果与机械检测的结果吻合程度如图 8。对于人工分选数据以±5%为可接受误差,机械测量结果与人工分选结果总体吻合,各指标的平均匹配程度超过82%。其中,在“大小”分选上人工与机械的测量结果匹配率最高,达到93.18%,主要分选人员使用卡尺测量的直径数据相对准确,而人机不匹配结果的产生主要是由于人工测量难以全角度,在最大及最小直径的确定上存在偏差; “形状”的人机分选结果匹配率为次高,人工判断产生的误差使“形状”比直接依照测量直径决定的“大小”偏差稍大; 而在余下的3个分选指标中,由于缺乏测量工具,主要依靠视觉判断,与仪器测量结果存在较大的偏差。值得注意的是,与色彩直接相关的两项指标“颜色”与“光泽度”,人机的检测的吻合度只有70%,主要归结于不同分选人员对颜色的敏感度不同,导致对色彩的认知与判别差异。其中“光泽度”的匹配率最低,主要是由于该指标的识别在色彩识别的基础上还有光线的影响,尽管在相对统一的客观环境下较大的个体差别依然难以避免; 在光洁度方面,仪器测量同样具有比人工分选更高的可信度,基于三维扫描的光栅测距原理,珍珠表面的瑕疵将表现为与光滑弧面的高度差,因此在仪器的分辨率范围内各级别的瑕疵(表面缺陷)将会以三维点云数据的形式记录下来,成为客观的光洁度评级依据,对此进行阈值判别即可得出统一标准的分选结果。在光泽度检测中,排除了仪器的运作问题后,人工分选与机械检测18.63%不匹配的来源可归因为不同分选人员对微区瑕疵敏感度不同及对总体表面质量评估不全面的影响(多瑕疵前提下)。
由上述结果可知,人工分选存在较大的个体差异,对珍珠的分选结果会产生高达30%的误差,利用三维扫描仪及分光光度计进行上述五项指标的分选可有效降低人工误差,且极大提高分选效率。
2.5 集成装置用于珍珠分选
以上实验分别论证了三维扫描技术与颜色测量技术对于珍珠分选的可行性,笔者大胆假设二者的集成系统是基于珍珠国家分级标准GB/T18781-2008,可对珍珠的大小、形状、颜色、光泽度及光洁度五项外形指标进行数值化检测,另外,搭载机械手及多对象扫描组件可实现多珍珠同时分选,可进一步提升分选效率,为系统的批量操作提供了可能性。
笔者设计了系统分选流程图,如图 9。机械手执行送料指令将待分选珍珠放置于操作平台的载物架后,扫描及颜色测量系统识别物件后利用光栅投影采集珍珠第一角度的点云数据,随后载物架进行角度变换以继续第二角度的点云收集,经点云的对齐及重复删除后,不同角度的表面数据采集完毕,形成珍珠全表面的扫描数据。数据采集完毕后经过不同模块的阈值判别,将五个分选指标的判别结果经控制系统传输到机械手系统,机械手开始执行分选命令,根据系统设置的形状、大小、光洁度、颜色、光泽度的分选阈值将珍珠输送至不同的分选容器中。
3. 结语
本文提出了利用三维扫描仪及分光光度计对珍珠进行机械化分选,并且通过测量实验进行分选模拟,并人工实验验证。该方法不仅能有效对珍珠的表面特征(大小、形状、光洁度、颜色及光泽度)进行精确测量及数字模型重构,而且在相关指标的分选上,其测量准确度比人工测量的高近30%,并且在速度及精度上都有较大的提升,同时具有可视化特点,也进一步论证了以上实时检测设备替代传统分选方式的可行性。
笔者提出了对以上装置实行合理整合的设想,配套必要的机械手附件可实现低成本高效率的大批量分选,同时,数字化分选方式有利于生产数据的储存与管理,对促进珍珠经营企业加强质量管控、提升生产效率具有重要意义,因此具有一定的产业化潜力。
-
表 1 珍珠样品的外形及颜色特征
Table 1 Appearance and colour characteristics of pearl samples
样品编号 颜色 光洁度 光泽度 最长直径/mm 最短直径/mm 1 浅粉色 小暇 强 11.9 9.8 2 银紫色 瑕疵 中 12.6 10.2 3 浅黄色 微暇 强 12.8 8.5 4 银白色 重瑕 中 12.2 8.7 注:最长直径,最短直径均以卡尺(mm)进行测定 表 2 珍珠样品大小及形状分选结果
Table 2 Sorting outcome of shapes and sizes of pearl samples
样品号 大小/mm 直径差/% 形状等级 1 12.437 × 10.594 ≤20.0 短椭圆B1 2 12.316 × 10.389 ≤ 20.0 高形扁圆C1 3 8.825 ≤ 12.0 近圆A3 4 11.750 × 8.682 > 20.0 长椭圆B2 表 3 基于颜色测量的珍珠样品分选结果
Table 3 Sorting results based on colour measurement of pearl samples
样品编号 体色色系 颜色 光泽 1 红色 浅粉色 强 2 红色 浅紫红色 中 3 黄色 浅黄色 中 4 白色 银白色 弱 -
[1] 国家海关总署进/出口统计数据[EB/OL]. [2018-11-01]. http://www.customs.gov.cn/publish/portal0/tab400/. [2] 金涛. 浅论新经济形态下的珍珠行业现状、成因及对策探讨[J]. 宝石和宝石学杂志, 2018, 20(S1): 160-172. https://www.cnki.com.cn/Article/CJFDTOTAL-BSHB2018S1035.htm [3] 刘建群, 李仕勇, 旷辉, 等. 改进的随机Hough变换在检测多圆中的应用[J]. 微计算机信息, 2007, 23(28): 288-290. doi: 10.3969/j.issn.1008-0570.2007.28.119 [4] 桑胜光. 珍珠光泽度及色度测量方法的研究[D]. 天津: 天津大学, 2009. [5] Cao Y L, Zheng H W, Yang J X, et al. Automatic shape grading of pearl using machine vision based measurement[J]. Key Engineering Materials, 2010(437): 389-392.
[6] 夏少杰. 基于单目多视角机器视觉的珍珠分级技术研究[D]. 杭州: 浙江大学, 2015. [7] 赵鹏, 赵匀, 陈广胜. 基于3D扫描技术的木材缺陷定量化分析[J]. 农业工程学报, 2017, 33(7): 171-176. https://www.cnki.com.cn/Article/CJFDTOTAL-NYGU201707022.htm [8] 李新华, 袁振宇, 张涛, 等. 基于线结构光扫描的足背三维轮廓重构[J]. 计算机工程, 2014, 40(2): 246-249. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201402053.htm [9] GB/T 18781-2008珍珠分级[S]. 北京: 中国标准出版社, 2008. [10] 刘李旭, 戴鑫志, 侯振宇, 等. 基于光栅投影法的3D扫描技术研究[J]. 电光与控制, 2017, 24(6): 101-104. https://www.cnki.com.cn/Article/CJFDTOTAL-DGKQ201706028.htm [11] 刘旭. 基于图像的珍珠表面细微破损检测技术[J]. 计算机仿真, 2012, 29(2): 266-268. doi: 10.3969/j.issn.1006-9348.2012.02.063 [12] Han H, Nam Y. Automatic body landmark identification for various body figures[J]. International Journal of Industrial Ergonomics, 2011, 41(6): 592-606. doi: 10.1016/j.ergon.2011.07.002
[13] Nieves-Chinchilla J, Martínez R, Farjas M, et al. Reverse engineering techniques to optimize facility location of satellite ground stations on building roofs[J]. Automation in Construction, 2018, 90(2): 156-165. http://www.sciencedirect.com/science/article/pii/S0926580518301213
[14] Karasik A, Smilansky U. 3D scanning technology as a standard archaeological tool for pottery analysis: Practice and theory[J]. Journal of Archaeological Science, 2008, 35(5): 1 148-1 168. doi: 10.1016/j.jas.2007.08.008
[15] Geng Z, Bidanda B. Review of reverse engineering systems: Current state of the art[J]. Virtual and Physical Prototyping, 2017, 12(2): 161-172. doi: 10.1080/17452759.2017.1302787?src=recsys&