《OpenCV2 计算机视觉编程手册》视频处理二

本文结合上文《OpenCV2 计算机视觉编码手册》视频处理一的基础上，添加视频跟踪类，来对视频中运动对象进行跟踪。

1. 添加特征跟踪类

#ifndef FTRACKER
#define FTRACKER

#include "head.h"
#include "videoprocessor.h"
#include <opencv2/video/tracking.hpp>
#include <opencv2/features2d/features2d.hpp>

class FeatureTracker : public FrameProcessor 
{    
private:
    cv::Mat gray;                        // 当前灰度图像
    cv::Mat gray_prev;                    // 前一个灰度图像
    std::vector<cv::Point2f> points[2]; // 两幅图像跟踪特征 0->1
    std::vector<cv::Point2f> initial;   // 跟踪点的初始化
    std::vector<cv::Point2f> features;  // 检测到的特征
    int max_count;                        // 需要跟踪的最大特征数目
    double qlevel;                      // 特征检测中的质量等级
    double minDist;                     // 两特征点之间的最小距离
    std::vector<uchar> status;          // 跟踪的特征状态
    std::vector<float> err;             // 跟踪错误

public:
    // 构造函数
    FeatureTracker() : max_count(500), qlevel(0.01), minDist(10.) {}
    
    // 处理方法
    void process(cv:: Mat &frame, cv:: Mat &output) 
    {
        cv::cvtColor(frame, gray, CV_BGR2GRAY);  // 转换为灰度图像
        frame.copyTo(output);

        // 1. 如果需要添加新的特征点
        if(addNewPoints())
        {
            detectFeaturePoints();                                            // 检测特征点
            points[0].insert(points[0].end(),features.begin(),features.end());// 添加检测的特征到当前跟踪的特征
            initial.insert(initial.end(),features.begin(),features.end());
        }
        
        // 对应视频序列中的第一幅图像
        if(gray_prev.empty())
           gray.copyTo(gray_prev);
            
        // 2.跟踪特征
        cv::calcOpticalFlowPyrLK(gray_prev, gray, // 两幅连续图像
            points[0],                            // 图1中的输入点坐标
            points[1],                            // 图2中的输出点坐标
            status,                               // 跟踪成功
            err);                                 // 跟踪失败
           
        // 2. 遍历所有跟踪点进行筛选
        int k=0;
        for( int i= 0; i < points[1].size(); i++ ) 
        {
            // 是否需要保留该跟踪点？
            if (acceptTrackedPoint(i)) 
            {
                // 保留该跟踪点到vector
                initial[k]= initial[i];
                points[1][k++] = points[1][i];
            }
        }

        // 去除不成功点
        points[1].resize(k);
        initial.resize(k);

        // 3. 处理接受的跟踪点
        handleTrackedPoints(frame, output);

        // 4. 当前的点和图像变为它之前的点和图像
        std::swap(points[1], points[0]);
        cv::swap(gray_prev, gray);
    }

    // 特征点检测
    void detectFeaturePoints() 
    {    // 检测特征
        cv::goodFeaturesToTrack(gray, // 图像
            features,   // 检测到的特征
            max_count,  // 特征的最大数目
            qlevel,     // 质量等级
            minDist);   // 两个特征之间的最小距离
    }

    // 决定是否添加新点
    bool addNewPoints()
    {
        // 如果点的数量太少
        return points[0].size()<=10;
    }

    // 决定哪些点应该跟踪
    bool acceptTrackedPoint(int i)
    {
        return status[i] &&
            // 如果它移动了
            (abs(points[0][i].x-points[1][i].x)+
            (abs(points[0][i].y-points[1][i].y))>2);
    }

    // 处理当前跟踪点
    void handleTrackedPoints(cv:: Mat &frame, cv:: Mat &output) 
    {
        // 遍历所有跟踪点
        for(int i= 0; i < points[1].size(); i++ ) 
        {
            // 绘制直线和圆
            cv::line(output, 
                initial[i],            // 初始位置
                points[1][i],          // 新位置
                cv::Scalar(255,255,255)// 白色
                );

            cv::circle(output,          // 输出图像
                points[1][i],           // 圆心
                3,                      // 半径
                cv::Scalar(255,255,255),// 白色
                -1                      // 负数表示填充圆圈, 整数表示线条厚度
                );
        }
    }
};

#endif      

2. main函数

#include "featuretracker.h"

int main()
{
  VideoProcessor processor;                           // 创建一个视频处理实例
  FeatureTracker tracker;                             // 创建一个特征跟踪实例
  processor.setInput("../bike.avi");                  // 打开视频文件
  processor.setFrameProcessor(&tracker);              // 设置帧处理器为一个特征跟踪实例tracker
  processor.displayOutput("Tracked Features");        // 声明跟踪特征显示窗口
  processor.setDelay(1000./processor.getFrameRate()); // 设置视频播放帧率为原始帧率
  processor.run();                                    // 开始处理
  cv::waitKey();                                      // 等待按键响应

  return 0;
}