Correction of projector’s nonlinearities in the vision based system for positioning of the workpieces on the CNC machines

eng Article in English DOI:

Marek Grudziński , send Krzysztof Okarma West Pomeranian University of Technology, Szczecin

Download Article

Abstract

In several last years a huge expansion of the optical measuring systems in industry and manufacturing is observed. The most advanced systems are the 3D geometry scanning systems based on images captured by cameras. A special group of them use structural light patterns projected onto the scanning surface and observed by the cameras. An appropriate coding and analysis of images allows obtaining any information about shape and size of the scanned object in relatively short period of time. Nevertheless, the 3D scanning accuracy strongly depends on complicated calibration process of the whole system, including a precise calculation of intrinsic and extrinsic parameters and correction of lens distortions both for camera and projector. The structural patterns emitted from the projector include gradients in a specified scale. Thus, using proper algorithms each pixel can be indexed and the precise depth map can be obtained. Using sinusoidal fringes illuminating the scanning surface, performing the linearisation of projector’s response is necessary in order to minimize the distortions of the sinusoidal waves. The correction method turns out to be difficult since the process depends on surface fracture, colour, and reflectivity. In this paper three methods for correction of the projector’s nonlinearity will be presented. The first one assumes a model of the nonlinear characteristics created from the gradient projected on a flat surface. The second approach is based on a series of captured images of scanned object illuminated by linearly increasing light allowing creating an individual correction curve for each pixel. The last method assumes an ideal inverted gamma correction model modified by dynamically changing coefficients calculated for each pixel. The efficiency and limitations of each method depending on the configuration of the system are also discussed in the paper as well as some experimental results obtained in the experimental vision based system for positioning the workpieces on the CNC machines.

Keywords

3D scanning, calibration, CNC machine, vision system

Korekcja nieliniowości projektorów w wizyjnym systemie pozycjonowania przedmiotów obrabianych na obrabiarkach sterowanych numerycznie

Streszczenie

W ciągu ostatnich kilku lat obserwuje się znaczną ekspansję optycznych systemów pomiarowych w zastosowaniach przemysłowych. Jednymi z najbardziej zaawansowanych są systemy skanowania trójwymiarowego oparte na analizie obrazów zarejestrowanych przez kamery. Szczególną grupę tych metod stanowią algorytmy wykorzystujące oświetlenie strukturalne skanowanej powierzchni znajdującej się w polu widzenia kamery. Stosując odpowiednie kodowanie i algorytmy analizy obrazów możliwe jest pozyskanie informacji dotyczących kształtu i wymiarów skanowanych obiektów w stosunkowo krótkim czasie. Jednakże dokładność skanowania jest silnie uzależniona od złożonego procesu kalibracji całego systemu, włącznie z dokładną kalibracją parametrów wewnętrznych i zewnętrznych oraz korekcją zniekształceń układów optycznych zarówno kamer, jak również projektorów. Wzorce strukturalne wyświetlane przez projektory mają charakter gradientowy dla ustalonej skali, co pozwala na odpowiednie indeksowanie każdego piksela i precyzyjne odtworzenie map głębokości. Zakładając wykorzystanie wzorców sinusoidalnych rzutowanych na skanowaną powierzchnię, konieczna jest linearyzacja odpowiedzi projektorów w celu minimalizacji zniekształceń kształtu sinusoidy. Dobór metody korekcji nie jest jednak oczywisty ze względu na zależność od gładkości, koloru czy też połyskliwości powierzchni. W artykule zaprezentowano trzy metody korekcji nieliniowości charakterystyk projektorów. Pierwsza z nich wykorzystuje model charakterystyki projektora utworzony na podstawie obserwacji światła gradientowego na płaskiej powierzchni. Druga metoda jest oparta na serii zdjęć pozyskanych dla liniowo narastającego natężenia światła, co pozwala na stworzenie niezależnej krzywej korekcji dla każdego piksela. Ostatnia z metod wykorzystuje model idealnej odwrotnej charakterystyki gamma modyfikowany przez zmienne współczynniki wyznaczane w sposób dynamiczny dla każdego piksela. W pracy porównano również efektywność i ograniczenia każdej z metod w zależności od konfiguracji systemu, jak również przedstawiono wyniki eksperymentalne uzyskane z wykorzystaniem prototypowego wizyjnego systemu pozycjonowania przedmiotów obrabianych na obrabiarkach CNC.

Słowa kluczowe

cnc, kalibracja, obrabiarka sterowana numerycznie, skanowanie 3D, system wizyjny

Bibliography

  1. Komagata H., Ishii I., Takahashi A., Wakatsuki D., Imai H., A Geometric Method for Calibration of Internal Camera of Fish-Eye Lenses, “Systems and Computers in Japan”, Vol. 38, No. 12, 2007, 55-65.
  2. Bouguet J.-Y., Camera Calibration Toolbox for MATLAB, 2005, [www.vision.caltech.edu/bouguetj/calib_doc].
  3. Zhang S., High-resolution, real-time 3-D shape measurement, PhD thesis, Stony Brook University, 2005.
  4. Funk N., Yang Y.-H., Using a Raster Display for Photometric Stereo, Proc. 4th Canadian Conf. Computer and Robot Vision, Montreal, 2007, 201-207.
  5. Mazurek P., Mobile System for the Estimation of Internal Parameters of Distributed Cameras, “Pomiary Automatyka Kontrola”, Vol. 56, No. 11, 2010, 1356-1358.
  6. Zhan Z., Camera Calibration Based on Liquid Crystal Display (LCD), The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XXXVII, Part B3b, 2008.
  7. Okarma K., Grudziński M., Poprawa dokładności detekcji krawędzi dla systemów skanowania 3D opartych na projekcji wzorców prążkowych, „Pomiary Automatyka Kontrola”, Vol. 57, No. 7, 2011, 721-725 (in Polish).
  8. Zhang Z., Guo T., Absolute Phase Measurement Based on Combining Binary Color-Code and Phase-Shift Light Projection, Proc. Int. Conf. Advanced Phase Measurement Methods in Optics and Imaging (AIP), Monte Verita, Ascona, Italy, Vol. 1236, 2010, 427-432.
  9. Domek S., Dworak P., Grudziński M., Okarma K., Pajor M., Układ wizyjny do skanowania geometrii i pozycjonowania przedmiotu obrabianego na obrabiarce CNC, „Modelowanie Inżynierskie”, Vol. 10, No. 41, 2011, 39-48 (in Polish).