home *** CD-ROM | disk | FTP | other *** search
/ vis-ftp.cs.umass.edu / vis-ftp.cs.umass.edu.tar / vis-ftp.cs.umass.edu / pub / Motion / uil_stereo_motion / report < prev    next >
Text File  |  1990-11-05  |  12KB  |  458 lines
  1. ..........................................................................
  2. .                                                                        .
  3. .      This file can be printed out by the command "eqn | ptroff -me"     .
  4. ..........................................................................
  5.  
  6. .ll 6.5i
  7. .po 1.0i
  8. .nr pp 12
  9. .nr sp 12
  10. .ps 12
  11. .sz 12 
  12. .hy 14
  13. .fo ''%''
  14. .pn 1
  15. .af % 1
  16. .
  17. .EQ
  18. delim $$
  19. define abs '| back 40 |'
  20. define =del 'down 30 = back 60 {up 25 DELTA}'
  21. define @ 'fat bold'
  22. .gsize 11
  23. .EN
  24. .nf
  25. .
  26. $" "$
  27. .sp |2.5i
  28. .ce 2
  29. \fBA SEQUENCE OF STEREO IMAGE DATA OF A MOVING VEHICLE\fP
  30. .sp 0.2i
  31. \fBIN AN OUTDOOR SCENE\fP
  32. .sp 0.5i
  33. .ce
  34. Yuncai Liu and Thomas S. Huang
  35. .sp 4.0i
  36. .ce 5
  37. Beckman Institute
  38. University of Illinois at Urbana-Champaign
  39. 405 North Mathews Street
  40. Urbana, IL 61801, U.S.A.
  41. .sp 0.3i 
  42. August 10, 1990
  43. .
  44. .
  45. .
  46. .bp
  47. .ce 2
  48. \fBA SEQUENCE OF STEREO IMAGE DATA FROM A MOVING VEHICLE\fP
  49. .sp 0.2i
  50. \fBIN AN OUTDOOR SCENE\fP
  51. .sp 2
  52. .ce 
  53. Yuncai Liu and Thomas S. Huang
  54. .sp 2
  55. .ce 4
  56. Beckman Institute
  57. University of Illinois at Urbana-Champaign
  58. 405 North Mathews Street
  59. Urbana, IL 61801, U.S.A.
  60. .sp 3
  61. .ls 2
  62. .fi
  63. .br
  64. \fBI. Introduction\fP
  65. .pp
  66. A digital stereo image sequence data base has been created under the joint
  67. effort of the University of Illinois at Urbana-Champaign, Purdue University 
  68. (Photogrammetry Group), and the U. S. Army Engineer Topographic Laboratory 
  69. (AI Center). Part of this data base, specifically three pairs of stereo
  70. images taken at consecutive time instants (time instants 13, 14, and 15 
  71. from a long sequence) is now made available to the research community. More
  72. will be available later. We hope that different algorithms will be 
  73. applied to these images and the results compared. 
  74. .pp
  75. Two stationary cameras were used to take images of a moving vehicle in 
  76. an outdoor scene. The problem is to determine the 3D motion of the vehicle.
  77. The image date can be used to test motion estimation algorithms based on 
  78. either stereo or monocular image sequences. In the latter case, only one 
  79. side of the sequence (from the left or the right camera only) is to be used. 
  80. Approximate ground truth for the vehicle motion has been established; however, 
  81. we choose not to reveal it to the public at large at this time. 
  82. .pp
  83. Each of the six images has a size of 750 $times$ 750 pixels with 8 bits/pixel. 
  84. The image data are available on magnetic tape, and can be extracted by the 
  85. command \fItar xvf/dev/rst8 stereo\fP. In this report, we give formulas for 
  86. coverting the image point coordinates from pixels to the actual metric 
  87. distances on the image plane in the camera; and formulas for correcting 
  88. geometric distortions due to the camera lens. 
  89. .sp 2
  90. .br 
  91. \fBII. Camera Setup\fP
  92. .pp
  93. The original stereo images were taken by two fixed focal length 
  94. A.M.I./Bronica SQ-AM metric 70 mm camera with 40 mm nominal focal length. 
  95. The cameras are parallelly mounted on the ground with a base line about 
  96. three meters. The optical axes of the cameras are in the 
  97. \fBnegative z-direction\fP of the ground coordinate system, 
  98. as shown in Figure 1.
  99. .(z
  100. .sp 4.0i
  101. .ce
  102. Figure 1. Relationship between the ground coordinate system and the cameras
  103. .)z
  104. If $(X',~Y')$ are the image coordinates of a point in the image plane of 
  105. a camera after geometric distortion correction, and $(x,~y,~z)$ are the 
  106. coordinates of the point in the ground coordinate system, the two are related 
  107. by
  108. .EQ
  109. left [~
  110. pile {
  111. {X' ~-~ X sub p} above {Y' ~-~ Y sub p} above {-~f} }
  112. ~ right ] 
  113. ~=~ s @ M ~ 
  114. left [~
  115. pile {
  116. {x ~-~ x sub c} above {y ~-~ y sub c} above {z ~-~ z sub c} }
  117. ~ right ] 
  118. .EN
  119. .sp 0.5
  120. .br
  121. where $(X sub p , ~Y sub p )$ is the principal point of the camera and $f$
  122. is the focal length, whose values for the left and the right cameras can be 
  123. found in Appendices A and B; $s$ is a scale factor; $@ M$ is a rotation 
  124. matrix with 
  125. .EQ 
  126. @ M ~=~ 
  127. left [ 
  128. pile {{roman "cos"~ kappa} above {- roman "sin"~ kappa} above 0}~~~ 
  129. pile {{roman "sin"~ kappa} above {roman "cos"~ kappa} above 0}~~~   
  130. pile {0 above 0 above 1}                              right ]~ 
  131. left [ 
  132. pile {{roman "cos"~ phi} above 0 above {roman "sin"~ phi}}~~~ 
  133. pile {0 above 1 above 0}~~~ 
  134. pile {{- roman "sin"~ phi} above 0 above {roman "cos"~ phi}}      right ]~ 
  135. left [ ~ 
  136. pile {1 above 0 above 0}~~~ 
  137. pile {0 above {roman "cos"~ omega} above {- roman "sin"~ omega}}~~~ 
  138. pile {0 above {roman "sin"~ omega} above {roman "cos"~ omega}}    right ] 
  139. .EN 
  140. .sp 0.5
  141. .br
  142. where $omega$, $phi$ and $kappa$ are rotation angles; $(x sub c , ~y sub c ,~
  143. z sub c )$ is the camera center position in the ground coordinate system. The
  144. values of $(x sub c , ~y sub c , ~z sub c )$ and $omega$, $phi$ and $kappa$ 
  145. are given in Appendix C.
  146. .sp 2
  147. \fBIII. Image Data Reduction\fP
  148. .pp
  149. Each image was digitized on a Perkin-Elmer scanning microdensitometer to 
  150. 4096 $times$ 4096 pixels with 16 bits/pixel. The images are first subsampled 
  151. by a factor of 2, resulting in images of size 2048 $times$ 2048 pixels. Then, 
  152. subimages are cut out by a window of size 750 $times$ 750 pixels. See Figure 2. 
  153. .(z
  154. .sp 4.0i
  155. .ce
  156. Figure 2. A subimage is cut out by a 750 $times$ 750 window
  157. .sp 
  158. .)z
  159. The coordinates of the upper-left corner of the window are (675, 415) in the 
  160. 2048 $times$ 2048 images. If $(i, ~j)$ are the row and column numbers of a 
  161. point counting from top and left, respectively, in a 750 $times$ 750 image, 
  162. the coordinates of the point in the image plane of the camera should be 
  163. .EQ 
  164. X  ~=~ [2~( Y sub cut ~+~ j ) ~-~ Y sub 0 ]~h
  165. .EN
  166. .
  167. .EQ 
  168. Y  ~=~ [ X sub 0 ~-~ 2~( X sub cut ~+~ i )]~w
  169. .EN
  170. .sp 0.5
  171. .br
  172. where $(X sub cut , ~ Y sub cut )$ are the coordinates of the upper-left
  173. corner of the 750 $times$ 750 window with the values (675, 415) in the 
  174. 2048 $times$ 2048 images; $(X sub 0 ,~ Y sub 0 )$ are the coordinates of 
  175. the image center of the corresponding 4096 $times$ 4096 images, whose value 
  176. will be given in Appendix D for each image; $h$ and $w$ are the height and 
  177. the width of a pixel in the original 4096 $times$ 4096 images: $h$ = $w$ = 
  178. $13 times 10 sup -3$ mm. The intensity range of the images is reduced to 
  179. 8 bits.
  180. .sp 2
  181. .br
  182. \fBIV. Image Data Correction\fP
  183. .pp
  184. The original images have inherent geometrical distortions. Two major 
  185. ones are the lens distortion due to the lens of a camera and the film 
  186. distortion due to the instability of film bases. Of the two 
  187. distortions, lens distortion has a dominant effect. 
  188. The film distortion is negligible.  Therefore, only the
  189. lens distortion is considered for geometric distortion correction. The 
  190. formulas used for lens distortion correction are 
  191. .EQ
  192. X' ~=~ X ~+~ (X - X sub p )~(k sub 1 r sup 2 ~+~ k sub 2 r sup 4
  193. ~+~ k sub 3 r sup 6 ) 
  194. ~+~ 2 p sub 1 ~[ r sup 2 ~+~ 2 (X ~-~ X sub p ) sup 2 ]
  195. ~+~ p sub 2 (X ~-~ X sub p ) ( Y - Y sub p )
  196. .EN
  197. .
  198. .EQ
  199. Y' ~=~ Y ~+~ (Y - Y sub p )~(k sub 1 r sup 2 ~+~ k sub 2 r sup 4
  200. ~+~ k sub 3 r sup 6 ) 
  201. ~+~ 2 p sub 1 (X ~-~ X sub p ) ( Y - Y sub p )
  202. ~+~ p sub 2 ~[ r sup 2 ~+~ 2 (Y ~-~ Y sub p ) sup 2 ]
  203. .EN
  204. .sp 0.5
  205. where
  206. .ip
  207. $(X',~Y')$ are the corrected image coordinates
  208. .ip
  209. $(X,~Y)$ are the image coordinates before correction. 
  210. .ip
  211. $(X sub p ,~ Y sub p )$ are the coordinates of the calibrated principal
  212. point of the lens.
  213. .ip
  214. $r ~=~ sqrt {(X ~-~ X sub p ) sup 2 ~+~ (Y ~-~ Y sub p ) sup 2 }$, 
  215. the distance from point $(X,Y)$ to the principal point.
  216. .ip
  217. $k sub 1$, $k sub 2$, $k sub 3$ are the radial distortion coefficients 
  218. of the lens.
  219. .ip
  220. $p sub 1$, $p sub 2$ are the decentering distortion coefficients of the 
  221. lens.
  222. .lp
  223. .br
  224. All the calibration parameters of the lenses are given in Appendices A and B.
  225. .sp 2
  226. .br 
  227. \fBAcknowledgement\fP
  228. .sp 0.5
  229. .pp
  230. The presons responsible for the creation of the image sequence data base are: 
  231. .br
  232. University of Illinois: T. S. Huang, S. D. Blosteine, Y. C. Liu, M. K. Leung. 
  233. .br
  234. U. S. Army Engineer Topographic Laboratory: M. McDonald, W. Seemuller, A. 
  235. Werkheiser. 
  236. .br 
  237. Purdue University: E. M. Mikhail, F. C. Paderes.
  238. .pp
  239. At University of Illinois, the work has been supported by National Science
  240. Foundation Grant IRI-89-08255 and Grant IRI-89-02728, and the State of Illinois
  241. Department of Commerce and Community Affairs Grant SCCA 90-82140.
  242. .
  243. .
  244. .
  245. .bp
  246. .
  247. .ce 2
  248. \fBAPPENDIX A\fP
  249. \fBCalibration Report for Left Camera\fP
  250. .sp
  251. .2c
  252. .br
  253. Camera Type: A.M.I./Bronica SQ-AM
  254. .br
  255. Lens Type: Zenzanon-S
  256. .bc
  257. .br
  258. Nom. focal length: 40 mm
  259. .br
  260. Test focal setting: infinity
  261. .1c
  262. .sp 2
  263. .br
  264. 1) Principal Distance:$~~~~~~~~~~$  f = 41.357 mm  $+-$ 0.007 mm
  265. .br
  266. 2)
  267. Calibrated Principal Point:
  268. .2c
  269. .br
  270. .ce
  271. $X sub p$ =  0.035 mm  $~~~~+-$0.005 mm
  272. .
  273. .br
  274. .ce
  275. $Y sub p$ = - 0.019 mm  $~~~~+-$0.006 mm
  276. .1c
  277. .sp
  278. .br
  279. 3) Calibrated Lens Distortion Parameters:
  280. .
  281. .ip
  282. $k sub 1 ~=~ ~~5.32800E-05 ~~~~+- 4.10E-07$
  283. .ip
  284. $k sub 2 ~=~ - 4.12600E-08 ~~~~+- 5.30E-10$
  285. .ip
  286. $k sub 3 ~=~ ~~8.58900E-12  ~~~~+- 1.90E-13$
  287. .ip
  288. $p sub 1 ~=~ - 4.16400E-06  ~~~~+- 1.20E-06$
  289. .ip
  290. $p sub 2 ~=~ - 3.87400E-06  ~~~~+- 1.20E-06$
  291. .
  292. .
  293. .
  294. .bp
  295. .
  296. .ce 2
  297. \fBAPPENDIX B\fP
  298. \fBCalibration Report for Right Camera\fP
  299. .sp
  300. .2c
  301. .br
  302. Camera Type: A.M.I./Bronica SQ-AM
  303. .br
  304. Lens Type: Zenzanon-S
  305. .bc
  306. .br
  307. Nom. focal length: 40 mm
  308. .br
  309. Test focal setting: infinity
  310. .1c
  311. .sp 2
  312. .br
  313. 1) Principal Distance:$~~~~~~~~~~$  f = 41.337 mm  $+-$ 0.007 mm
  314. .br
  315. 2)
  316. Calibrated Principal Point:
  317. .2c
  318. .br
  319. .ce
  320. $X sub p$ = 0.020 mm  $~~~~+-$0.003 mm
  321. .
  322. .br
  323. .ce
  324. $Y sub p$ = 0.037 mm  $~~~~+-$0.005 mm
  325. .1c
  326. .sp
  327. .br
  328. 3) Calibrated Lens Distortion Parameters: 
  329. .
  330. .ip
  331. $k sub 1 ~=~ ~~4.99579E-05 ~~~~+- 5.17E-07$
  332. .ip
  333. $k sub 2 ~=~ - 3.62418E-08 ~~~~+- 8.74E-10$
  334. .ip
  335. $k sub 3 ~=~ ~~5.41550E-12  ~~~~+- 4.85E-13$
  336. .ip
  337. $p sub 1 ~=~ - 2.29110E-06  ~~~~+- 5.38E-07$
  338. .ip
  339. $p sub 2 ~=~ - 7.36123E-06  ~~~~+- 6.02E-07$
  340. .
  341. .
  342. .
  343. .bp
  344. .
  345. .ce 3
  346. \fBAPPENDIX C\fP
  347. .ls 1
  348. \fBCAMERA POSITIONS AND ORIENTATIONS\fP
  349. \fBMEASURED IN THE GROUND COORDINATE SYSTEM\fP
  350. .ls 2
  351. .sp 2
  352. .br 
  353. 1. Left Camera:
  354. .sp 0.5
  355. .br
  356. Image frame 13:
  357. .br
  358. $(x sub c ,~ y sub c , ~ z sub c )$ = (35413.20, 1985.56, 68171.65)
  359. .br
  360. $( omega , ~ phi , ~ kappa )$ =
  361. $(-~ 0 sup 0$  21 ' 54.703", 
  362. $9 sup 0$  3'  23.145", 
  363. $-~1 sup 0$ 1' 27.530")
  364. .sp 0.5
  365. .br
  366. Image frame 14:
  367. .br
  368. $(x sub c ,~ y sub c , ~ z sub c )$ = (35413.94, 1989.10, 68175.55)
  369. .br
  370. $( omega , ~ phi , ~ kappa )$ = 
  371. $(- ~0 sup 0$  22 ' 13.866", 
  372. $9 sup 0$  3' 32.466", 
  373. $- ~1 sup 0$  1' 19.863")
  374. .sp 0.5
  375. .br
  376. Image frame 15:
  377. .br
  378. $(x sub c ,~ y sub c , ~ z sub c )$ = (35411.88, 1986.32, 68168.27)
  379. .br
  380. $( omega , ~ phi , ~ kappa )$ =
  381. $(-~ 0 sup 0$  21 ' 59.404", 
  382. $9 sup 0$  3' 27.535", 
  383. $-~ 1 sup 0$  1' 36.469")
  384. .
  385. .sp
  386. .br
  387. 2. Right Camera:
  388. .sp 0.5
  389. .br
  390. Image frame 13:
  391. .br
  392. $(x sub c ,~ y sub c , ~ z sub c )$ = (38418.24, 1979.32, 67881.57)
  393. .br
  394. $( omega , ~ phi , ~ kappa )$ =
  395. $(-~ 0 sup 0$  43 ' 58.416", 
  396. $9 sup 0$ 43' 52.854", 
  397. $- ~ 1 sup 0$ 7' 2.598")
  398. .sp 0.5
  399. .br
  400. Image frame 14:
  401. .br
  402. $(x sub c ,~ y sub c , ~ z sub c )$ = (38417.79, 1977.91, 67879.94)
  403. .br
  404. $( omega , ~ phi , ~ kappa )$ =
  405. $(-~ 0 sup 0$  44 ' 2.496", 
  406. $9 sup 0$  43' 54.974", 
  407. $-~ 1 sup 0$ 7' 16.905")
  408. .sp 0.5
  409. .bp
  410. .br
  411. Image frame 15:
  412. .br
  413. $(x sub c ,~ y sub c , ~ z sub c )$ = (38418.54, 1977.87, 67879.70)
  414. .br
  415. $( omega , ~ phi , ~ kappa )$ =
  416. $(-~ 0 sup 0$ 43 ' 48.873", 
  417. $9 sup 0$ 43' 0.437", 
  418. $-~ 1 sup 0$ 7' 38.582")
  419. .
  420. .
  421. .
  422. .bp
  423. .
  424. .ce 4
  425. \fBAPPENDIX D\fP
  426. .ls 1
  427. \fBPARAMETERS FOR THE IMAGE COORDINATE TRANSFORMATION\fP
  428. \fBFROM THE DISCRETE SYSTEM\fP
  429. \fBTO THE SYSTEM IN THE IMAGE PLANE OF A CAMERA\fP
  430. .sp 2
  431. .nf
  432. .ls 2
  433. .sp
  434. .EQ 
  435. X  ~=~ [2~( Y sub cut ~+~ j ) ~-~ Y sub 0 ]~h
  436. .EN
  437. .
  438. .EQ 
  439. Y  ~=~ [ X sub 0 ~-~ 2~( X sub cut ~+~ i )]~w
  440. .EN
  441. .sp 0.5
  442. where
  443. $(X sub cut ,~ Y sub cut )$ = (675, 415)
  444. $h ~=~ 13 times 10 sup -3$ mm,       $h ~=~ 13 times 10 sup -3$ mm 
  445. .sp 
  446. $(X sub 0 ,~ Y sub 0)$ are different for different images.
  447. .sp 
  448. 1. Left Camera:
  449. Image frame 13: $(X sub 0 , ~Y sub 0 )$ = (2075, 2055)
  450. Image frame 14: $(X sub 0 , ~Y sub 0 )$ = (2081, 2064)
  451. Image frame 15: $(X sub 0 , ~Y sub 0 )$ = (2061, 2068)
  452. .sp 
  453. 2. Right Camera:
  454. Image frame 13: $(X sub 0 , ~Y sub 0 )$ = (2071, 2055)
  455. Image frame 14: $(X sub 0 , ~Y sub 0 )$ = (2082, 2052)
  456. Image frame 15: $(X sub 0 , ~Y sub 0 )$ = (2070, 2057)
  457. .
  458.