Python：如何創(chuàng)建和可視化點云
1、簡介
點云應(yīng)用無處不在:機器人、自動駕駛汽車、輔助系統(tǒng)、醫(yī)療保健等。點云是一種適合處理現(xiàn)實世界數(shù)據(jù)的3D表示，特別是在需要場景/對象的幾何形狀時，如對象的距離、形狀和大小。
點云是一組點，代表現(xiàn)實世界中的場景或空間中的對象。它是幾何對象和場景的離散表示。換句話說，點云PCD是n個點的集合，其中每個點Pi用其3D坐標(biāo)表示:
注意，還可以添加一些其他特征來描述點云，如RGB顏色、法線等。例如，可以添加RGB顏色來提供顏色信息。
2、點云生成
點云通常使用3D掃描儀(激光掃描儀、飛行時間掃描儀和結(jié)構(gòu)光掃描儀)或計算機輔助設(shè)計(CAD)模型生成。在本教程中，我們將首先創(chuàng)建隨機點云并將其可視化。然后，我們將使用Open3D庫從3D表面采樣點，從3D模型生成它。最后，我們將看到如何從RGB-D數(shù)據(jù)創(chuàng)建它們。
讓我們從導(dǎo)入Python庫開始:
import numpy as np
import matplotlib.pyplot as plt
import open3d as o3d
2.1 隨機點云
最簡單的方法是隨機創(chuàng)建一個點云。注意，我們通常不會創(chuàng)建要處理的隨機點，除非為GAN(生成對抗網(wǎng)絡(luò))創(chuàng)建噪聲。
通常，點云由(n×3)數(shù)組表示，其中n是點的數(shù)量。讓我們用5個隨機點創(chuàng)建一個點云:
number_points = 5
pcd = np.random.rand(number_points, 3) # uniform distribution over [0, 1)
print(pcd)
我們可以直接打印這些點，但效率不高，特別是在大多數(shù)應(yīng)用中，如果點的數(shù)量很大的話。更好的方法是將它們顯示在3D空間中。讓我們用Matplotlib庫來可視化它:
# Create Figure:
fig, ax = plt.subplots(subplot_kw={"projection": "3d"})
ax.scatter3D(pcd[:, 0], pcd[:, 1], pcd[:, 2])
# label the axes
ax.set_xlabel("X")
ax.set_ylabel("Y")
ax.set_zlabel("Z")
ax.set_title("Random Point Cloud")
# display:
plt.show()
隨機點云可視化
2.2 采樣點云
直接處理3D模型需要時間。因此，從它們的三維表面采樣點云是一個潛在的解決方案。讓我們首先從Open3D數(shù)據(jù)集中導(dǎo)入兔子模型:
bunny = o3d.data.BunnyMesh()
mesh = o3d.io.read_triangle_mesh(bunny.path)
或者以如下方式導(dǎo)入：
mesh = o3d.io.read_triangle_mesh("data/bunny.ply")
接下來，顯示 3D 模型以查看其外觀。您可以移動鼠標(biāo)從不同的視點進行查看。
# Visualize:
mesh.compute_vertex_normals() # compute normals for vertices or faces
o3d.visualization.draw_geometries([mesh])
兔子3D模型
要對點云進行采樣，有幾種方法。在此示例中，我們從導(dǎo)入的網(wǎng)格中均勻地采樣 1000 個點并將其可視化：
# Sample 1000 points:
pcd = mesh.sample_points_uniformly(number_of_points=1000)
# visualize:
o3d.visualization.draw_geometries([pcd])
兔子點云
我們可以將創(chuàng)建的點云保存為 .ply 格式，如下所示：
# Save into ply file:
o3d.io.write_point_cloud("output/bunny_pcd.ply", pcd)
2.3 來自 RGB-D 數(shù)據(jù)的點云
RGB-D 數(shù)據(jù)是使用RGB-D傳感器（例如 Microsoft Kinect）收集的，該傳感器同時提供 RGB 圖像和深度圖像。RGB-D傳感器被廣泛應(yīng)用于室內(nèi)導(dǎo)航、避障等領(lǐng)域。由于RGB圖像提供像素顏色，所以深度圖像的每個像素表示其與相機的距離。
Open3D 為 RGB-D 圖像處理提供了一組函數(shù)。要使用 Open3D 函數(shù)從 RGB-D 數(shù)據(jù)創(chuàng)建點云，只需導(dǎo)入兩個圖像，創(chuàng)建一個 RGB-D 圖像對象，最后計算點云如下：
# read the color and the depth image:
color_raw = o3d.io.read_image("../data/rgb.jpg")
depth_raw = o3d.io.read_image("../data/depth.png")
# create an rgbd image object:
rgbd_image = o3d.geometry.RGBDImage.create_from_color_and_depth(
color_raw, depth_raw, convert_rgb_to_intensity=False)
# use the rgbd image to create point cloud:
pcd = o3d.geometry.PointCloud.create_from_rgbd_image(
rgbd_image,
o3d.camera.PinholeCameraIntrinsic(
o3d.camera.PinholeCameraIntrinsicParameters.PrimeSenseDefault))
# visualize:
o3d.visualization.draw_geometries([pcd])
從 RGB-D 圖像生成的彩色點云
3、Open3D和NumPy
有時您需要在Open3D和NumPy之間切換。例如，假設(shè)我們想要將NumPy點云轉(zhuǎn)換為Open3D.PointCloud對象進行可視化，并使用Matplotlib可視化兔子的3D模型。
3.1 從NumPy到Open3D
在本例中，我們使用NumPy.random.rand()函數(shù)創(chuàng)建2000個隨機點，該函數(shù)從[0,1]的均勻分布中創(chuàng)建隨機樣本。然后我們創(chuàng)建一個Open3D.PointCloud對象，并使用Open3D.utility.Vector3dVector()函數(shù)將其Open3D.PointCloud.points特征設(shè)置為隨機點。
# Create numpy pointcloud:
number_points = 2000
pcd_np = np.random.rand(number_points, 3)
# Convert to Open3D.PointCLoud:
pcd_o3d = o3d.geometry.PointCloud() # create point cloud object
pcd_o3d.points = o3d.utility.Vector3dVector(pcd_np) # set pcd_np as the point cloud points
# Visualize:
o3d.visualization.draw_geometries([pcd_o3d])
隨機點云的 Open3D 可視化
3.2 從 Open3D到NumPy
這里，我們首先使用Open3D.io.read_point_cloud()函數(shù)從.ply文件中讀取點云，該函數(shù)返回一個Open3D.PointCloud對象?，F(xiàn)在我們只需要使用NumPy.asarray()函數(shù)將表示點的Open3D.PointCloud.points特征轉(zhuǎn)換為NumPy數(shù)組。最后，我們像上面那樣顯示獲得的數(shù)組。
# Read the bunny point cloud file:
pcd_o3d = o3d.io.read_point_cloud("../data/bunny_pcd.ply")
# Convert the open3d object to numpy:
pcd_np = np.asarray(pcd_o3d.points)
# Display using matplotlib:
fig, ax = plt.subplots(subplot_kw={"projection": "3d"})
ax.scatter3D(pcd_np[:, 0], pcd_np[:, 2], pcd_np[:, 1])
# label the axes
ax.set_xlabel("X")
ax.set_ylabel("Y")
ax.set_zlabel("Z")
ax.set_title("Bunny Point Cloud")
# display:
plt.show()
使用 Matplotlib 顯示的兔子點云
4、最后
在本教程中，我們學(xué)習(xí)了如何創(chuàng)建和可視化點云。在接下來的教程中，我們將學(xué)習(xí)如何處理它們。
