最近除了工作以外，業(yè)余在參加Paddle的AI比賽，在用Paddle訓練的過程中遇到了一些問題，并找到了解決方法，跟大家分享一下：

PaddlePaddle的Anaconda的兼容問題

　　之前我是在服務器上安裝的PaddlePaddle的gpu版本，我想把BROAD數(shù)據(jù)拷貝到服務器上面，結果發(fā)現(xiàn)我們服務器的22端口沒開，不能用scp傳上去，非常郁悶，只能在本地訓練。本機mac的顯卡是A卡，所以只能裝cpu版本的，安裝完以后，我發(fā)現(xiàn)運行一下程序的時候報錯了：

1 import paddle.v2 as paddle
2 paddle.init(use_gpu=False,trainer_count=1)

 　　報錯：

1 Fatal Python error: PyThreadState_Get: no current thread
2 Abort trap: 6

　　這讓我非常郁悶，因為之前我直接在服務器上裝沒有問題，但是我的數(shù)據(jù)不能傳上去，所以只能在本機裝一個，直接pip install paddlepaddle，初始化報錯。后來我發(fā)現(xiàn)我本機裝了anaconda，用anaconda的python運行paddle會有一些小問題，不過可以使用otool 和 install_name_tool對_swig_paddle.so進行修改就可以：

　　1.運行otool，可以看到pip安裝之后的_swig_paddle.so依賴/usr/local/opt/python/Frameworks/Python.framework/Versions/2.7/Python，但實際系統(tǒng)中不存在該路徑

1 otool -L /anaconda/lib/python2.7/site-packages/py_paddle/_swig_paddle.so
2 /anaconda/lib/python2.7/site-packages/py_paddle/_swig_paddle.so:
3 /System/Library/Frameworks/CoreFoundation.framework/Versions/A/CoreFoundation (compatibility version 150.0.0, current version 1445.12.0)
4 /System/Library/Frameworks/Security.framework/Versions/A/Security (compatibility version 1.0.0, current version 58286.20.16)
5 /usr/local/opt/python/Frameworks/Python.framework/Versions/2.7/Python (compatibility version 2.7.0, current version 2.7.0)
6 /usr/lib/libc++.1.dylib (compatibility version 1.0.0, current version 400.9.0)
7 /usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1252.0.0)

　　2.利用install_name_tool來替換依賴

1 install_name_tool -change /usr/local/opt/python/Frameworks/Python.framework/Versions/2.7/Python ~/anaconda/lib/libpython2.7.dylib ~/anaconda/lib/python2.7/site-packages/py_paddle/_swig_paddle.so

　　3.替換成功后，可以看到第五條已經(jīng)成功的換成anaconda下的路徑了

1 otool -L /anaconda/lib/python2.7/site-packages/py_paddle/_swig_paddle.so
2 /anaconda/lib/python2.7/site-packages/py_paddle/_swig_paddle.so:
3 /System/Library/Frameworks/CoreFoundation.framework/Versions/A/CoreFoundation (compatibility version 150.0.0, current version 1445.12.0)
4 /System/Library/Frameworks/Security.framework/Versions/A/Security (compatibility version 1.0.0, current version 58286.20.16)
5 /anaconda/lib/libpython2.7.dylib (compatibility version 2.7.0, current version 2.7.0)
6 /usr/lib/libc++.1.dylib (compatibility version 1.0.0, current version 400.9.0)
7 /usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1252.0.0)

　　現(xiàn)在再運行paddle.init就不會有問題了

不過要注意一點的是：在第二步中，anaconda的路徑要寫絕對路徑。不能直接進去到anacona的上層目錄后直接寫/anaconda/lib...，如果這樣做，那么你換一個路徑再執(zhí)行paddle.init還是會有問題，因為找不到你的anaconda的路徑。

PaddlePaddle數(shù)據(jù)類型與數(shù)據(jù)讀取

　　我在這篇文章“【深度學習系列】PaddlePaddle之數(shù)據(jù)預處理”中寫過PaddlePaddle的基本數(shù)據(jù)類型與如何用自己的數(shù)據(jù)集進行訓練，但是還有很多同學給我發(fā)郵件問我這方面的問題，說在處理自己數(shù)據(jù)集的時候遇到了很多問題。下面我總結一下幾個被問到的問題：

　　1.不明白什么時候用sequence數(shù)據(jù)

　　我們知道paddle有四種數(shù)據(jù)類型：dense_vector、sparse_binary_vector、sparse_float_vector和integer，但是還有三種序列格式，對于dense_vector的話，它的序列格式是dense_vector_sequence，但是什么時候用dense_vector_sequence呢？

　　如果你的數(shù)據(jù)是x = [1.0,2.0,3.0,4.0]這樣的，那么就應該用dense_vector，維度即為輸入數(shù)據(jù)的維度（這里我們假設是4），那么應該設置為：

　　x = paddle.layer.data(name='x', type=paddle.data_type.dense_vector(4))

　　如果你的數(shù)據(jù)是x = [ [1.0,2.0], [2.0,3.0], [3.0,4.0]]，那么我們可以看到這個數(shù)據(jù)有三個時間步長，每個時間步的向量維度是2，應該設置為：

　　x = paddle.layer.data(name='x', type=paddle.data_type.dense_vector_sequence(2))

　　同理，interger_value和interger_value_sequence也是同樣的處理方法，只不過向量里的元素由dense_vector中的float換成了int。

　　2.不知道如何創(chuàng)建reader

　　在數(shù)據(jù)預處理那篇文章中舉了兩個例子來說明如何創(chuàng)建自己的數(shù)據(jù)集，包括三種方式：reader、reader_creator和reader_decorator，針對于這個比賽，我們將數(shù)據(jù)解析后，轉(zhuǎn)換成data和label的形式，那么我們應該如何創(chuàng)建reader呢？其實有很多種方式，寫一個最簡單的方式。我們來創(chuàng)建一個reader creator：

1 def reader_creator(data,label):
2     def reader():
3         for i in xrange(len(data)):
4             yield data[i,:],int(label[i])
5     return reader

　　在這里可以看到，使用了yield生成器來生成數(shù)據(jù)，分別生成同一個sample的data和label，返回的是一個reader函數(shù)，方便我們后面train的時候灌入數(shù)據(jù)。

　　當然也有其他的方式可以創(chuàng)建，大家可以自行發(fā)揮。

　　3.不知道怎么用創(chuàng)建好的reader訓練

　　大家可能會覺得很奇怪，為什么我們創(chuàng)建了reader creator后要返回一個reader函數(shù)呢，其實我們是為了方便在訓練的時候調(diào)用，下面創(chuàng)建一個train_reader

train_reader = paddle.batch(paddle.reader.shuffle(
                reader_creator(data,label),buf_size=200),
                batch_size=16)

　　我們上一步創(chuàng)建好的reader返回的數(shù)據(jù)放到paddle.reader.shuffle里進行數(shù)據(jù)混洗，就是把數(shù)據(jù)打散，buf_size表示我一次性把多少條數(shù)據(jù)放進來進行shuffle，可以自行設置，混洗好的數(shù)據(jù)放到paddle.batch里進行，以batch_size的量級批量灌倒模型里去訓練，注意如果使用sgd的話，batch_size不能設置的太大，會崩潰，親測 = =！

　　同理，我們也可以創(chuàng)建val_reader，test_reader。

　　創(chuàng)建完后，就可以放到trainer里訓練了

trainer.train(reader=train_reader,num_passes=20,event_handler=event_handler)

　　還有一些關于模型訓練的參數(shù)設置技巧大家可以多嘗試，如果有很多相同的問題話，我會再總結了發(fā)出來。