[問題] Sequence to Sequench LSTM echo numbers

[tmacfly (幼女狂想曲)]

大家好 本版首po

最近在學習Encoder-Decoder LSTM，看到一個範例是使用這個model去echo一個序列中前
幾個數字

舉例：

Xtrain                  ytrain
[4, 1, 12, 5, 3, 9]     [4, 1, 0, 0, 0, 0]
[3, 8, 4, 1, 0, 10]     [3, 8, 0, 0, 0, 0]
[7, 11, 9, 5, 1, 8]     [7, 11, 0, 0, 0, 0]


之後加上Bidirectional和Attention，效能有比原本的大幅提升，但現在我想把這個問題
做一點修改，想要echo的部分是某個指定連續的兩個數字，但這指定的連續兩個數字在每
一個序列中的位置不一樣

舉例：

假設想要的partial sequence是[16, Z]，Z是任意數字，但就是接在16後面，所以Xtrain
和ytrain可能長這樣

Xtrain                                 ytrain
[4, 1, 12, 5, 3, 9, 16, 7, 0, 11]      [16, 7, 0, 0, 0, 0, 0, 0, 0, 0]
[5, 16, 12, 3, 9, 10, 2, 1, 8, 7]      [16, 12, 0, 0, 0, 0, 0, 0, 0, 0]
[6, 3, 10, 17, 16, 2, 5, 9, 11, 4]     [16, 2, 0, 0, 0, 0, 0, 0, 0, 0]

Xtrain和ytrain會先做one-hot encode，但如果這樣會train不起來

我想說會不會是ytrain的樣子要做修改，但用位置做標記也不合理

把ytrain改成[0, 0, 0, 0, 0, 0, 16, 7, 0, 0]再去做one-hot encode，也train不起來

我目前想的是ytrain的樣子要做修改，然後才fit到model裡，但目前就是卡住了，不知道
該怎麼修改

希望有人能提供任何意見

附上範例連結：
https://machinelearningmastery.com/encoder-decoder-attention-sequence-to-sequence-prediction-keras/

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.9.226.170
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1515045482.A.494.html
→ bibo9901: 世界上有這麼多真實的時序資料 為什麼要做這麼怪的題目
→ bibo9901: 語言模型、語音辨識、甚至MNIST都能用RNN做 做這幹嘛?
→ bibo9901: 就算硬做, 這個教學從建模到實作技巧都....有進步空間
→ Kazimir: 我有點懷疑seq2seq是不是真的能做到你想要的..
→ liang1230: 用pointer network試試 只是你要給的變成頭尾的位置
推 aszx4510: 請教一下dataset大小?
推 wilson85771: 如果每次都是找16的話，就直接用16去做attention