[Subject Prev][Subject Next][Thread Prev][Thread Next][Date Index][Thread Index]

[hts-users:02514] AW: Re: Is this a bug of hts-2.1.1 straight demo?


Hello,

I am still running the demo script so I don't know if it works.

* I am running it with STRAIGHTv40c, festival 2.0, SPTK 3.3, OpenFst-1.1

* According to the STRAIGHT FFT length adaption:
Instead of changing the FFT frame length in the MCEP command from 1024 to 2048, I changed the defaultFrameLength in the STRAIGHTv40c Code ( StraightBodyC03ma.m ) from 80 to 40 [ms]. 80 ms is equivalent to 1280 samples, which is bigger than 1024. That is why the window length is increased to 2048. If I chose window length of 40 ms (640 Samples), a FFT length of 1024 is used. This should do the same as the patch that Shiyin suggested.

* The Warnings/Errors that I encountered so far are

1) Start embedded reestimation (monophone)    
26 x:
No path found in beta pass
     WARNING [-7324]  StepBack: Bad data or over pruning
     in HERest

2) Start tree-based context clustering
1 x:
WARNING [-2638]  TypicalState: No typical state for dur_s2_57 in HHEd

3) Start forced alignment using WFST for no-silent GV
Forced alignment from cmu_us_arctic_slt_a0023.fst using OpenFst...Memory allocation failed

I'll write again as soon as I have solved some of the problems.

Greetings,

Florian


Von: Sébastien Le Maguer <Sebastien.Le_maguer@xxxxxxxx>
An: hts-users@xxxxxxxxxxxxxxx
Gesendet: Donnerstag, den 3. Juni 2010, 20:44:56 Uhr
Betreff: [hts-users:02513] Re: Is this a bug of hts-2.1.1 straight demo?

Hello,

I've runned the demo with the old data extraction process (adapted to
the version of STRAIGHT) and I get the same error. Have you solved it
with your patch ?

Sebastien

Le 02.06.2010 09:26, Sébastien Le Maguer a écrit :
> Hi,
>
> I'm going to run the demo with your patch and I will tell you tomorrow
> if it works.
>
> For the warning, I've runned a test with festival 1.96 and they
> disappeared so it must be this.
>
> Sébastien
>
>
> Le mercredi 02 juin 2010 à 00:26 +0800, 康世胤 a écrit :
>   
>> I think I find why this error happens.
>>
>> you are right.
>> the error is caused by the wrong mgc data in straight demo 2.1.1.
>>
>> and this is due to the WRONG VERSION of straight we use.
>>
>> in the straight demo of 2.1&  2.1.1, the required straight version is
>> "STRAIGHTV40pcode".
>> and it outputs the parameter 'sp' whose vector size is 513.
>>
>> but in the straight demo of 2.1.1beta, the required straight version
>> is "STRAIGHTV40_007c".
>> and the vector size of sp is 1025.
>>
>> so different opt of mcep should be given:
>>
>> $ diff Makefile.in.2.1.1 Makefile.in.2.1.1beta
>> 142c142
>> <  $(MGCEP) -a $(FREQWARP) -m $(MGCORDER) -l 1024 -j 0 -f 0.0 -q 3>
>> mgc/$${base}.mgc; \
>> ---
>>     
>>>  $(MGCEP) -a $(FREQWARP) -m $(MGCORDER) -l 2048 -j 0 -f 0.0 -q 3>
>>>       
>> mgc/$${base}.mgc; \
>>
>>
>> "STRAIGHTV40_007c" has a more strict licence
>> compared to the trial version "STRAIGHTV40pcode".
>> maybe that is why the developers decide to use "STRAIGHTV40pcode".
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 2010/5/31 Sébastien Le Maguer<Sebastien.Le_maguer@xxxxxxxx>
>>          Ok, I don't think it is a compiler's fault because I'm using
>>          HTS 2.1 on
>>          the same computer and it doesn't fail.
>>
>>          I will run a test with the data extracted by the old procedure
>>          and
>>          compare to the new one. I will tell you the result tomorrow
>>          when I will
>>          get them
>>
>>          Sebastien
>>
>>
>>          Le lundi 31 mai 2010 à 21:05 +0800, 康世胤 a écrit :
>>
>>          >  no, I never met warning -2331 in my log
>>          >
>>          >  2010/5/31 Sébastien Le Maguer<Sebastien.Le_maguer@xxxxxxxx>
>>          >          When I'm looking the log files I've found some error
>>          messages
>>          >          in the fullcontext reestimation step which look like
>>          that:
>>          >
>>          >
>>          >          WARNING [-2331]  UpdateModels: ih^ng-dh
>>          >          +eh=r@1_3/A:0_1_2/B:1-0-3@1-1&1-6#1-3$1-4!0-1;0-1|
>>          0/C:1+1
>>          >          +2/D:content_3/E:pps+1@1+3&1+2#0
>>          >          +1/F:content_1/G:10_7/H:6=3@2=1|L-L%/I:0=0/J:16
>>          +10-2[82]
>>          >          copied: only 0 egs
>>          >
>>          >          After it propagates in every embedded reestimation
>>          step. Have
>>          >          you go this ?
>>          >
>>          >          Sebastien
>>          >
>>          >          Le samedi 29 mai 2010 à 10:25 +0200, Sébastien Le
>>          Maguer a
>>          >          écrit :
>>          >
>>          >          >  I'm on Ubuntu and I'm using gcc
>>          >          >
>>          >          >  Le 29.05.2010 01:45, 康世胤 a écrit :
>>          >          >  >  No, i  go back for 2.1 now.
>>          >          >  >  Which compiler do you use? Mine is icc. Maybe it
>>          is the compiler's fault?
>>          >          >  >
>>          >          >  >  2010/5/28, Sébastien Le
>>          Maguer<Sebastien.Le_maguer@xxxxxxxx>:
>>          >          >  >
>>          >          >  >>  I try to debug it. For the moment, i've found
>>          that in the StepBack the
>>          >          >  >>  beta calculus lead to log(0) and so no path is
>>          found. Have you got some
>>          >          >  >>  news ?
>>          >          >  >>
>>          >          >  >>  Sebastien
>>          >          >  >>
>>          >          >  >>  Le jeudi 20 mai 2010 à 16:15 +0800, 康世胤 a
>>          écrit :
>>          >          >  >>
>>          >          >  >>>  yes
>>          >          >  >>>
>>          >          >  >>>
>>          >          >  >>>
>>          >          >  >>>  2010/5/20 Sébastien Le
>>          Maguer<Sebastien.Le_maguer@xxxxxxxx>
>>          >          >  >>>          Hi,
>>          >          >  >>>
>>          >          >  >>>          I've got this error too. When you try
>>          to run HMGenS do you
>>          >          >  >>>          have a
>>          >          >  >>>          segmentation fault?
>>          >          >  >>>
>>          >          >  >>>          Regards,
>>          >          >  >>>          Sebastien
>>          >          >  >>>
>>          >          >  >>>
>>          >          >  >>>          Le mardi 18 mai 2010 à 13:43 +0800,
>>          康世胤 a écrit :
>>          >          >  >>>
>>          >          >  >>>          >  A error occurred when I try to
>>          train the straight demo with
>>          >          >  >>>          the
>>          >          >  >>>          >  default configurations in this
>>          section
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>
>>          >          >  >>>
>>          ===================================================================================
>>          >          >  >>>          >  Start generating speech parameter
>>          sequences (stc) at Mon May
>>          >          >  >>>          17
>>          >          >  >>>          >  17:29:59 CST 2010
>>          >          >  >>>          >
>>          >          >  >>>
>>          >          >  >>>
>>          ===================================================================================
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >  Here is the error messages:
>>          >          >  >>>          >
>>          >          >  >>>          >  ......
>>          >          >  >>>          >  Pruning-On[1500.0 100.0 5000.0]
>>          >          >  >>>          >    Generating Label alice01.lab
>>          >          >  >>>          >    Total number of frames = 3172
>>          >          >  >>>          >    PdfStream[1]: 3172 frames
>>          >          >  >>>          >    PdfStream[2]: 3172 frames
>>          >          >  >>>          >    PdfStream[3]: 3172 frames
>>          >          >  >>>          >    EM-based parameter generation
>>          (Hidden: MIX, STATE)
>>          >          >  >>>          >    WARNING [-7324]  StepBack: Bad
>>          data or over pruning
>>          >          >  >>>          >
>>          in /usr/local/hts-2.1.1/bin/HMGenS
>>          >          >  >>>          >    WARNING [-9999]  ParamGen: failed
>>          to compute output prob
>>          >          >  >>>          >  in /usr/local/hts-2.1.1/bin/HMGenS
>>          >          >  >>>          >    Iteration 1: Average LogP =
>>          -3.152585e+06
>>          >          >  >>>          >  Error
>>          in /usr/local/hts-2.1.1/bin/HMGenS -A -B
>>          >          >  >>>          >
>>          >          >  >>>          -C
>>          >          >
>>          >>>  /home/saser/work/official_demos-2.1.1/HTS-demo_CMU-ARCTIC-SLT_STRAIGHT/configs/syn.cnf
>>          >          >  >>>  -D -T 1 -S
>>          >          >
>>          >>>  /home/saser/work/official_demos-2.1.1/HTS-demo_CMU-ARCTIC-SLT_STRAIGHT/data/scp/gen.scp
>>          >          >  >>>  -t 1500 100 5000  -c 2 -H
>>          >          >
>>          >>>  /home/saser/work/official_demos-2.1.1/HTS-demo_CMU-ARCTIC-SLT_STRAIGHT/models/qst001/ver1/cmp/stc_all.mmf
>>          >          >  >>>  -N
>>          >          >
>>          >>>  /home/saser/work/official_demos-2.1.1/HTS-demo_CMU-ARCTIC-SLT_STRAIGHT/models/qst001/ver1/dur/stc_all.mmf
>>          >          >  >>>  -M
>>          >          >
>>          >>>  /home/saser/work/official_demos-2.1.1/HTS-demo_CMU-ARCTIC-SLT_STRAIGHT/gen/qst001/ver1/stc/2
>>          >          >
>>          >>>  /home/saser/work/official_demos-2.1.1/HTS-demo_CMU-ARCTIC-SLT_STRAIGHT/models/qst001/ver1/cmp/tiedlist
>>          >          >
>>          >>>  /home/saser/work/official_demos-2.1.1/HTS-demo_CMU-ARCTIC-SLT_STRAIGHT/models/qst001/ver1/dur/tiedlist
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >  Before the error, I got tens of
>>          thousands of warnings like
>>          >          >  >>>          this:
>>          >          >  >>>          >
>>          >          >  >>>          >      Converged (norm=3.774747e+01,
>>          change=1.620419e-04).
>>          >          >  >>>          >    WARNING [-9999]  OutProb: output
>>          prob at frame 2 is 0.0
>>          >          >  >>>          >  in /usr/local/hts-2.1.1/bin/HMGenS
>>          >          >  >>>          >    WARNING [-9999]  OutProb: output
>>          prob at frame 3 is 0.0
>>          >          >  >>>          >  in /usr/local/hts-2.1.1/bin/HMGenS
>>          >          >  >>>          >    WARNING [-9999]  OutProb: output
>>          prob at frame 4 is 0.0
>>          >          >  >>>          >  in /usr/local/hts-2.1.1/bin/HMGenS
>>          >          >  >>>          >    WARNING [-9999]  OutProb: output
>>          prob at frame 5 is 0.0
>>          >          >  >>>          >  in /usr/local/hts-2.1.1/bin/HMGenS
>>          >          >  >>>          >  ......
>>          >          >  >>>          >    WARNING [-9999]  OutProb: output
>>          prob at frame 3169 is 0.0
>>          >          >  >>>          >  in /usr/local/hts-2.1.1/bin/HMGenS
>>          >          >  >>>          >    WARNING [-9999]  OutProb: output
>>          prob at frame 3170 is 0.0
>>          >          >  >>>          >  in /usr/local/hts-2.1.1/bin/HMGenS
>>          >          >  >>>          >    WARNING [-9999]  OutProb: output
>>          prob at frame 3171 is 0.0
>>          >          >  >>>          >  in /usr/local/hts-2.1.1/bin/HMGenS
>>          >          >  >>>          >    Average LogP = -9.993695e+09
>>          >          >  >>>          >    Generating Label alice02.lab
>>          >          >  >>>          >    Total number of frames = 2915
>>          >          >  >>>          >    PdfStream[1]: 2915 frames
>>          >          >  >>>          >    PdfStream[2]: 2830 frames
>>          >          >  >>>          >    PdfStream[3]: 2915 frames
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >  and strange parameter generation
>>          log like this: (see the
>>          >          >  >>>          change of
>>          >          >  >>>          >  iteration 6)
>>          >          >  >>>          >
>>          >          >  >>>          >    Generating Label alice01.lab
>>          >          >  >>>          >    Total number of frames = 3172
>>          >          >  >>>          >    PdfStream[1]: 3172 frames
>>          >          >  >>>          >    PdfStream[2]: 3172 frames
>>          >          >  >>>          >    PdfStream[3]: 3172 frames
>>          >          >  >>>          >    Parameter generation considering
>>          global variance (GV)
>>          >          >  >>>          >    Optimization=NEWTON  step size
>>          (init=1.000, inc=1.20,
>>          >          >  >>>          dec=0.50)
>>          >          >  >>>          >    HMM weight=1.00, GV weight=1.00
>>          >          >  >>>          >    Stream: 1
>>          >          >  >>>          >    Feature: all
>>          >          >  >>>          >      Iteration  1: GV Obj =
>>          -8.703781e+00 (HMM:-8.703781e+00
>>          >          >  >>>          >  GV:-4.669074e-27)
>>          >          >  >>>          >      Iteration  2: GV Obj =
>>          -4.485174e+01 (HMM:-6.515020e+00
>>          >          >  >>>          >  GV:-3.833672e+01)  Change =
>>          -36.147964
>>          >          >  >>>          >      Iteration  3: GV Obj =
>>          -2.060439e+01 (HMM:-3.695115e+00
>>          >          >  >>>          >  GV:-1.690928e+01)  Change =
>>          -11.900611
>>          >          >  >>>          >      Iteration  4: GV Obj =
>>          -1.077798e+01 (HMM:-5.220877e+00
>>          >          >  >>>          >  GV:-5.557108e+00)  Change =
>>          -2.074204
>>          >          >  >>>          >      Iteration  5: GV Obj =
>>          -8.299071e+00 (HMM:-6.717686e+00
>>          >          >  >>>          >  GV:-1.581385e+00)  Change =
>>          0.404710
>>          >          >  >>>          >      Iteration  6: GV Obj =
>>          -2.659332e+15 (HMM:-2.115852e+07
>>          >          >  >>>          >  GV:-2.659332e+15)  Change =
>>          -2659332467537417.500000
>>          >          >  >>>          >      Iteration  7: GV Obj =
>>          -1.661987e+14 (HMM:-5.289479e+06
>>          >          >  >>>          >  GV:-1.661987e+14)  Change =
>>          -166198677105619.750000
>>          >          >  >>>          >      Iteration  8: GV Obj =
>>          -1.038622e+13 (HMM:-1.322297e+06
>>          >          >  >>>          >  GV:-1.038622e+13)  Change =
>>          -10386216934943.804688
>>          >          >  >>>          >      Iteration  9: GV Obj =
>>          -6.489885e+11 (HMM:-3.305405e+05
>>          >          >  >>>          >  GV:-6.489881e+11)  Change =
>>          -648988480495.767700
>>          >          >  >>>          >      Iteration 10: GV Obj =
>>          -4.054301e+10 (HMM:-8.262077e+04
>>          >          >  >>>          >  GV:-4.054293e+10)  Change =
>>          -40543012815.267204
>>          >          >  >>>          >      Iteration 11: GV Obj =
>>          -2.531591e+09 (HMM:-2.065053e+04
>>          >          >  >>>          >  GV:-2.531570e+09)  Change =
>>          -2531590533.724836
>>          >          >  >>>          >      Iteration 12: GV Obj =
>>          -1.579305e+08 (HMM:-5.162820e+03
>>          >          >  >>>          >  GV:-1.579253e+08)  Change =
>>          -157930472.685939
>>          >          >  >>>          >      Iteration 13: GV Obj =
>>          -9.833805e+06 (HMM:-1.293318e+03
>>          >          >  >>>          >  GV:-9.832512e+06)  Change =
>>          -9833797.165811
>>          >          >  >>>          >      Iteration 14: GV Obj =
>>          -6.099850e+05 (HMM:-3.271551e+02
>>          >          >  >>>          >  GV:-6.096578e+05)  Change =
>>          -609976.683197
>>          >          >  >>>          >      Iteration 15: GV Obj =
>>          -3.754546e+04 (HMM:-8.622074e+01
>>          >          >  >>>          >  GV:-3.745924e+04)  Change =
>>          -37537.164351
>>          >          >  >>>          >      Iteration 16: GV Obj =
>>          -2.279440e+03 (HMM:-2.629029e+01
>>          >          >  >>>          >  GV:-2.253150e+03)  Change =
>>          -2271.141377
>>          >          >  >>>          >      Iteration 17: GV Obj =
>>          -1.405188e+02 (HMM:-1.145926e+01
>>          >          >  >>>          >  GV:-1.290596e+02)  Change =
>>          -132.219760
>>          >          >  >>>          >      Iteration 18: GV Obj =
>>          -1.528113e+01 (HMM:-7.827290e+00
>>          >          >  >>>          >  GV:-7.453843e+00)  Change =
>>          -6.982061
>>          >          >  >>>          >      Iteration 19: GV Obj =
>>          -8.570871e+00 (HMM:-6.957192e+00
>>          >          >  >>>          >  GV:-1.613679e+00)  Change =
>>          -0.271800
>>          >          >  >>>          >      Iteration 20: GV Obj =
>>          -8.300441e+00 (HMM:-6.758615e+00
>>          >          >  >>>          >  GV:-1.541825e+00)  Change =
>>          -0.001369
>>          >          >  >>>          >      Converged (norm=3.456561e+03,
>>          change=1.369426e-03).
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >  Here is my parameters for the demo
>>          configuration, tcl&
>>          >          >  >>>          matlab are in
>>          >          >  >>>          >  PATH so I do not specify them.
>>          >          >  >>>          >
>>          >          >  >>>          >  $ ./configure
>>          >          >  >>>
>>          --with-sptk-search-path=/usr/local/SPTK-3.3/bin
>>          >          >  >>>          >
>>          --with-hts-search-path=/usr/local/hts-2.1.1/bin
>>          >          >  >>>          >
>>          >          >  >>>
>>          --with-hts-engine-search-path=/usr/local/hts_engine_API-1.03/bin
>>          >          >  >>>          >
>>          --with-openfst-search-path=/usr/local/openfst-1.1/bin
>>          >          >  >>>          >
>>          --with-straight-path=/usr/local/STRAIGHTV40_007c
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >  Here is my parameters for the
>>          hts-2.1.1 configuration
>>          >          >  >>>          >
>>          >          >  >>>          >  $ ./configure SMAX=11 PAT_LEN=8192
>>          >          >  >>>          --prefix=/usr/local/hts-2.1.1
>>          >          >  >>>          >  CC=icc CXX=icpc
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >  Here is my icc version
>>          >          >  >>>          >
>>          >          >  >>>          >  $ icc -V
>>          >          >  >>>          >  Intel(R) C Intel(R) 64 Compiler
>>          Professional for
>>          >          >  >>>          applications running
>>          >          >  >>>          >  on Intel(R) 64, Version 11.1
>>          Build 20091130 Package ID:
>>          >          >  >>>          >  l_cproc_p_11.1.064
>>          >          >  >>>          >  Copyright (C) 1985-2009 Intel
>>          Corporation.  All rights
>>          >          >  >>>          reserved.
>>          >          >  >>>          >  FOR NON-COMMERCIAL USE ONLY
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >  My questions are:
>>          >          >  >>>          >  1. Why this error occurred? Is
>>          this error a bug?
>>          >          >  >>>          >  2. Is the Warings and iteration
>>          changes normal? I did not
>>          >          >  >>>          find this
>>          >          >  >>>          >  kind of messages in the same
>>          section of the non-straight
>>          >          >  >>>          demo log
>>          >          >  >>>          >  file.
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >  the orignal log file is attached.
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >
>>          >          >  >>>          >  --
>>          >          >  >>>          >  康世胤
>>          >          >  >>>          >  Shiyin Kang
>>          >          >  >>>          >
>>          >          >  >>>
>>          >          >  >>>
>>          >          >  >>>
>>          >          >  >>>
>>          >          >  >>>
>>          >          >  >>>
>>          >          >  >>>
>>          >          >  >>
>>          >          >  >>
>>          >          >  >>
>>          >          >  >>
>>          >          >  >>
>>          >          >  >
>>          >          >
>>          >          >
>>          >
>>          >
>>          >
>>          >
>>          >
>>          >  --
>>          >  康世胤
>>          >  Shiyin Kang
>>          >
>>          >  kangshiyin@xxxxxxxxx
>>          >  Mobile: +86-13810352340
>>          >  Tel: +86-10-62775251
>>          >
>>          >  FIT 3-522
>>          >  Lab of Human-Computer Speech Interaction,
>>          >  Department of Computer Science&  Technology,
>>          >  Tsinghua University, Beijing, 100084, P.R.China
>>
>>
>>
>>
>>
>>
>>
>>
>> --
>> 康世胤
>> Shiyin Kang
>>
>> kangshiyin@xxxxxxxxx
>> Mobile: +86-13810352340
>> Tel: +86-10-62775251
>>
>> FIT 3-522
>> Lab of Human-Computer Speech Interaction,
>> Department of Computer Science&  Technology,
>> Tsinghua University, Beijing, 100084, P.R.China
>>     
>
>
>   




References
[hts-users:02482] Is this a bug of hts-2.1.1 straight demo?, 康世胤
[hts-users:02489] Re: Is this a bug of hts-2.1.1 straight demo?, Sébastien Le Maguer
[hts-users:02490] Re: Is this a bug of hts-2.1.1 straight demo?, 康世胤
[hts-users:02491] Re: Is this a bug of hts-2.1.1 straight demo?, Sébastien Le Maguer
[hts-users:02500] Re: Is this a bug of hts-2.1.1 straight demo?, 康世胤
[hts-users:02501] Re: Is this a bug of hts-2.1.1 straight demo?, Sébastien Le Maguer
[hts-users:02502] Re: Is this a bug of hts-2.1.1 straight demo?, Sébastien Le Maguer
[hts-users:02503] Re: Is this a bug of hts-2.1.1 straight demo?, 康世胤
[hts-users:02504] Re: Is this a bug of hts-2.1.1 straight demo?, Sébastien Le Maguer
[hts-users:02510] Re: Is this a bug of hts-2.1.1 straight demo?, 康世胤
[hts-users:02511] Re: Is this a bug of hts-2.1.1 straight demo?, Sébastien Le Maguer
[hts-users:02513] Re: Is this a bug of hts-2.1.1 straight demo?, Sébastien Le Maguer