class: center, middle, inverse, title-slide # Training Workshop on the basics of<br> SEM using R ## Session 2: CFA and SEM --- layout: true <style>.shareagain-bar { --shareagain-foreground: rgb(255, 255, 255); --shareagain-background: rgba(0, 0, 0, 0.5); --shareagain-pinterest: none; --shareagain-pocket: none; --shareagain-reddit: none; }</style> <style>.shareagain-bar { --shareagain-foreground: rgb(255, 255, 255); --shareagain-background: rgba(0, 0, 0, 0.5); --shareagain-pinterest: none; --shareagain-pocket: none; --shareagain-reddit: none; }</style> --- ## Topic overview **1**: CFA-SEM overview **2**: CFA-SEM with Lavaan **3**: Defining constructs **4**: Developing the overall measurement model **5**: Assessing measurement model validity **6**: Specifying the structural model **7**: Assessing structural model validity --- class: middle center # CFA-SEM overview ---- --- ## What is SEM? + Not a one statistical "technique" + Integrates a number of different multivariate technique + Factor analysis + Regression + Simultaneous equation + Distinction between: + measurement model + structural model --- ## What is SEM? .leftcol40[ #### Measurement model + measurement part of a a full SEM model + confirmatory factor analysis ] .rightcol60[ <img src="img/measurement_part_2.jpg" width="70%" style="display: block; margin: auto;" /> ] --- ## What is SEM? .leftcol40[ #### Measurement model + measurement part of a a full SEM model + confirmatory factor analysis #### Structural model + relationship between constucts + full sem model is combination of measurement and structural component ] .rightcol60[ <img src="img/structural_part_2.jpg" width="70%" style="display: block; margin: auto;" /> ] --- ## Basic SEM conventions <br> .center[ <img src="img/sem_convention_2.jpg" width="70%" /> ] --- class: middle center # 2. CFA-SEM with Lavaan R package ---- --- ## What is Lavaan? .leftcol30[ + *"developed to provide useRs, researchers, and teachers a free open-source, but commercial quality"*, Yves Rosseel (2012) + Check-out their [lavaan tutorial](https://lavaan.ugent.be/tutorial/index.html) ] .rightcol70[ ```r install.packages("lavaan") library(lavaan) example(cfa) ``` .code-output-scroll[ ``` cfa> ## The famous Holzinger and Swineford (1939) example cfa> HS.model <- ' visual =~ x1 + x2 + x3 cfa+ textual =~ x4 + x5 + x6 cfa+ speed =~ x7 + x8 + x9 ' cfa> fit <- cfa(HS.model, data = HolzingerSwineford1939) cfa> summary(fit, fit.measures = TRUE) lavaan 0.6-9 ended normally after 35 iterations Estimator ML Optimization method NLMINB Number of model parameters 21 Number of observations 301 Model Test User Model: Test statistic 85.306 Degrees of freedom 24 P-value (Chi-square) 0.000 Model Test Baseline Model: Test statistic 918.852 Degrees of freedom 36 P-value 0.000 User Model versus Baseline Model: Comparative Fit Index (CFI) 0.931 Tucker-Lewis Index (TLI) 0.896 Loglikelihood and Information Criteria: Loglikelihood user model (H0) -3737.745 Loglikelihood unrestricted model (H1) -3695.092 Akaike (AIC) 7517.490 Bayesian (BIC) 7595.339 Sample-size adjusted Bayesian (BIC) 7528.739 Root Mean Square Error of Approximation: RMSEA 0.092 90 Percent confidence interval - lower 0.071 90 Percent confidence interval - upper 0.114 P-value RMSEA <= 0.05 0.001 Standardized Root Mean Square Residual: SRMR 0.065 Parameter Estimates: Standard errors Standard Information Expected Information saturated (h1) model Structured Latent Variables: Estimate Std.Err z-value P(>|z|) visual =~ x1 1.000 x2 0.554 0.100 5.554 0.000 x3 0.729 0.109 6.685 0.000 textual =~ x4 1.000 x5 1.113 0.065 17.014 0.000 x6 0.926 0.055 16.703 0.000 speed =~ x7 1.000 x8 1.180 0.165 7.152 0.000 x9 1.082 0.151 7.155 0.000 Covariances: Estimate Std.Err z-value P(>|z|) visual ~~ textual 0.408 0.074 5.552 0.000 speed 0.262 0.056 4.660 0.000 textual ~~ speed 0.173 0.049 3.518 0.000 Variances: Estimate Std.Err z-value P(>|z|) .x1 0.549 0.114 4.833 0.000 .x2 1.134 0.102 11.146 0.000 .x3 0.844 0.091 9.317 0.000 .x4 0.371 0.048 7.779 0.000 .x5 0.446 0.058 7.642 0.000 .x6 0.356 0.043 8.277 0.000 .x7 0.799 0.081 9.823 0.000 .x8 0.488 0.074 6.573 0.000 .x9 0.566 0.071 8.003 0.000 visual 0.809 0.145 5.564 0.000 textual 0.979 0.112 8.737 0.000 speed 0.384 0.086 4.451 0.000 ``` ] ] --- ## Major operators of lavaan syntax <br> .center[ <img src="img/lavaan_syntax.jpg" width="90%" /> ] --- ## Major operators of lavaan syntax .leftcol40[ #### Defining a reflective latent variable ```r model <- "F1 =~ x1 + x2 + x3 + x4" ``` <br> <img src="img/sample_syntax1.png" width="40%" style="display: block; margin: auto;" /> ] .rightcol[ #### Estimate factor covariance ```r model <- "F1 =~ x1 + x2 + x3 + x4 F2 =~ x5 + X6 + x6 + x8 F1 ~~ F2" ``` <br> <img src="img/sample_syntax2.png" width="60%" style="display: block; margin: auto;" /> ] --- ## Major operators of lavaan syntax .leftcol[ #### Estimate regression ```r model <- "F1 =~ x1 + x2 + x3 + x4 F2 =~ x5 + X6 + x7 + x8 F3 =~ x9 + X10 + x11 + x12 F1 ~~ F2 F3 ~ F1 + F2" ``` ] .rightcol[ <img src="img/sample_syntax3.png" width="70%" style="display: block; margin: auto;" /> ] --- ## Major operators of lavaan syntax .leftcol[ #### Insert a comment in the syntax ```r model <- "F1 =~ x1 + x2 + x3 + x4 F2 =~ x5 + X6 + x7 + x8 F3 =~ x9 + X10 + x11 + x12 # covariance F1 ~~ F2 # F3 is regressed on F1 and F2 F3 ~ F1 + F2" ``` ] .rightcol[ <img src="img/sample_syntax3.png" width="70%" style="display: block; margin: auto;" /> ] --- ## Major operators of lavaan syntax .leftcol[ #### Label a parameter ```r model <- "F1 =~ x1 + x2 + x3 + x4 F2 =~ x5 + X6 + x7 + x8 F3 =~ x9 + X10 + x11 + x12 # covariance F1 ~~ F2 # F3 is regressed on F1 and F2 F3 ~ b1*F1 + b2*F2" ``` ] .rightcol[ <img src="img/sample_syntax4.png" width="70%" style="display: block; margin: auto;" /> ] --- ## Major operators of lavaan syntax .leftcol[ #### Create a new parameter ```r model <- "F1 =~ x1 + x2 + x3 + x4 F2 =~ x5 + X6 + x7 + x8 F3 =~ x9 + X10 + x11 + x12 # regression F3 ~ b1*F1 + b2*F2 F2 ~ b3*F1 # F1 indirect effect ie := b3*b2 # F1 total effect te := b3*b2 + b1" ``` ] .rightcol[ <img src="img/sample_syntax5.png" width="70%" style="display: block; margin: auto;" /> ] --- class: middle center # Main steps in SEM ---- --- ## Main steps in SEM 1. Defining constructs 2. Developing the overall measurement model 3. Assessing measurement model validity 4. Specifying the structural model 5. Assessing structural model validity --- class: center middle # 1. Defining Constructs ---- --- ## Dataset .leftcol40[ + HBAT company + HBAT is interested in understanding what affects employee's attitudes and behaviors that contributes to employee's retension. ] .rightcol60[ <div data-pagedtable="false"> <script data-pagedtable-source type="application/json"> {"columns":[{"label":["JS1"],"name":[1],"type":["dbl"],"align":["right"]},{"label":["OC1"],"name":[2],"type":["dbl"],"align":["right"]},{"label":["OC2"],"name":[3],"type":["dbl"],"align":["right"]},{"label":["EP1"],"name":[4],"type":["dbl"],"align":["right"]},{"label":["OC3"],"name":[5],"type":["dbl"],"align":["right"]},{"label":["OC4"],"name":[6],"type":["dbl"],"align":["right"]},{"label":["EP2"],"name":[7],"type":["dbl"],"align":["right"]},{"label":["EP3"],"name":[8],"type":["dbl"],"align":["right"]},{"label":["AC1"],"name":[9],"type":["dbl"],"align":["right"]},{"label":["EP4"],"name":[10],"type":["dbl"],"align":["right"]},{"label":["JS2"],"name":[11],"type":["dbl"],"align":["right"]},{"label":["JS3"],"name":[12],"type":["dbl"],"align":["right"]},{"label":["AC2"],"name":[13],"type":["dbl"],"align":["right"]},{"label":["SI1"],"name":[14],"type":["dbl"],"align":["right"]},{"label":["JS4"],"name":[15],"type":["dbl"],"align":["right"]},{"label":["SI2"],"name":[16],"type":["dbl"],"align":["right"]},{"label":["JS5"],"name":[17],"type":["dbl"],"align":["right"]},{"label":["AC3"],"name":[18],"type":["dbl"],"align":["right"]},{"label":["SI3"],"name":[19],"type":["dbl"],"align":["right"]},{"label":["AC4"],"name":[20],"type":["dbl"],"align":["right"]},{"label":["SI4"],"name":[21],"type":["dbl"],"align":["right"]}],"data":[{"1":"5","2":"3","3":"5","4":"10","5":"10","6":"10","7":"10","8":"5","9":"1","10":"2","11":"4","12":"3","13":"2","14":"4","15":"3","16":"4","17":"23.307571","18":"1","19":"3","20":"1","21":"3"},{"1":"3","2":"0","3":"5","4":"10","5":"3","6":"7","7":"10","8":"10","9":"2","10":"7","11":"4","12":"3","13":"1","14":"5","15":"2","16":"4","17":"42.617363","18":"1","19":"4","20":"1","21":"4"},{"1":"4","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"2","12":"2","13":"4","14":"5","15":"3","16":"5","17":"60.477096","18":"1","19":"5","20":"2","21":"5"},{"1":"4","2":"7","3":"7","4":"10","5":"10","6":"7","7":"10","8":"9","9":"2","10":"7","11":"5","12":"4","13":"1","14":"5","15":"2","16":"4","17":"33.418367","18":"1","19":"3","20":"1","21":"4"},{"1":"5","2":"2","3":"10","4":"10","5":"9","6":"9","7":"9","8":"10","9":"1","10":"6","11":"4","12":"3","13":"1","14":"5","15":"2","16":"5","17":"57.538553","18":"2","19":"3","20":"2","21":"4"},{"1":"6","2":"5","3":"8","4":"8","5":"7","6":"7","7":"10","8":"7","9":"1","10":"7","11":"6","12":"5","13":"2","14":"5","15":"3","16":"4","17":"61.943085","18":"1","19":"3","20":"1","21":"3"},{"1":"2","2":"6","3":"10","4":"9","5":"10","6":"9","7":"9","8":"9","9":"2","10":"6","11":"3","12":"6","13":"4","14":"5","15":"4","16":"5","17":"10.980751","18":"3","19":"5","20":"3","21":"4"},{"1":"2","2":"4","3":"9","4":"10","5":"9","6":"7","7":"10","8":"10","9":"1","10":"7","11":"2","12":"1","13":"1","14":"3","15":"1","16":"4","17":"21.083306","18":"1","19":"4","20":"3","21":"2"},{"1":"4","2":"9","3":"10","4":"8","5":"10","6":"10","7":"6","8":"8","9":"3","10":"3","11":"5","12":"1","13":"4","14":"3","15":"1","16":"3","17":"79.690549","18":"3","19":"2","20":"1","21":"2"},{"1":"5","2":"5","3":"9","4":"10","5":"9","6":"10","7":"10","8":"8","9":"2","10":"7","11":"3","12":"2","13":"4","14":"4","15":"2","16":"4","17":"32.959545","18":"1","19":"3","20":"4","21":"3"},{"1":"4","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"9","9":"4","10":"7","11":"7","12":"5","13":"4","14":"5","15":"3","16":"5","17":"79.093300","18":"4","19":"5","20":"5","21":"5"},{"1":"5","2":"4","3":"10","4":"10","5":"10","6":"10","7":"10","8":"9","9":"4","10":"7","11":"4","12":"4","13":"5","14":"4","15":"4","16":"4","17":"70.914936","18":"2","19":"4","20":"3","21":"4"},{"1":"2","2":"1","3":"5","4":"8","5":"3","6":"6","7":"9","8":"8","9":"1","10":"5","11":"4","12":"3","13":"2","14":"5","15":"1","16":"5","17":"49.568191","18":"2","19":"4","20":"3","21":"5"},{"1":"4","2":"0","3":"0","4":"8","5":"9","6":"8","7":"8","8":"8","9":"1","10":"5","11":"4","12":"3","13":"1","14":"3","15":"3","16":"3","17":"70.415713","18":"1","19":"2","20":"1","21":"3"},{"1":"4","2":"7","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"2","10":"6","11":"4","12":"4","13":"5","14":"4","15":"2","16":"5","17":"41.767276","18":"2","19":"3","20":"4","21":"3"},{"1":"4","2":"4","3":"10","4":"8","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"4","12":"5","13":"2","14":"5","15":"4","16":"5","17":"65.989233","18":"4","19":"3","20":"3","21":"3"},{"1":"3","2":"4","3":"9","4":"9","5":"9","6":"8","7":"10","8":"10","9":"3","10":"6","11":"4","12":"2","13":"3","14":"5","15":"2","16":"5","17":"53.143933","18":"5","19":"3","20":"4","21":"4"},{"1":"5","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"6","12":"3","13":"3","14":"5","15":"3","16":"5","17":"91.681988","18":"3","19":"5","20":"1","21":"5"},{"1":"3","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"9","9":"1","10":"7","11":"2","12":"4","13":"2","14":"5","15":"1","16":"5","17":"54.921714","18":"1","19":"5","20":"2","21":"5"},{"1":"5","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"9","9":"1","10":"7","11":"4","12":"3","13":"2","14":"4","15":"3","16":"4","17":"57.832791","18":"2","19":"3","20":"3","21":"2"},{"1":"2","2":"5","3":"3","4":"10","5":"7","6":"4","7":"10","8":"10","9":"1","10":"7","11":"4","12":"2","13":"1","14":"5","15":"2","16":"4","17":"44.566861","18":"3","19":"3","20":"1","21":"3"},{"1":"6","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"4","12":"5","13":"5","14":"5","15":"4","16":"5","17":"94.451103","18":"4","19":"5","20":"6","21":"5"},{"1":"3","2":"5","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"4","12":"1","13":"2","14":"5","15":"1","16":"5","17":"26.931819","18":"2","19":"3","20":"3","21":"4"},{"1":"4","2":"3","3":"8","4":"8","5":"6","6":"5","7":"9","8":"9","9":"3","10":"4","11":"4","12":"3","13":"1","14":"3","15":"1","16":"4","17":"59.314655","18":"1","19":"4","20":"1","21":"3"},{"1":"7","2":"7","3":"10","4":"0","5":"10","6":"10","7":"4","8":"8","9":"2","10":"7","11":"5","12":"4","13":"3","14":"3","15":"4","16":"3","17":"56.173413","18":"3","19":"3","20":"2","21":"2"},{"1":"4","2":"7","3":"8","4":"10","5":"10","6":"10","7":"10","8":"9","9":"2","10":"7","11":"6","12":"3","13":"1","14":"4","15":"3","16":"4","17":"66.259443","18":"1","19":"4","20":"1","21":"3"},{"1":"4","2":"3","3":"8","4":"7","5":"10","6":"4","7":"4","8":"10","9":"2","10":"7","11":"5","12":"4","13":"2","14":"4","15":"3","16":"3","17":"71.729142","18":"1","19":"3","20":"1","21":"2"},{"1":"4","2":"2","3":"7","4":"0","5":"7","6":"7","7":"7","8":"10","9":"2","10":"2","11":"4","12":"3","13":"3","14":"3","15":"2","16":"3","17":"41.406683","18":"1","19":"3","20":"1","21":"2"},{"1":"6","2":"4","3":"8","4":"7","5":"8","6":"7","7":"9","8":"8","9":"1","10":"5","11":"6","12":"3","13":"2","14":"4","15":"2","16":"4","17":"39.579416","18":"2","19":"3","20":"1","21":"4"},{"1":"4","2":"9","3":"10","4":"10","5":"7","6":"7","7":"10","8":"10","9":"1","10":"7","11":"6","12":"4","13":"2","14":"3","15":"4","16":"3","17":"80.092386","18":"1","19":"2","20":"2","21":"2"},{"1":"3","2":"2","3":"7","4":"7","5":"8","6":"4","7":"7","8":"7","9":"2","10":"4","11":"1","12":"2","13":"1","14":"4","15":"2","16":"3","17":"13.107337","18":"1","19":"3","20":"1","21":"2"},{"1":"4","2":"9","3":"9","4":"5","5":"9","6":"9","7":"9","8":"7","9":"1","10":"4","11":"5","12":"5","13":"2","14":"3","15":"5","16":"3","17":"70.020566","18":"1","19":"3","20":"2","21":"3"},{"1":"4","2":"5","3":"10","4":"10","5":"9","6":"9","7":"10","8":"9","9":"3","10":"7","11":"4","12":"3","13":"2","14":"4","15":"1","16":"5","17":"71.956206","18":"3","19":"5","20":"2","21":"4"},{"1":"5","2":"4","3":"8","4":"8","5":"8","6":"8","7":"8","8":"8","9":"1","10":"3","11":"4","12":"2","13":"2","14":"3","15":"1","16":"4","17":"40.495631","18":"2","19":"3","20":"2","21":"3"},{"1":"5","2":"0","3":"3","4":"8","5":"8","6":"3","7":"10","8":"8","9":"1","10":"5","11":"5","12":"5","13":"2","14":"2","15":"1","16":"3","17":"71.529601","18":"2","19":"2","20":"2","21":"2"},{"1":"5","2":"6","3":"10","4":"7","5":"10","6":"10","7":"9","8":"9","9":"2","10":"6","11":"6","12":"5","13":"3","14":"5","15":"2","16":"5","17":"64.781068","18":"2","19":"5","20":"4","21":"4"},{"1":"2","2":"5","3":"8","4":"8","5":"8","6":"8","7":"8","8":"8","9":"2","10":"5","11":"4","12":"4","13":"2","14":"5","15":"3","16":"4","17":"71.225043","18":"1","19":"3","20":"2","21":"3"},{"1":"4","2":"4","3":"9","4":"9","5":"8","6":"10","7":"9","8":"9","9":"3","10":"5","11":"6","12":"4","13":"2","14":"4","15":"4","16":"3","17":"80.326933","18":"3","19":"3","20":"3","21":"3"},{"1":"3","2":"7","3":"10","4":"10","5":"8","6":"8","7":"10","8":"10","9":"3","10":"7","11":"2","12":"2","13":"5","14":"4","15":"1","16":"4","17":"29.341537","18":"4","19":"3","20":"2","21":"3"},{"1":"3","2":"3","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"5","12":"3","13":"1","14":"5","15":"1","16":"5","17":"34.296080","18":"1","19":"4","20":"3","21":"4"},{"1":"5","2":"2","3":"8","4":"10","5":"8","6":"8","7":"10","8":"10","9":"3","10":"7","11":"4","12":"4","13":"2","14":"3","15":"3","16":"4","17":"49.201313","18":"3","19":"3","20":"2","21":"3"},{"1":"4","2":"6","3":"10","4":"9","5":"10","6":"9","7":"10","8":"10","9":"1","10":"7","11":"4","12":"3","13":"3","14":"3","15":"2","16":"5","17":"71.320370","18":"3","19":"3","20":"6","21":"4"},{"1":"4","2":"2","3":"5","4":"0","5":"8","6":"5","7":"1","8":"5","9":"1","10":"1","11":"4","12":"3","13":"2","14":"1","15":"3","16":"2","17":"54.816477","18":"1","19":"1","20":"2","21":"1"},{"1":"4","2":"8","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"4","12":"4","13":"2","14":"4","15":"3","16":"4","17":"62.876590","18":"1","19":"3","20":"1","21":"4"},{"1":"6","2":"9","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"3","10":"6","11":"6","12":"6","13":"2","14":"4","15":"5","16":"3","17":"76.224765","18":"2","19":"4","20":"3","21":"4"},{"1":"4","2":"2","3":"8","4":"8","5":"8","6":"8","7":"3","8":"8","9":"2","10":"5","11":"6","12":"4","13":"3","14":"4","15":"5","16":"4","17":"79.014366","18":"2","19":"3","20":"1","21":"3"},{"1":"3","2":"0","3":"2","4":"7","5":"8","6":"2","7":"6","8":"8","9":"1","10":"5","11":"3","12":"1","13":"1","14":"2","15":"1","16":"4","17":"36.346809","18":"1","19":"3","20":"1","21":"3"},{"1":"6","2":"0","3":"10","4":"9","5":"7","6":"7","7":"10","8":"10","9":"3","10":"7","11":"6","12":"6","13":"4","14":"5","15":"4","16":"5","17":"40.824261","18":"1","19":"5","20":"1","21":"4"},{"1":"5","2":"1","3":"6","4":"9","5":"9","6":"5","7":"9","8":"9","9":"3","10":"6","11":"6","12":"5","13":"1","14":"4","15":"3","16":"4","17":"66.046284","18":"1","19":"4","20":"1","21":"4"},{"1":"6","2":"6","3":"10","4":"10","5":"9","6":"10","7":"8","8":"10","9":"5","10":"5","11":"4","12":"4","13":"5","14":"5","15":"2","16":"5","17":"40.980492","18":"4","19":"5","20":"3","21":"5"},{"1":"5","2":"6","3":"10","4":"7","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"3","12":"3","13":"3","14":"4","15":"4","16":"5","17":"73.464087","18":"1","19":"3","20":"3","21":"4"},{"1":"3","2":"2","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"2","10":"6","11":"1","12":"2","13":"1","14":"5","15":"1","16":"5","17":"43.783560","18":"1","19":"3","20":"4","21":"4"},{"1":"7","2":"0","3":"4","4":"10","5":"10","6":"3","7":"10","8":"10","9":"1","10":"7","11":"5","12":"2","13":"1","14":"5","15":"5","16":"4","17":"96.429374","18":"1","19":"3","20":"2","21":"4"},{"1":"3","2":"6","3":"7","4":"5","5":"7","6":"7","7":"5","8":"5","9":"1","10":"1","11":"3","12":"2","13":"1","14":"2","15":"1","16":"2","17":"31.472933","18":"1","19":"1","20":"1","21":"2"},{"1":"3","2":"1","3":"10","4":"10","5":"8","6":"10","7":"7","8":"10","9":"1","10":"7","11":"5","12":"3","13":"1","14":"4","15":"3","16":"4","17":"64.753790","18":"1","19":"3","20":"1","21":"3"},{"1":"5","2":"6","3":"6","4":"3","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"3","12":"3","13":"3","14":"1","15":"3","16":"1","17":"66.576523","18":"3","19":"2","20":"3","21":"1"},{"1":"5","2":"7","3":"8","4":"6","5":"8","6":"8","7":"7","8":"7","9":"4","10":"4","11":"4","12":"5","13":"6","14":"4","15":"2","16":"4","17":"55.566631","18":"5","19":"3","20":"6","21":"3"},{"1":"4","2":"9","3":"10","4":"10","5":"8","6":"8","7":"10","8":"10","9":"1","10":"7","11":"5","12":"4","13":"2","14":"5","15":"2","16":"5","17":"51.109276","18":"1","19":"3","20":"2","21":"4"},{"1":"5","2":"4","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"7","12":"5","13":"2","14":"4","15":"5","16":"5","17":"64.851180","18":"3","19":"5","20":"3","21":"4"},{"1":"2","2":"10","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"3","12":"1","13":"2","14":"4","15":"1","16":"5","17":"46.935927","18":"3","19":"5","20":"5","21":"4"},{"1":"4","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"5","12":"3","13":"1","14":"5","15":"3","16":"5","17":"59.340024","18":"3","19":"1","20":"3","21":"4"},{"1":"3","2":"8","3":"10","4":"8","5":"9","6":"9","7":"9","8":"9","9":"1","10":"6","11":"5","12":"4","13":"2","14":"4","15":"4","16":"4","17":"66.538034","18":"1","19":"5","20":"2","21":"4"},{"1":"4","2":"3","3":"10","4":"7","5":"8","6":"8","7":"7","8":"9","9":"2","10":"5","11":"4","12":"3","13":"2","14":"5","15":"1","16":"5","17":"47.863382","18":"2","19":"5","20":"1","21":"5"},{"1":"6","2":"8","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"4","12":"5","13":"3","14":"5","15":"3","16":"5","17":"42.420223","18":"3","19":"5","20":"4","21":"5"},{"1":"4","2":"5","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"4","12":"4","13":"2","14":"4","15":"3","16":"5","17":"54.953023","18":"1","19":"3","20":"2","21":"3"},{"1":"3","2":"4","3":"7","4":"7","5":"10","6":"7","7":"10","8":"7","9":"1","10":"4","11":"4","12":"1","13":"3","14":"4","15":"1","16":"5","17":"28.762189","18":"1","19":"3","20":"1","21":"4"},{"1":"5","2":"1","3":"5","4":"8","5":"8","6":"8","7":"10","8":"10","9":"2","10":"7","11":"5","12":"3","13":"2","14":"4","15":"4","16":"4","17":"99.247109","18":"3","19":"3","20":"2","21":"3"},{"1":"5","2":"9","3":"10","4":"2","5":"10","6":"6","7":"8","8":"8","9":"4","10":"5","11":"4","12":"5","13":"4","14":"5","15":"4","16":"5","17":"81.285779","18":"3","19":"3","20":"4","21":"4"},{"1":"5","2":"4","3":"10","4":"10","5":"10","6":"10","7":"8","8":"8","9":"2","10":"4","11":"5","12":"4","13":"3","14":"4","15":"1","16":"4","17":"40.389145","18":"3","19":"5","20":"1","21":"4"},{"1":"2","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"3","12":"2","13":"3","14":"5","15":"3","16":"5","17":"33.363126","18":"2","19":"5","20":"2","21":"5"},{"1":"5","2":"2","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"3","10":"6","11":"4","12":"2","13":"4","14":"4","15":"4","16":"4","17":"54.487796","18":"4","19":"5","20":"3","21":"4"},{"1":"3","2":"7","3":"8","4":"9","5":"10","6":"9","7":"10","8":"9","9":"2","10":"5","11":"6","12":"3","13":"1","14":"5","15":"4","16":"5","17":"42.058903","18":"1","19":"4","20":"1","21":"4"},{"1":"5","2":"1","3":"8","4":"9","5":"3","6":"9","7":"9","8":"9","9":"1","10":"6","11":"5","12":"6","13":"1","14":"4","15":"3","16":"5","17":"56.393195","18":"1","19":"5","20":"2","21":"4"},{"1":"5","2":"5","3":"9","4":"8","5":"9","6":"9","7":"8","8":"8","9":"2","10":"5","11":"4","12":"5","13":"4","14":"5","15":"3","16":"5","17":"57.670771","18":"3","19":"3","20":"6","21":"4"},{"1":"5","2":"7","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"2","10":"6","11":"5","12":"2","13":"6","14":"4","15":"3","16":"5","17":"67.811597","18":"3","19":"3","20":"2","21":"4"},{"1":"2","2":"4","3":"8","4":"9","5":"9","6":"9","7":"9","8":"9","9":"1","10":"6","11":"4","12":"1","13":"1","14":"4","15":"1","16":"4","17":"29.956949","18":"2","19":"3","20":"2","21":"3"},{"1":"3","2":"5","3":"9","4":"8","5":"9","6":"8","7":"10","8":"9","9":"1","10":"5","11":"3","12":"1","13":"2","14":"1","15":"3","16":"4","17":"33.255590","18":"2","19":"3","20":"1","21":"4"},{"1":"3","2":"3","3":"0","4":"10","5":"10","6":"0","7":"10","8":"10","9":"1","10":"7","11":"4","12":"4","13":"1","14":"4","15":"3","16":"4","17":"37.602557","18":"1","19":"3","20":"1","21":"2"},{"1":"4","2":"0","3":"0","4":"10","5":"8","6":"0","7":"10","8":"10","9":"1","10":"7","11":"5","12":"3","13":"2","14":"1","15":"2","16":"1","17":"26.849949","18":"2","19":"1","20":"2","21":"1"},{"1":"2","2":"5","3":"10","4":"10","5":"10","6":"8","7":"10","8":"10","9":"1","10":"7","11":"4","12":"3","13":"3","14":"5","15":"2","16":"5","17":"20.245391","18":"1","19":"5","20":"2","21":"4"},{"1":"6","2":"7","3":"9","4":"7","5":"9","6":"9","7":"7","8":"7","9":"2","10":"5","11":"3","12":"4","13":"1","14":"4","15":"4","16":"3","17":"79.511904","18":"1","19":"2","20":"4","21":"3"},{"1":"5","2":"1","3":"8","4":"8","5":"7","6":"7","7":"8","8":"8","9":"3","10":"5","11":"6","12":"4","13":"3","14":"4","15":"4","16":"4","17":"85.031693","18":"4","19":"3","20":"4","21":"4"},{"1":"4","2":"4","3":"8","4":"9","5":"4","6":"8","7":"10","8":"10","9":"1","10":"7","11":"2","12":"3","13":"1","14":"4","15":"1","16":"4","17":"28.606961","18":"2","19":"3","20":"1","21":"3"},{"1":"3","2":"9","3":"9","4":"10","5":"9","6":"9","7":"10","8":"10","9":"1","10":"7","11":"3","12":"2","13":"1","14":"5","15":"2","16":"4","17":"52.824210","18":"1","19":"4","20":"3","21":"3"},{"1":"5","2":"1","3":"8","4":"5","5":"8","6":"8","7":"9","8":"9","9":"4","10":"4","11":"4","12":"1","13":"2","14":"4","15":"1","16":"4","17":"46.363926","18":"2","19":"3","20":"4","21":"3"},{"1":"4","2":"7","3":"9","4":"7","5":"9","6":"9","7":"7","8":"7","9":"3","10":"4","11":"3","12":"3","13":"6","14":"4","15":"4","16":"4","17":"58.142613","18":"5","19":"3","20":"3","21":"3"},{"1":"6","2":"2","3":"7","4":"7","5":"6","6":"7","7":"10","8":"10","9":"1","10":"7","11":"4","12":"2","13":"1","14":"5","15":"1","16":"4","17":"58.930660","18":"1","19":"3","20":"1","21":"4"},{"1":"6","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"6","12":"2","13":"2","14":"5","15":"2","16":"5","17":"67.468610","18":"2","19":"3","20":"2","21":"3"},{"1":"4","2":"6","3":"10","4":"7","5":"10","6":"10","7":"9","8":"9","9":"3","10":"5","11":"3","12":"2","13":"1","14":"5","15":"2","16":"5","17":"28.272684","18":"2","19":"4","20":"3","21":"4"},{"1":"4","2":"6","3":"9","4":"9","5":"9","6":"10","7":"9","8":"9","9":"1","10":"6","11":"5","12":"3","13":"1","14":"4","15":"3","16":"5","17":"25.309698","18":"1","19":"4","20":"1","21":"4"},{"1":"7","2":"6","3":"10","4":"10","5":"9","6":"10","7":"10","8":"10","9":"2","10":"7","11":"7","12":"4","13":"4","14":"4","15":"5","16":"4","17":"74.274555","18":"4","19":"3","20":"3","21":"4"},{"1":"4","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"5","12":"2","13":"5","14":"5","15":"1","16":"5","17":"31.831268","18":"4","19":"3","20":"4","21":"4"},{"1":"4","2":"4","3":"8","4":"2","5":"7","6":"7","7":"5","8":"5","9":"2","10":"2","11":"1","12":"1","13":"3","14":"4","15":"4","16":"3","17":"32.393935","18":"4","19":"3","20":"4","21":"3"},{"1":"2","2":"1","3":"2","4":"8","5":"9","6":"9","7":"5","8":"5","9":"1","10":"4","11":"3","12":"1","13":"2","14":"2","15":"1","16":"2","17":"7.581380","18":"1","19":"2","20":"1","21":"2"},{"1":"4","2":"3","3":"6","4":"7","5":"7","6":"7","7":"6","8":"6","9":"1","10":"4","11":"4","12":"2","13":"1","14":"5","15":"2","16":"4","17":"33.692476","18":"2","19":"3","20":"1","21":"3"},{"1":"4","2":"7","3":"9","4":"8","5":"9","6":"7","7":"8","8":"9","9":"4","10":"6","11":"6","12":"5","13":"4","14":"4","15":"5","16":"4","17":"57.155418","18":"3","19":"3","20":"2","21":"3"},{"1":"5","2":"8","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"6","12":"6","13":"2","14":"5","15":"2","16":"4","17":"62.405025","18":"2","19":"3","20":"2","21":"4"},{"1":"4","2":"6","3":"7","4":"9","5":"10","6":"8","7":"10","8":"10","9":"1","10":"5","11":"5","12":"3","13":"1","14":"4","15":"2","16":"5","17":"64.991021","18":"1","19":"3","20":"1","21":"3"},{"1":"4","2":"4","3":"2","4":"9","5":"8","6":"5","7":"9","8":"9","9":"2","10":"7","11":"6","12":"3","13":"3","14":"4","15":"4","16":"4","17":"40.423698","18":"1","19":"4","20":"2","21":"3"},{"1":"3","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"4","12":"1","13":"2","14":"4","15":"2","16":"4","17":"42.181016","18":"3","19":"5","20":"5","21":"4"},{"1":"4","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"4","12":"2","13":"3","14":"4","15":"1","16":"4","17":"22.741075","18":"2","19":"4","20":"3","21":"4"},{"1":"3","2":"7","3":"8","4":"8","5":"8","6":"8","7":"8","8":"8","9":"1","10":"5","11":"4","12":"3","13":"2","14":"3","15":"1","16":"2","17":"14.330164","18":"1","19":"1","20":"3","21":"1"},{"1":"2","2":"1","3":"4","4":"7","5":"4","6":"4","7":"4","8":"7","9":"2","10":"1","11":"4","12":"2","13":"1","14":"2","15":"2","16":"2","17":"29.879853","18":"3","19":"2","20":"2","21":"1"},{"1":"6","2":"3","3":"6","4":"10","5":"8","6":"8","7":"10","8":"10","9":"1","10":"7","11":"6","12":"2","13":"1","14":"5","15":"3","16":"4","17":"68.077337","18":"1","19":"3","20":"1","21":"4"},{"1":"4","2":"2","3":"8","4":"8","5":"8","6":"8","7":"8","8":"8","9":"2","10":"5","11":"2","12":"2","13":"1","14":"4","15":"1","16":"4","17":"41.088037","18":"2","19":"3","20":"1","21":"3"},{"1":"3","2":"4","3":"9","4":"9","5":"9","6":"8","7":"9","8":"9","9":"1","10":"5","11":"4","12":"2","13":"1","14":"3","15":"3","16":"4","17":"57.340067","18":"2","19":"3","20":"1","21":"3"},{"1":"5","2":"9","3":"9","4":"6","5":"9","6":"9","7":"7","8":"7","9":"4","10":"3","11":"5","12":"2","13":"4","14":"3","15":"1","16":"3","17":"40.758050","18":"4","19":"2","20":"4","21":"3"},{"1":"3","2":"10","3":"9","4":"5","5":"9","6":"9","7":"7","8":"7","9":"1","10":"5","11":"5","12":"3","13":"3","14":"4","15":"2","16":"4","17":"37.528698","18":"1","19":"2","20":"2","21":"3"},{"1":"4","2":"6","3":"8","4":"7","5":"8","6":"8","7":"7","8":"7","9":"2","10":"4","11":"3","12":"3","13":"1","14":"4","15":"2","16":"4","17":"37.308860","18":"1","19":"2","20":"1","21":"3"},{"1":"6","2":"5","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"3","10":"6","11":"5","12":"4","13":"1","14":"4","15":"5","16":"4","17":"85.218549","18":"2","19":"4","20":"1","21":"4"},{"1":"5","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"2","12":"4","13":"2","14":"4","15":"2","16":"5","17":"70.500803","18":"1","19":"3","20":"2","21":"4"},{"1":"5","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"3","12":"1","13":"1","14":"5","15":"1","16":"5","17":"53.918843","18":"1","19":"5","20":"1","21":"3"},{"1":"6","2":"7","3":"9","4":"7","5":"7","6":"9","7":"9","8":"9","9":"3","10":"6","11":"6","12":"5","13":"3","14":"4","15":"2","16":"4","17":"64.951164","18":"2","19":"2","20":"4","21":"3"},{"1":"4","2":"2","3":"9","4":"8","5":"9","6":"8","7":"9","8":"8","9":"1","10":"5","11":"5","12":"4","13":"1","14":"4","15":"3","16":"4","17":"64.868335","18":"1","19":"2","20":"1","21":"2"},{"1":"4","2":"2","3":"6","4":"6","5":"7","6":"8","7":"7","8":"7","9":"2","10":"4","11":"4","12":"4","13":"1","14":"4","15":"2","16":"4","17":"64.818368","18":"1","19":"3","20":"2","21":"3"},{"1":"2","2":"3","3":"8","4":"8","5":"8","6":"8","7":"8","8":"8","9":"1","10":"5","11":"4","12":"1","13":"2","14":"3","15":"2","16":"3","17":"33.934710","18":"1","19":"2","20":"1","21":"3"},{"1":"6","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"5","12":"6","13":"5","14":"4","15":"4","16":"4","17":"65.812691","18":"3","19":"3","20":"4","21":"3"},{"1":"2","2":"4","3":"8","4":"7","5":"7","6":"7","7":"7","8":"7","9":"2","10":"6","11":"2","12":"2","13":"4","14":"3","15":"2","16":"3","17":"24.336594","18":"1","19":"2","20":"2","21":"2"},{"1":"4","2":"5","3":"9","4":"7","5":"8","6":"10","7":"0","8":"8","9":"1","10":"3","11":"4","12":"4","13":"1","14":"5","15":"3","16":"5","17":"79.937272","18":"1","19":"5","20":"2","21":"3"},{"1":"2","2":"0","3":"4","4":"7","5":"7","6":"2","7":"7","8":"7","9":"1","10":"1","11":"3","12":"2","13":"1","14":"1","15":"2","16":"1","17":"60.703801","18":"1","19":"1","20":"1","21":"1"},{"1":"4","2":"3","3":"8","4":"9","5":"8","6":"8","7":"10","8":"9","9":"3","10":"6","11":"4","12":"3","13":"2","14":"5","15":"5","16":"5","17":"91.738729","18":"3","19":"4","20":"3","21":"4"},{"1":"3","2":"4","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"3","10":"6","11":"3","12":"3","13":"4","14":"4","15":"2","16":"4","17":"43.100380","18":"2","19":"4","20":"4","21":"4"},{"1":"5","2":"7","3":"8","4":"8","5":"8","6":"10","7":"10","8":"8","9":"2","10":"7","11":"5","12":"4","13":"2","14":"5","15":"2","16":"5","17":"60.501331","18":"1","19":"3","20":"3","21":"4"},{"1":"5","2":"9","3":"9","4":"9","5":"9","6":"7","7":"9","8":"9","9":"3","10":"6","11":"4","12":"2","13":"1","14":"4","15":"2","16":"4","17":"72.405472","18":"2","19":"3","20":"1","21":"2"},{"1":"4","2":"4","3":"7","4":"7","5":"7","6":"7","7":"7","8":"7","9":"1","10":"4","11":"3","12":"4","13":"2","14":"3","15":"1","16":"4","17":"47.001001","18":"2","19":"2","20":"4","21":"3"},{"1":"5","2":"9","3":"8","4":"8","5":"8","6":"7","7":"9","8":"9","9":"1","10":"5","11":"5","12":"2","13":"1","14":"1","15":"2","16":"3","17":"35.228634","18":"3","19":"2","20":"3","21":"3"},{"1":"4","2":"0","3":"6","4":"9","5":"6","6":"6","7":"10","8":"10","9":"3","10":"5","11":"4","12":"2","13":"2","14":"4","15":"4","16":"4","17":"18.003419","18":"1","19":"3","20":"1","21":"4"},{"1":"3","2":"0","3":"5","4":"6","5":"5","6":"6","7":"6","8":"6","9":"1","10":"2","11":"3","12":"5","13":"2","14":"3","15":"2","16":"3","17":"36.193136","18":"1","19":"3","20":"1","21":"2"},{"1":"5","2":"10","3":"8","4":"9","5":"9","6":"9","7":"9","8":"9","9":"1","10":"6","11":"3","12":"3","13":"2","14":"3","15":"2","16":"4","17":"94.302951","18":"1","19":"2","20":"2","21":"3"},{"1":"4","2":"4","3":"9","4":"4","5":"9","6":"8","7":"5","8":"8","9":"1","10":"4","11":"4","12":"3","13":"1","14":"4","15":"2","16":"3","17":"29.846403","18":"2","19":"3","20":"2","21":"3"},{"1":"4","2":"6","3":"9","4":"7","5":"9","6":"9","7":"9","8":"9","9":"2","10":"6","11":"5","12":"3","13":"3","14":"4","15":"2","16":"3","17":"40.642552","18":"1","19":"3","20":"1","21":"3"},{"1":"7","2":"0","3":"9","4":"8","5":"9","6":"9","7":"9","8":"9","9":"1","10":"6","11":"6","12":"4","13":"3","14":"4","15":"4","16":"4","17":"78.816676","18":"2","19":"3","20":"4","21":"3"},{"1":"7","2":"3","3":"8","4":"8","5":"8","6":"8","7":"8","8":"8","9":"3","10":"5","11":"7","12":"6","13":"3","14":"4","15":"5","16":"4","17":"83.810344","18":"2","19":"2","20":"3","21":"3"},{"1":"4","2":"4","3":"7","4":"4","5":"7","6":"7","7":"2","8":"6","9":"3","10":"3","11":"3","12":"3","13":"1","14":"3","15":"1","16":"1","17":"48.267564","18":"1","19":"1","20":"2","21":"1"},{"1":"5","2":"2","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"2","10":"6","11":"2","12":"3","13":"3","14":"4","15":"3","16":"4","17":"42.821465","18":"2","19":"4","20":"3","21":"4"},{"1":"5","2":"7","3":"9","4":"7","5":"9","6":"9","7":"8","8":"8","9":"1","10":"5","11":"4","12":"4","13":"2","14":"4","15":"3","16":"4","17":"60.623482","18":"2","19":"3","20":"1","21":"3"},{"1":"3","2":"6","3":"10","4":"8","5":"10","6":"10","7":"9","8":"9","9":"2","10":"7","11":"2","12":"3","13":"3","14":"4","15":"1","16":"4","17":"29.627753","18":"2","19":"3","20":"3","21":"3"},{"1":"5","2":"6","3":"10","4":"9","5":"10","6":"10","7":"8","8":"10","9":"2","10":"7","11":"5","12":"6","13":"3","14":"5","15":"5","16":"3","17":"60.768201","18":"3","19":"3","20":"4","21":"3"},{"1":"2","2":"5","3":"8","4":"8","5":"8","6":"8","7":"7","8":"8","9":"2","10":"5","11":"3","12":"3","13":"1","14":"4","15":"1","16":"3","17":"40.081009","18":"1","19":"3","20":"1","21":"3"},{"1":"4","2":"6","3":"7","4":"8","5":"7","6":"8","7":"8","8":"8","9":"2","10":"5","11":"6","12":"5","13":"3","14":"3","15":"4","16":"3","17":"70.892707","18":"3","19":"3","20":"2","21":"3"},{"1":"5","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"3","12":"4","13":"2","14":"5","15":"4","16":"5","17":"61.074171","18":"2","19":"5","20":"2","21":"5"},{"1":"5","2":"4","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"2","10":"5","11":"4","12":"2","13":"1","14":"5","15":"3","16":"4","17":"47.714557","18":"1","19":"3","20":"2","21":"3"},{"1":"7","2":"5","3":"5","4":"8","5":"8","6":"7","7":"8","8":"8","9":"1","10":"5","11":"5","12":"4","13":"1","14":"4","15":"3","16":"4","17":"67.214119","18":"1","19":"3","20":"1","21":"3"},{"1":"2","2":"4","3":"5","4":"5","5":"8","6":"8","7":"5","8":"5","9":"1","10":"2","11":"2","12":"1","13":"2","14":"4","15":"1","16":"5","17":"13.325266","18":"1","19":"4","20":"1","21":"3"},{"1":"5","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"6","12":"6","13":"1","14":"5","15":"5","16":"5","17":"77.888716","18":"1","19":"4","20":"3","21":"5"},{"1":"3","2":"6","3":"8","4":"5","5":"8","6":"8","7":"4","8":"5","9":"1","10":"1","11":"4","12":"2","13":"1","14":"5","15":"2","16":"5","17":"64.109013","18":"1","19":"3","20":"1","21":"3"},{"1":"5","2":"6","3":"9","4":"7","5":"9","6":"9","7":"9","8":"9","9":"3","10":"6","11":"5","12":"4","13":"1","14":"4","15":"5","16":"3","17":"59.144285","18":"1","19":"3","20":"3","21":"2"},{"1":"5","2":"2","3":"8","4":"7","5":"8","6":"8","7":"8","8":"8","9":"3","10":"4","11":"5","12":"3","13":"3","14":"3","15":"4","16":"3","17":"45.453980","18":"4","19":"2","20":"3","21":"2"},{"1":"5","2":"5","3":"10","4":"5","5":"8","6":"8","7":"8","8":"8","9":"4","10":"5","11":"5","12":"3","13":"3","14":"4","15":"3","16":"4","17":"67.765037","18":"2","19":"3","20":"2","21":"3"},{"1":"5","2":"6","3":"6","4":"7","5":"5","6":"8","7":"7","8":"9","9":"1","10":"5","11":"7","12":"4","13":"2","14":"4","15":"5","16":"4","17":"96.529201","18":"2","19":"3","20":"2","21":"2"},{"1":"3","2":"1","3":"0","4":"4","5":"9","6":"0","7":"6","8":"6","9":"1","10":"3","11":"4","12":"3","13":"1","14":"2","15":"4","16":"2","17":"17.175077","18":"1","19":"2","20":"1","21":"1"},{"1":"7","2":"8","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"5","12":"5","13":"3","14":"4","15":"5","16":"5","17":"73.957741","18":"1","19":"4","20":"3","21":"4"},{"1":"4","2":"4","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"5","12":"4","13":"1","14":"5","15":"2","16":"5","17":"61.168267","18":"2","19":"3","20":"2","21":"5"},{"1":"5","2":"2","3":"9","4":"7","5":"9","6":"9","7":"8","8":"8","9":"2","10":"4","11":"4","12":"4","13":"3","14":"3","15":"2","16":"3","17":"73.729341","18":"2","19":"2","20":"4","21":"3"},{"1":"4","2":"7","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"1","10":"5","11":"4","12":"5","13":"4","14":"4","15":"3","16":"5","17":"38.838365","18":"2","19":"3","20":"4","21":"4"},{"1":"7","2":"8","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"6","12":"5","13":"3","14":"5","15":"4","16":"5","17":"79.591824","18":"3","19":"5","20":"2","21":"4"},{"1":"4","2":"6","3":"8","4":"7","5":"8","6":"8","7":"7","8":"7","9":"1","10":"4","11":"2","12":"3","13":"2","14":"4","15":"2","16":"4","17":"27.413299","18":"1","19":"2","20":"1","21":"3"},{"1":"4","2":"5","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"3","12":"4","13":"2","14":"5","15":"4","16":"5","17":"53.205806","18":"2","19":"5","20":"2","21":"4"},{"1":"4","2":"2","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"2","12":"1","13":"1","14":"5","15":"1","16":"5","17":"37.854049","18":"1","19":"5","20":"1","21":"3"},{"1":"4","2":"7","3":"9","4":"10","5":"9","6":"9","7":"10","8":"10","9":"3","10":"7","11":"6","12":"4","13":"5","14":"5","15":"4","16":"5","17":"74.274063","18":"2","19":"3","20":"5","21":"4"},{"1":"4","2":"7","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"3","10":"6","11":"5","12":"4","13":"1","14":"3","15":"3","16":"3","17":"73.102668","18":"1","19":"2","20":"5","21":"3"},{"1":"4","2":"4","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"3","12":"5","13":"2","14":"5","15":"2","16":"5","17":"58.189836","18":"3","19":"5","20":"2","21":"5"},{"1":"5","2":"1","3":"5","4":"7","5":"7","6":"7","7":"5","8":"5","9":"1","10":"2","11":"4","12":"2","13":"1","14":"4","15":"3","16":"4","17":"44.921584","18":"2","19":"2","20":"1","21":"1"},{"1":"6","2":"6","3":"10","4":"0","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"5","12":"4","13":"4","14":"5","15":"4","16":"5","17":"60.395273","18":"3","19":"5","20":"6","21":"5"},{"1":"5","2":"6","3":"10","4":"9","5":"10","6":"10","7":"10","8":"9","9":"4","10":"7","11":"5","12":"5","13":"3","14":"5","15":"3","16":"5","17":"60.543694","18":"3","19":"5","20":"4","21":"5"},{"1":"3","2":"7","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"1","10":"6","11":"3","12":"2","13":"1","14":"4","15":"2","16":"4","17":"30.752592","18":"1","19":"4","20":"1","21":"4"},{"1":"5","2":"5","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"5","12":"4","13":"3","14":"5","15":"2","16":"5","17":"55.925741","18":"3","19":"5","20":"2","21":"5"},{"1":"5","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"6","12":"4","13":"2","14":"5","15":"4","16":"5","17":"42.256069","18":"2","19":"3","20":"2","21":"5"},{"1":"5","2":"0","3":"8","4":"7","5":"7","6":"7","7":"7","8":"8","9":"2","10":"4","11":"5","12":"2","13":"1","14":"3","15":"3","16":"4","17":"48.622942","18":"1","19":"3","20":"1","21":"3"},{"1":"4","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"6","12":"3","13":"3","14":"5","15":"5","16":"5","17":"80.995636","18":"3","19":"5","20":"1","21":"4"},{"1":"2","2":"0","3":"3","4":"4","5":"9","6":"4","7":"1","8":"9","9":"1","10":"6","11":"1","12":"1","13":"1","14":"2","15":"1","16":"3","17":"27.911208","18":"1","19":"1","20":"1","21":"1"},{"1":"2","2":"7","3":"9","4":"8","5":"9","6":"9","7":"8","8":"9","9":"2","10":"6","11":"2","12":"1","13":"3","14":"4","15":"1","16":"4","17":"34.866416","18":"1","19":"3","20":"1","21":"3"},{"1":"3","2":"3","3":"7","4":"7","5":"7","6":"1","7":"8","8":"8","9":"3","10":"7","11":"2","12":"3","13":"1","14":"3","15":"1","16":"3","17":"50.190034","18":"1","19":"4","20":"1","21":"3"},{"1":"4","2":"5","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"5","12":"3","13":"3","14":"5","15":"5","16":"5","17":"83.625503","18":"4","19":"5","20":"5","21":"5"},{"1":"4","2":"7","3":"9","4":"4","5":"9","6":"9","7":"9","8":"9","9":"1","10":"6","11":"5","12":"2","13":"3","14":"2","15":"3","16":"2","17":"53.460900","18":"1","19":"2","20":"3","21":"1"},{"1":"6","2":"8","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"1","10":"6","11":"6","12":"5","13":"1","14":"4","15":"4","16":"4","17":"37.637199","18":"1","19":"4","20":"1","21":"2"},{"1":"3","2":"10","3":"10","4":"0","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"4","12":"2","13":"3","14":"5","15":"1","16":"5","17":"72.560732","18":"3","19":"4","20":"3","21":"5"},{"1":"5","2":"0","3":"2","4":"7","5":"4","6":"4","7":"7","8":"7","9":"1","10":"4","11":"3","12":"3","13":"1","14":"3","15":"3","16":"4","17":"41.111503","18":"1","19":"2","20":"2","21":"3"},{"1":"4","2":"5","3":"8","4":"7","5":"9","6":"9","7":"8","8":"8","9":"1","10":"5","11":"2","12":"2","13":"5","14":"4","15":"2","16":"4","17":"26.627864","18":"4","19":"3","20":"3","21":"3"},{"1":"6","2":"6","3":"7","4":"9","5":"9","6":"9","7":"9","8":"9","9":"2","10":"6","11":"6","12":"5","13":"4","14":"3","15":"3","16":"4","17":"63.386826","18":"2","19":"2","20":"2","21":"2"},{"1":"6","2":"6","3":"8","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"2","11":"4","12":"5","13":"1","14":"4","15":"5","16":"5","17":"63.997840","18":"2","19":"4","20":"2","21":"4"},{"1":"5","2":"3","3":"7","4":"7","5":"7","6":"6","7":"7","8":"7","9":"4","10":"4","11":"2","12":"1","13":"4","14":"4","15":"1","16":"4","17":"60.020960","18":"3","19":"2","20":"2","21":"3"},{"1":"4","2":"2","3":"6","4":"7","5":"6","6":"3","7":"7","8":"7","9":"1","10":"4","11":"4","12":"3","13":"1","14":"2","15":"2","16":"2","17":"41.481967","18":"3","19":"2","20":"2","21":"2"},{"1":"4","2":"8","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"4","12":"5","13":"1","14":"5","15":"2","16":"5","17":"55.186390","18":"2","19":"5","20":"1","21":"4"},{"1":"3","2":"7","3":"6","4":"8","5":"6","6":"9","7":"9","8":"9","9":"1","10":"3","11":"4","12":"3","13":"2","14":"3","15":"3","16":"3","17":"35.275927","18":"2","19":"2","20":"3","21":"2"},{"1":"2","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"3","12":"1","13":"1","14":"5","15":"3","16":"5","17":"25.638510","18":"3","19":"5","20":"2","21":"5"},{"1":"5","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"6","12":"4","13":"4","14":"5","15":"3","16":"5","17":"78.291025","18":"2","19":"5","20":"2","21":"4"},{"1":"1","2":"4","3":"9","4":"9","5":"9","6":"9","7":"7","8":"9","9":"1","10":"6","11":"3","12":"1","13":"3","14":"4","15":"1","16":"3","17":"18.215549","18":"1","19":"2","20":"2","21":"3"},{"1":"6","2":"6","3":"7","4":"7","5":"9","6":"9","7":"9","8":"8","9":"3","10":"6","11":"5","12":"4","13":"1","14":"2","15":"3","16":"3","17":"41.705511","18":"1","19":"2","20":"1","21":"1"},{"1":"3","2":"4","3":"7","4":"7","5":"6","6":"8","7":"7","8":"8","9":"2","10":"5","11":"3","12":"4","13":"3","14":"5","15":"3","16":"4","17":"41.986850","18":"3","19":"4","20":"1","21":"4"},{"1":"2","2":"6","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"1","10":"4","11":"2","12":"2","13":"4","14":"4","15":"3","16":"4","17":"35.166845","18":"5","19":"4","20":"2","21":"4"},{"1":"6","2":"6","3":"9","4":"8","5":"10","6":"9","7":"9","8":"9","9":"1","10":"6","11":"6","12":"5","13":"3","14":"4","15":"3","16":"5","17":"54.191754","18":"1","19":"4","20":"1","21":"4"},{"1":"5","2":"3","3":"9","4":"10","5":"9","6":"9","7":"10","8":"10","9":"1","10":"5","11":"6","12":"4","13":"2","14":"5","15":"3","16":"5","17":"77.331147","18":"3","19":"5","20":"2","21":"4"},{"1":"4","2":"8","3":"10","4":"7","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"4","12":"3","13":"5","14":"5","15":"4","16":"4","17":"14.734744","18":"5","19":"3","20":"5","21":"3"},{"1":"3","2":"8","3":"9","4":"6","5":"9","6":"9","7":"9","8":"9","9":"2","10":"6","11":"4","12":"4","13":"2","14":"4","15":"2","16":"4","17":"36.573049","18":"1","19":"4","20":"1","21":"4"},{"1":"5","2":"2","3":"8","4":"8","5":"9","6":"9","7":"9","8":"9","9":"1","10":"5","11":"4","12":"3","13":"3","14":"4","15":"2","16":"4","17":"40.397209","18":"1","19":"4","20":"1","21":"4"},{"1":"5","2":"4","3":"9","4":"7","5":"9","6":"9","7":"3","8":"8","9":"1","10":"4","11":"5","12":"4","13":"2","14":"4","15":"4","16":"3","17":"74.158427","18":"1","19":"2","20":"1","21":"2"},{"1":"5","2":"5","3":"10","4":"7","5":"10","6":"10","7":"9","8":"9","9":"3","10":"6","11":"4","12":"3","13":"2","14":"5","15":"4","16":"5","17":"85.965381","18":"1","19":"5","20":"2","21":"5"},{"1":"2","2":"0","3":"0","4":"9","5":"4","6":"9","7":"9","8":"7","9":"1","10":"6","11":"2","12":"1","13":"1","14":"3","15":"1","16":"2","17":"44.484846","18":"1","19":"2","20":"1","21":"2"},{"1":"4","2":"7","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"3","10":"6","11":"4","12":"3","13":"2","14":"3","15":"2","16":"3","17":"51.561166","18":"3","19":"2","20":"2","21":"2"},{"1":"4","2":"6","3":"8","4":"10","5":"10","6":"2","7":"10","8":"10","9":"5","10":"7","11":"4","12":"4","13":"3","14":"4","15":"3","16":"4","17":"51.496950","18":"3","19":"3","20":"5","21":"3"},{"1":"5","2":"4","3":"9","4":"10","5":"9","6":"8","7":"10","8":"10","9":"2","10":"7","11":"6","12":"5","13":"3","14":"5","15":"5","16":"5","17":"71.270424","18":"4","19":"5","20":"1","21":"5"},{"1":"2","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"3","12":"2","13":"5","14":"5","15":"3","16":"5","17":"41.986425","18":"5","19":"5","20":"3","21":"5"},{"1":"4","2":"4","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"7","12":"3","13":"5","14":"5","15":"5","16":"5","17":"84.186329","18":"5","19":"5","20":"6","21":"5"},{"1":"5","2":"7","3":"10","4":"10","5":"10","6":"10","7":"8","8":"10","9":"4","10":"7","11":"6","12":"4","13":"2","14":"5","15":"2","16":"5","17":"49.100989","18":"3","19":"3","20":"4","21":"4"},{"1":"5","2":"9","3":"9","4":"9","5":"10","6":"9","7":"9","8":"9","9":"3","10":"6","11":"2","12":"3","13":"2","14":"4","15":"3","16":"4","17":"26.850674","18":"2","19":"3","20":"1","21":"3"},{"1":"6","2":"4","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"4","12":"4","13":"4","14":"4","15":"5","16":"5","17":"78.374156","18":"4","19":"5","20":"6","21":"4"},{"1":"3","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"4","12":"3","13":"5","14":"4","15":"4","16":"4","17":"48.436590","18":"1","19":"5","20":"3","21":"5"},{"1":"4","2":"5","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"4","10":"6","11":"4","12":"3","13":"5","14":"5","15":"3","16":"5","17":"80.011667","18":"5","19":"4","20":"5","21":"4"},{"1":"1","2":"1","3":"1","4":"9","5":"1","6":"10","7":"9","8":"9","9":"1","10":"6","11":"3","12":"1","13":"6","14":"4","15":"1","16":"4","17":"48.420350","18":"4","19":"3","20":"4","21":"4"},{"1":"5","2":"9","3":"8","4":"8","5":"6","6":"8","7":"8","8":"8","9":"4","10":"5","11":"3","12":"2","13":"5","14":"5","15":"4","16":"4","17":"82.980283","18":"3","19":"3","20":"4","21":"3"},{"1":"3","2":"4","3":"7","4":"7","5":"7","6":"7","7":"7","8":"7","9":"3","10":"4","11":"4","12":"4","13":"5","14":"4","15":"1","16":"3","17":"78.407981","18":"3","19":"3","20":"3","21":"3"},{"1":"3","2":"5","3":"9","4":"7","5":"9","6":"8","7":"6","8":"6","9":"5","10":"3","11":"3","12":"3","13":"6","14":"4","15":"1","16":"5","17":"41.599976","18":"5","19":"4","20":"6","21":"3"},{"1":"7","2":"6","3":"9","4":"7","5":"9","6":"9","7":"9","8":"9","9":"5","10":"6","11":"5","12":"3","13":"6","14":"5","15":"3","16":"5","17":"71.437473","18":"5","19":"5","20":"5","21":"4"},{"1":"4","2":"4","3":"10","4":"10","5":"10","6":"10","7":"8","8":"8","9":"5","10":"5","11":"4","12":"3","13":"5","14":"5","15":"3","16":"4","17":"68.555028","18":"5","19":"3","20":"5","21":"4"},{"1":"5","2":"5","3":"8","4":"9","5":"8","6":"8","7":"6","8":"9","9":"3","10":"5","11":"5","12":"5","13":"3","14":"4","15":"3","16":"4","17":"88.601653","18":"2","19":"3","20":"3","21":"5"},{"1":"5","2":"4","3":"5","4":"7","5":"8","6":"7","7":"9","8":"8","9":"1","10":"5","11":"4","12":"5","13":"6","14":"4","15":"5","16":"1","17":"71.941815","18":"2","19":"2","20":"4","21":"2"},{"1":"4","2":"1","3":"6","4":"9","5":"9","6":"9","7":"8","8":"9","9":"5","10":"6","11":"2","12":"3","13":"5","14":"4","15":"4","16":"4","17":"31.595432","18":"5","19":"3","20":"4","21":"3"},{"1":"3","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"2","12":"4","13":"5","14":"5","15":"2","16":"5","17":"43.391143","18":"3","19":"5","20":"6","21":"4"},{"1":"3","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"4","12":"1","13":"6","14":"5","15":"1","16":"5","17":"66.717819","18":"5","19":"5","20":"5","21":"5"},{"1":"5","2":"5","3":"9","4":"8","5":"9","6":"9","7":"8","8":"7","9":"2","10":"5","11":"4","12":"1","13":"4","14":"4","15":"2","16":"4","17":"69.747110","18":"1","19":"3","20":"3","21":"2"},{"1":"3","2":"1","3":"8","4":"4","5":"1","6":"4","7":"6","8":"5","9":"3","10":"2","11":"4","12":"2","13":"5","14":"4","15":"3","16":"4","17":"32.823063","18":"4","19":"4","20":"5","21":"3"},{"1":"4","2":"7","3":"10","4":"10","5":"9","6":"10","7":"10","8":"10","9":"5","10":"7","11":"4","12":"2","13":"6","14":"5","15":"2","16":"5","17":"62.326532","18":"4","19":"3","20":"4","21":"4"},{"1":"5","2":"2","3":"10","4":"7","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"6","12":"4","13":"4","14":"5","15":"2","16":"5","17":"66.195306","18":"3","19":"4","20":"5","21":"4"},{"1":"2","2":"3","3":"7","4":"8","5":"7","6":"7","7":"7","8":"8","9":"5","10":"7","11":"4","12":"1","13":"5","14":"4","15":"1","16":"4","17":"25.466134","18":"5","19":"5","20":"6","21":"4"},{"1":"6","2":"5","3":"10","4":"9","5":"10","6":"9","7":"9","8":"9","9":"4","10":"6","11":"5","12":"4","13":"5","14":"5","15":"2","16":"5","17":"75.901371","18":"3","19":"5","20":"3","21":"5"},{"1":"3","2":"5","3":"8","4":"8","5":"9","6":"8","7":"8","8":"8","9":"4","10":"5","11":"4","12":"1","13":"5","14":"5","15":"2","16":"5","17":"59.135565","18":"3","19":"3","20":"3","21":"4"},{"1":"1","2":"5","3":"8","4":"8","5":"10","6":"8","7":"10","8":"10","9":"2","10":"7","11":"1","12":"2","13":"2","14":"5","15":"2","16":"5","17":"19.853245","18":"4","19":"5","20":"3","21":"5"},{"1":"4","2":"6","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"3","12":"3","13":"5","14":"5","15":"4","16":"4","17":"48.333674","18":"5","19":"5","20":"5","21":"5"},{"1":"3","2":"2","3":"8","4":"10","5":"8","6":"8","7":"10","8":"10","9":"4","10":"4","11":"2","12":"3","13":"5","14":"4","15":"2","16":"3","17":"57.577911","18":"4","19":"3","20":"6","21":"3"},{"1":"7","2":"5","3":"8","4":"8","5":"7","6":"6","7":"9","8":"8","9":"4","10":"4","11":"7","12":"6","13":"4","14":"4","15":"5","16":"4","17":"87.753860","18":"2","19":"3","20":"2","21":"3"},{"1":"6","2":"4","3":"6","4":"8","5":"8","6":"8","7":"10","8":"10","9":"2","10":"7","11":"4","12":"4","13":"5","14":"5","15":"2","16":"4","17":"45.607728","18":"1","19":"3","20":"1","21":"4"},{"1":"4","2":"4","3":"7","4":"8","5":"6","6":"7","7":"9","8":"7","9":"4","10":"6","11":"5","12":"3","13":"6","14":"4","15":"3","16":"4","17":"60.164254","18":"3","19":"3","20":"4","21":"3"},{"1":"3","2":"6","3":"8","4":"10","5":"10","6":"6","7":"10","8":"9","9":"5","10":"7","11":"4","12":"2","13":"6","14":"4","15":"1","16":"5","17":"20.688308","18":"4","19":"4","20":"6","21":"3"},{"1":"4","2":"2","3":"10","4":"9","5":"10","6":"10","7":"10","8":"9","9":"4","10":"7","11":"4","12":"1","13":"6","14":"5","15":"3","16":"5","17":"20.603660","18":"5","19":"4","20":"3","21":"4"},{"1":"2","2":"8","3":"9","4":"7","5":"8","6":"8","7":"9","8":"9","9":"3","10":"6","11":"2","12":"4","13":"5","14":"4","15":"1","16":"4","17":"46.871978","18":"2","19":"3","20":"5","21":"3"},{"1":"4","2":"4","3":"10","4":"10","5":"10","6":"9","7":"10","8":"10","9":"4","10":"7","11":"4","12":"4","13":"5","14":"5","15":"1","16":"5","17":"29.454642","18":"4","19":"3","20":"6","21":"4"},{"1":"1","2":"7","3":"9","4":"8","5":"9","6":"8","7":"8","8":"8","9":"5","10":"5","11":"2","12":"1","13":"6","14":"3","15":"1","16":"5","17":"30.129782","18":"5","19":"3","20":"4","21":"3"},{"1":"6","2":"10","3":"10","4":"7","5":"10","6":"10","7":"8","8":"8","9":"5","10":"5","11":"4","12":"3","13":"5","14":"5","15":"3","16":"5","17":"70.971192","18":"5","19":"4","20":"5","21":"4"},{"1":"7","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"7","11":"7","12":"6","13":"4","14":"4","15":"5","16":"5","17":"100.000000","18":"2","19":"3","20":"4","21":"4"},{"1":"4","2":"6","3":"10","4":"9","5":"8","6":"8","7":"10","8":"10","9":"1","10":"4","11":"4","12":"3","13":"5","14":"1","15":"2","16":"1","17":"61.840137","18":"3","19":"1","20":"3","21":"1"},{"1":"5","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"9","9":"5","10":"7","11":"4","12":"4","13":"4","14":"4","15":"3","16":"5","17":"57.535299","18":"3","19":"4","20":"4","21":"2"},{"1":"4","2":"4","3":"7","4":"10","5":"7","6":"8","7":"10","8":"10","9":"2","10":"6","11":"6","12":"4","13":"5","14":"5","15":"3","16":"5","17":"75.752962","18":"2","19":"3","20":"4","21":"4"},{"1":"7","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"7","12":"5","13":"3","14":"5","15":"5","16":"5","17":"83.765237","18":"2","19":"5","20":"3","21":"4"},{"1":"4","2":"6","3":"8","4":"8","5":"8","6":"7","7":"10","8":"10","9":"4","10":"5","11":"6","12":"2","13":"3","14":"5","15":"3","16":"5","17":"68.281763","18":"2","19":"4","20":"5","21":"4"},{"1":"3","2":"5","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"3","12":"2","13":"6","14":"4","15":"1","16":"5","17":"57.506327","18":"5","19":"5","20":"6","21":"5"},{"1":"4","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"8","9":"2","10":"7","11":"3","12":"2","13":"5","14":"5","15":"2","16":"5","17":"70.769753","18":"3","19":"5","20":"2","21":"4"},{"1":"4","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"9","9":"3","10":"7","11":"4","12":"1","13":"5","14":"4","15":"3","16":"4","17":"24.390569","18":"5","19":"3","20":"5","21":"3"},{"1":"4","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"7","12":"4","13":"3","14":"5","15":"5","16":"5","17":"84.083949","18":"2","19":"5","20":"3","21":"4"},{"1":"7","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"6","11":"7","12":"6","13":"6","14":"5","15":"4","16":"4","17":"100.000000","18":"5","19":"3","20":"5","21":"4"},{"1":"4","2":"8","3":"10","4":"9","5":"9","6":"9","7":"9","8":"10","9":"5","10":"6","11":"4","12":"4","13":"6","14":"4","15":"3","16":"5","17":"40.023941","18":"5","19":"4","20":"6","21":"4"},{"1":"2","2":"1","3":"5","4":"9","5":"6","6":"4","7":"8","8":"9","9":"4","10":"6","11":"3","12":"2","13":"6","14":"4","15":"2","16":"4","17":"51.414787","18":"3","19":"3","20":"6","21":"3"},{"1":"2","2":"5","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"6","12":"1","13":"5","14":"4","15":"1","16":"4","17":"65.688357","18":"4","19":"4","20":"6","21":"4"},{"1":"5","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"4","12":"5","13":"6","14":"5","15":"4","16":"5","17":"67.872460","18":"5","19":"3","20":"5","21":"4"},{"1":"1","2":"4","3":"9","4":"7","5":"8","6":"8","7":"10","8":"10","9":"5","10":"5","11":"1","12":"1","13":"5","14":"4","15":"1","16":"4","17":"9.678905","18":"3","19":"3","20":"4","21":"3"},{"1":"4","2":"4","3":"9","4":"9","5":"6","6":"7","7":"8","8":"9","9":"5","10":"6","11":"6","12":"4","13":"5","14":"5","15":"4","16":"5","17":"82.749164","18":"3","19":"4","20":"2","21":"3"},{"1":"5","2":"2","3":"4","4":"10","5":"8","6":"8","7":"7","8":"6","9":"5","10":"4","11":"4","12":"4","13":"5","14":"3","15":"3","16":"3","17":"32.569407","18":"5","19":"4","20":"6","21":"2"},{"1":"6","2":"0","3":"0","4":"10","5":"0","6":"0","7":"5","8":"10","9":"2","10":"7","11":"7","12":"4","13":"3","14":"4","15":"4","16":"4","17":"79.180129","18":"2","19":"4","20":"2","21":"2"},{"1":"5","2":"3","3":"10","4":"10","5":"10","6":"9","7":"10","8":"10","9":"4","10":"7","11":"6","12":"3","13":"5","14":"5","15":"5","16":"5","17":"79.034895","18":"5","19":"5","20":"4","21":"4"},{"1":"4","2":"4","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"2","10":"7","11":"2","12":"3","13":"3","14":"5","15":"2","16":"5","17":"9.511774","18":"2","19":"5","20":"4","21":"5"},{"1":"5","2":"2","3":"8","4":"8","5":"8","6":"7","7":"10","8":"10","9":"5","10":"5","11":"4","12":"4","13":"5","14":"3","15":"3","16":"4","17":"71.093930","18":"3","19":"3","20":"6","21":"3"},{"1":"7","2":"8","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"4","12":"3","13":"4","14":"4","15":"3","16":"5","17":"75.217295","18":"4","19":"3","20":"5","21":"3"},{"1":"3","2":"2","3":"7","4":"7","5":"8","6":"7","7":"9","8":"7","9":"2","10":"4","11":"3","12":"1","13":"4","14":"4","15":"1","16":"4","17":"38.889768","18":"1","19":"3","20":"3","21":"3"},{"1":"6","2":"3","3":"9","4":"9","5":"6","6":"8","7":"8","8":"9","9":"3","10":"4","11":"5","12":"5","13":"3","14":"4","15":"5","16":"5","17":"79.475931","18":"4","19":"3","20":"4","21":"4"},{"1":"3","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"3","12":"4","13":"6","14":"4","15":"2","16":"5","17":"48.445352","18":"5","19":"5","20":"6","21":"5"},{"1":"4","2":"7","3":"10","4":"10","5":"10","6":"9","7":"10","8":"5","9":"2","10":"7","11":"6","12":"2","13":"5","14":"5","15":"4","16":"5","17":"43.911898","18":"1","19":"4","20":"4","21":"4"},{"1":"4","2":"3","3":"8","4":"8","5":"8","6":"8","7":"8","8":"8","9":"2","10":"5","11":"1","12":"4","13":"4","14":"4","15":"1","16":"4","17":"33.225189","18":"3","19":"3","20":"3","21":"3"},{"1":"4","2":"0","3":"4","4":"8","5":"2","6":"4","7":"8","8":"9","9":"3","10":"5","11":"3","12":"2","13":"6","14":"4","15":"2","16":"4","17":"43.252417","18":"5","19":"3","20":"4","21":"4"},{"1":"5","2":"6","3":"9","4":"8","5":"7","6":"9","7":"8","8":"9","9":"5","10":"5","11":"4","12":"2","13":"4","14":"5","15":"2","16":"5","17":"36.538113","18":"4","19":"4","20":"5","21":"4"},{"1":"7","2":"9","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"7","12":"4","13":"4","14":"5","15":"4","16":"5","17":"57.271075","18":"5","19":"3","20":"6","21":"4"},{"1":"6","2":"2","3":"10","4":"10","5":"7","6":"10","7":"10","8":"10","9":"4","10":"7","11":"5","12":"5","13":"5","14":"5","15":"5","16":"5","17":"98.753657","18":"4","19":"4","20":"4","21":"5"},{"1":"3","2":"2","3":"4","4":"6","5":"9","6":"6","7":"8","8":"8","9":"2","10":"5","11":"4","12":"2","13":"4","14":"4","15":"1","16":"4","17":"39.687305","18":"2","19":"4","20":"4","21":"2"},{"1":"6","2":"5","3":"7","4":"10","5":"7","6":"7","7":"10","8":"10","9":"2","10":"7","11":"4","12":"5","13":"5","14":"4","15":"5","16":"4","17":"90.637978","18":"3","19":"4","20":"5","21":"4"},{"1":"5","2":"3","3":"8","4":"8","5":"7","6":"7","7":"8","8":"8","9":"2","10":"5","11":"5","12":"4","13":"5","14":"4","15":"4","16":"4","17":"85.422368","18":"1","19":"3","20":"2","21":"3"},{"1":"6","2":"4","3":"8","4":"7","5":"10","6":"8","7":"7","8":"8","9":"1","10":"5","11":"4","12":"3","13":"4","14":"4","15":"3","16":"4","17":"75.436616","18":"4","19":"3","20":"5","21":"3"},{"1":"3","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"4","12":"2","13":"3","14":"5","15":"2","16":"5","17":"40.233215","18":"5","19":"3","20":"5","21":"4"},{"1":"6","2":"6","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"4","12":"2","13":"5","14":"5","15":"4","16":"5","17":"48.141928","18":"5","19":"3","20":"4","21":"5"},{"1":"4","2":"9","3":"9","4":"7","5":"9","6":"9","7":"9","8":"9","9":"2","10":"6","11":"5","12":"3","13":"6","14":"3","15":"3","16":"5","17":"39.812623","18":"4","19":"2","20":"2","21":"2"},{"1":"5","2":"10","3":"10","4":"10","5":"10","6":"10","7":"8","8":"10","9":"1","10":"7","11":"5","12":"4","13":"3","14":"4","15":"4","16":"4","17":"57.767765","18":"1","19":"3","20":"3","21":"4"},{"1":"4","2":"10","3":"10","4":"10","5":"10","6":"10","7":"10","8":"0","9":"1","10":"7","11":"4","12":"3","13":"3","14":"5","15":"3","16":"5","17":"47.075532","18":"3","19":"5","20":"3","21":"4"},{"1":"4","2":"5","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"3","12":"3","13":"6","14":"4","15":"2","16":"5","17":"49.646251","18":"3","19":"4","20":"4","21":"4"},{"1":"6","2":"3","3":"8","4":"8","5":"10","6":"9","7":"9","8":"9","9":"5","10":"5","11":"4","12":"4","13":"4","14":"4","15":"5","16":"4","17":"73.938694","18":"3","19":"3","20":"4","21":"3"},{"1":"2","2":"4","3":"10","4":"8","5":"10","6":"9","7":"9","8":"9","9":"5","10":"6","11":"4","12":"4","13":"6","14":"4","15":"2","16":"4","17":"62.923266","18":"5","19":"3","20":"6","21":"3"},{"1":"4","2":"5","3":"8","4":"10","5":"8","6":"8","7":"10","8":"10","9":"3","10":"6","11":"4","12":"4","13":"6","14":"4","15":"2","16":"4","17":"83.944604","18":"3","19":"4","20":"5","21":"4"},{"1":"5","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"5","12":"3","13":"6","14":"5","15":"4","16":"5","17":"64.963102","18":"4","19":"4","20":"4","21":"4"},{"1":"4","2":"7","3":"10","4":"8","5":"10","6":"10","7":"8","8":"10","9":"4","10":"7","11":"2","12":"2","13":"5","14":"5","15":"1","16":"5","17":"38.287062","18":"3","19":"5","20":"5","21":"4"},{"1":"4","2":"6","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"2","10":"6","11":"4","12":"3","13":"4","14":"4","15":"1","16":"4","17":"80.155889","18":"2","19":"3","20":"2","21":"4"},{"1":"2","2":"5","3":"10","4":"10","5":"9","6":"9","7":"10","8":"10","9":"2","10":"6","11":"5","12":"4","13":"4","14":"5","15":"1","16":"5","17":"30.950926","18":"4","19":"5","20":"5","21":"4"},{"1":"5","2":"1","3":"10","4":"10","5":"9","6":"9","7":"10","8":"10","9":"3","10":"7","11":"5","12":"2","13":"6","14":"4","15":"3","16":"5","17":"62.258214","18":"4","19":"3","20":"3","21":"4"},{"1":"6","2":"5","3":"9","4":"10","5":"9","6":"9","7":"10","8":"10","9":"2","10":"6","11":"7","12":"5","13":"4","14":"5","15":"5","16":"3","17":"80.732019","18":"5","19":"4","20":"3","21":"4"},{"1":"4","2":"4","3":"10","4":"10","5":"9","6":"10","7":"10","8":"10","9":"4","10":"7","11":"5","12":"4","13":"4","14":"4","15":"3","16":"4","17":"54.978603","18":"3","19":"5","20":"3","21":"4"},{"1":"4","2":"3","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"5","10":"6","11":"5","12":"4","13":"6","14":"5","15":"2","16":"5","17":"50.959499","18":"5","19":"5","20":"6","21":"5"},{"1":"6","2":"2","3":"5","4":"7","5":"7","6":"7","7":"8","8":"8","9":"5","10":"5","11":"6","12":"6","13":"6","14":"3","15":"5","16":"3","17":"88.560723","18":"4","19":"3","20":"5","21":"3"},{"1":"4","2":"1","3":"0","4":"7","5":"2","6":"2","7":"8","8":"8","9":"2","10":"5","11":"4","12":"4","13":"4","14":"4","15":"1","16":"3","17":"35.220349","18":"1","19":"4","20":"2","21":"2"},{"1":"4","2":"5","3":"7","4":"9","5":"7","6":"8","7":"9","8":"7","9":"4","10":"4","11":"4","12":"3","13":"3","14":"4","15":"1","16":"4","17":"40.648829","18":"4","19":"4","20":"3","21":"4"},{"1":"4","2":"0","3":"8","4":"8","5":"8","6":"7","7":"8","8":"8","9":"4","10":"4","11":"4","12":"3","13":"4","14":"3","15":"3","16":"4","17":"23.120414","18":"5","19":"3","20":"4","21":"3"},{"1":"4","2":"4","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"3","11":"4","12":"4","13":"6","14":"5","15":"2","16":"5","17":"63.475533","18":"5","19":"4","20":"6","21":"4"},{"1":"3","2":"1","3":"0","4":"10","5":"0","6":"0","7":"4","8":"10","9":"2","10":"7","11":"2","12":"3","13":"5","14":"4","15":"2","16":"4","17":"32.297525","18":"2","19":"4","20":"3","21":"3"},{"1":"5","2":"1","3":"0","4":"10","5":"10","6":"3","7":"10","8":"10","9":"2","10":"7","11":"4","12":"4","13":"4","14":"4","15":"2","16":"3","17":"46.584988","18":"1","19":"2","20":"1","21":"3"},{"1":"4","2":"3","3":"9","4":"10","5":"4","6":"7","7":"10","8":"8","9":"3","10":"5","11":"4","12":"5","13":"5","14":"5","15":"4","16":"5","17":"53.619931","18":"5","19":"4","20":"3","21":"5"},{"1":"4","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"9","9":"4","10":"7","11":"4","12":"4","13":"6","14":"5","15":"3","16":"5","17":"51.397082","18":"4","19":"5","20":"5","21":"5"},{"1":"4","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"9","9":"4","10":"7","11":"4","12":"5","13":"5","14":"5","15":"3","16":"3","17":"66.372191","18":"4","19":"3","20":"4","21":"2"},{"1":"4","2":"7","3":"8","4":"8","5":"8","6":"8","7":"9","8":"9","9":"4","10":"5","11":"5","12":"4","13":"6","14":"5","15":"2","16":"5","17":"29.686601","18":"4","19":"4","20":"6","21":"4"},{"1":"3","2":"5","3":"6","4":"6","5":"7","6":"7","7":"10","8":"7","9":"2","10":"4","11":"5","12":"1","13":"3","14":"4","15":"1","16":"4","17":"50.618489","18":"1","19":"3","20":"3","21":"3"},{"1":"5","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"7","12":"4","13":"2","14":"5","15":"5","16":"5","17":"67.540695","18":"2","19":"4","20":"5","21":"5"},{"1":"5","2":"0","3":"0","4":"8","5":"7","6":"0","7":"8","8":"8","9":"2","10":"5","11":"7","12":"3","13":"4","14":"4","15":"5","16":"4","17":"69.636639","18":"2","19":"4","20":"2","21":"3"},{"1":"4","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"5","12":"5","13":"6","14":"5","15":"4","16":"5","17":"42.528871","18":"5","19":"5","20":"4","21":"5"},{"1":"4","2":"2","3":"8","4":"8","5":"9","6":"9","7":"9","8":"9","9":"3","10":"6","11":"5","12":"5","13":"4","14":"5","15":"1","16":"5","17":"48.612481","18":"5","19":"4","20":"4","21":"4"},{"1":"3","2":"6","3":"10","4":"8","5":"3","6":"3","7":"8","8":"8","9":"3","10":"5","11":"1","12":"1","13":"4","14":"5","15":"1","16":"4","17":"29.063415","18":"4","19":"3","20":"2","21":"4"},{"1":"4","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"4","12":"3","13":"3","14":"5","15":"3","16":"4","17":"67.260960","18":"4","19":"3","20":"4","21":"4"},{"1":"3","2":"2","3":"6","4":"8","5":"6","6":"7","7":"8","8":"6","9":"2","10":"4","11":"3","12":"5","13":"2","14":"4","15":"4","16":"4","17":"26.141269","18":"1","19":"4","20":"4","21":"4"},{"1":"3","2":"3","3":"8","4":"9","5":"8","6":"8","7":"7","8":"10","9":"5","10":"7","11":"3","12":"3","13":"6","14":"4","15":"1","16":"4","17":"63.991758","18":"4","19":"3","20":"4","21":"2"},{"1":"4","2":"6","3":"9","4":"10","5":"8","6":"8","7":"10","8":"10","9":"5","10":"7","11":"5","12":"2","13":"5","14":"4","15":"2","16":"4","17":"38.766159","18":"3","19":"4","20":"6","21":"3"},{"1":"5","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"7","12":"5","13":"4","14":"5","15":"5","16":"5","17":"100.000000","18":"4","19":"5","20":"4","21":"3"},{"1":"4","2":"7","3":"10","4":"10","5":"10","6":"10","7":"8","8":"8","9":"3","10":"7","11":"4","12":"4","13":"6","14":"4","15":"3","16":"5","17":"49.448208","18":"4","19":"3","20":"4","21":"4"},{"1":"4","2":"5","3":"10","4":"5","5":"10","6":"10","7":"8","8":"10","9":"4","10":"5","11":"3","12":"1","13":"4","14":"3","15":"1","16":"3","17":"30.495209","18":"5","19":"3","20":"6","21":"3"},{"1":"3","2":"2","3":"8","4":"8","5":"8","6":"8","7":"8","8":"8","9":"1","10":"5","11":"2","12":"3","13":"6","14":"5","15":"1","16":"5","17":"32.728224","18":"3","19":"3","20":"3","21":"3"},{"1":"7","2":"0","3":"9","4":"8","5":"8","6":"9","7":"9","8":"9","9":"4","10":"6","11":"4","12":"4","13":"5","14":"4","15":"4","16":"4","17":"68.064068","18":"3","19":"5","20":"6","21":"4"},{"1":"5","2":"4","3":"10","4":"10","5":"5","6":"10","7":"10","8":"10","9":"3","10":"7","11":"4","12":"3","13":"5","14":"4","15":"1","16":"4","17":"41.498241","18":"4","19":"3","20":"5","21":"4"},{"1":"5","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"8","9":"5","10":"7","11":"4","12":"4","13":"6","14":"5","15":"2","16":"5","17":"84.312989","18":"5","19":"3","20":"5","21":"4"},{"1":"5","2":"4","3":"10","4":"10","5":"10","6":"10","7":"10","8":"9","9":"4","10":"7","11":"7","12":"4","13":"5","14":"5","15":"2","16":"5","17":"100.000000","18":"5","19":"4","20":"6","21":"4"},{"1":"4","2":"3","3":"10","4":"10","5":"9","6":"9","7":"10","8":"10","9":"5","10":"6","11":"4","12":"5","13":"4","14":"5","15":"3","16":"5","17":"65.942183","18":"4","19":"5","20":"4","21":"3"},{"1":"3","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"4","12":"3","13":"5","14":"5","15":"2","16":"5","17":"64.677043","18":"4","19":"3","20":"3","21":"4"},{"1":"5","2":"3","3":"10","4":"9","5":"9","6":"9","7":"9","8":"9","9":"5","10":"3","11":"4","12":"2","13":"6","14":"5","15":"3","16":"5","17":"51.882209","18":"4","19":"3","20":"5","21":"4"},{"1":"2","2":"5","3":"8","4":"7","5":"8","6":"7","7":"7","8":"7","9":"5","10":"5","11":"2","12":"1","13":"5","14":"3","15":"3","16":"3","17":"21.280232","18":"5","19":"2","20":"3","21":"2"},{"1":"4","2":"0","3":"8","4":"8","5":"8","6":"8","7":"10","8":"10","9":"5","10":"7","11":"3","12":"3","13":"5","14":"5","15":"1","16":"4","17":"52.331455","18":"5","19":"3","20":"3","21":"4"},{"1":"5","2":"8","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"5","11":"4","12":"3","13":"6","14":"5","15":"3","16":"5","17":"77.674689","18":"5","19":"5","20":"5","21":"5"},{"1":"5","2":"3","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"5","12":"4","13":"6","14":"5","15":"4","16":"5","17":"68.928212","18":"3","19":"3","20":"6","21":"5"},{"1":"4","2":"5","3":"9","4":"9","5":"10","6":"10","7":"9","8":"9","9":"4","10":"6","11":"3","12":"4","13":"4","14":"5","15":"3","16":"4","17":"64.325721","18":"3","19":"3","20":"4","21":"4"},{"1":"6","2":"2","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"6","12":"4","13":"6","14":"5","15":"2","16":"5","17":"88.316538","18":"3","19":"5","20":"6","21":"4"},{"1":"4","2":"5","3":"8","4":"10","5":"6","6":"10","7":"10","8":"10","9":"5","10":"7","11":"5","12":"2","13":"4","14":"4","15":"4","16":"4","17":"74.074161","18":"3","19":"4","20":"5","21":"4"},{"1":"2","2":"2","3":"8","4":"10","5":"10","6":"8","7":"10","8":"10","9":"4","10":"7","11":"4","12":"1","13":"6","14":"4","15":"2","16":"4","17":"38.789257","18":"5","19":"4","20":"6","21":"3"},{"1":"1","2":"3","3":"9","4":"9","5":"5","6":"5","7":"10","8":"10","9":"4","10":"7","11":"3","12":"2","13":"5","14":"4","15":"2","16":"4","17":"44.799801","18":"3","19":"3","20":"4","21":"3"},{"1":"1","2":"5","3":"8","4":"7","5":"8","6":"8","7":"9","8":"9","9":"3","10":"6","11":"3","12":"2","13":"3","14":"5","15":"2","16":"5","17":"27.864734","18":"3","19":"4","20":"4","21":"4"},{"1":"4","2":"7","3":"9","4":"8","5":"9","6":"9","7":"9","8":"9","9":"3","10":"5","11":"5","12":"2","13":"6","14":"5","15":"1","16":"5","17":"65.493610","18":"2","19":"3","20":"3","21":"4"},{"1":"2","2":"6","3":"10","4":"10","5":"7","6":"10","7":"10","8":"10","9":"1","10":"7","11":"3","12":"1","13":"4","14":"5","15":"1","16":"5","17":"41.811244","18":"2","19":"5","20":"2","21":"4"},{"1":"2","2":"0","3":"8","4":"10","5":"6","6":"6","7":"10","8":"10","9":"4","10":"7","11":"4","12":"2","13":"5","14":"4","15":"2","16":"5","17":"62.300438","18":"3","19":"4","20":"4","21":"4"},{"1":"5","2":"4","3":"4","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"5","12":"2","13":"6","14":"2","15":"1","16":"2","17":"26.745932","18":"4","19":"2","20":"5","21":"1"},{"1":"5","2":"2","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"3","10":"6","11":"7","12":"5","13":"6","14":"4","15":"4","16":"4","17":"75.097001","18":"3","19":"3","20":"3","21":"3"},{"1":"3","2":"7","3":"7","4":"8","5":"9","6":"9","7":"9","8":"9","9":"4","10":"6","11":"2","12":"2","13":"6","14":"5","15":"3","16":"5","17":"46.489185","18":"5","19":"3","20":"6","21":"4"},{"1":"2","2":"5","3":"10","4":"10","5":"10","6":"5","7":"10","8":"10","9":"5","10":"7","11":"3","12":"2","13":"6","14":"4","15":"3","16":"4","17":"46.521309","18":"5","19":"5","20":"5","21":"3"},{"1":"7","2":"4","3":"10","4":"9","5":"10","6":"9","7":"10","8":"10","9":"5","10":"6","11":"5","12":"5","13":"5","14":"5","15":"5","16":"5","17":"91.191965","18":"5","19":"5","20":"5","21":"5"},{"1":"5","2":"4","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"4","12":"6","13":"5","14":"5","15":"4","16":"5","17":"83.735917","18":"4","19":"5","20":"6","21":"5"},{"1":"3","2":"7","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"3","10":"6","11":"5","12":"2","13":"4","14":"4","15":"2","16":"4","17":"76.566192","18":"4","19":"3","20":"4","21":"4"},{"1":"5","2":"4","3":"8","4":"9","5":"8","6":"8","7":"9","8":"9","9":"5","10":"6","11":"5","12":"4","13":"6","14":"4","15":"3","16":"4","17":"55.203367","18":"5","19":"3","20":"5","21":"3"},{"1":"6","2":"8","3":"10","4":"9","5":"9","6":"9","7":"9","8":"9","9":"1","10":"7","11":"5","12":"6","13":"2","14":"5","15":"1","16":"5","17":"76.024239","18":"1","19":"4","20":"2","21":"4"},{"1":"6","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"2","11":"4","12":"3","13":"6","14":"3","15":"2","16":"4","17":"70.072244","18":"3","19":"3","20":"1","21":"3"},{"1":"4","2":"6","3":"6","4":"6","5":"5","6":"5","7":"8","8":"8","9":"4","10":"5","11":"3","12":"3","13":"4","14":"4","15":"2","16":"4","17":"42.645432","18":"5","19":"3","20":"4","21":"2"},{"1":"5","2":"4","3":"7","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"4","12":"3","13":"5","14":"5","15":"2","16":"4","17":"49.058937","18":"1","19":"3","20":"1","21":"4"},{"1":"2","2":"3","3":"8","4":"9","5":"8","6":"8","7":"9","8":"9","9":"3","10":"6","11":"4","12":"2","13":"6","14":"4","15":"1","16":"3","17":"14.500024","18":"2","19":"3","20":"2","21":"3"},{"1":"4","2":"7","3":"9","4":"9","5":"9","6":"9","7":"8","8":"9","9":"5","10":"6","11":"3","12":"3","13":"6","14":"5","15":"3","16":"5","17":"46.272599","18":"5","19":"3","20":"5","21":"4"},{"1":"5","2":"7","3":"10","4":"9","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"4","12":"5","13":"5","14":"5","15":"4","16":"5","17":"81.212460","18":"3","19":"5","20":"4","21":"4"},{"1":"5","2":"2","3":"9","4":"8","5":"10","6":"9","7":"9","8":"9","9":"4","10":"6","11":"6","12":"3","13":"5","14":"5","15":"5","16":"5","17":"90.476618","18":"3","19":"4","20":"3","21":"4"},{"1":"4","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"4","12":"3","13":"4","14":"5","15":"2","16":"4","17":"50.419742","18":"3","19":"3","20":"5","21":"3"},{"1":"5","2":"4","3":"8","4":"9","5":"8","6":"8","7":"9","8":"9","9":"3","10":"6","11":"4","12":"4","13":"5","14":"4","15":"2","16":"4","17":"71.210410","18":"4","19":"3","20":"4","21":"3"},{"1":"7","2":"10","3":"10","4":"10","5":"10","6":"10","7":"10","8":"7","9":"4","10":"7","11":"5","12":"3","13":"5","14":"5","15":"5","16":"5","17":"64.955619","18":"5","19":"5","20":"5","21":"5"},{"1":"2","2":"2","3":"5","4":"4","5":"5","6":"6","7":"5","8":"5","9":"4","10":"2","11":"3","12":"2","13":"5","14":"4","15":"2","16":"4","17":"44.049104","18":"5","19":"4","20":"4","21":"3"},{"1":"5","2":"4","3":"7","4":"8","5":"5","6":"7","7":"7","8":"7","9":"5","10":"4","11":"4","12":"4","13":"5","14":"4","15":"1","16":"4","17":"28.396381","18":"3","19":"3","20":"5","21":"3"},{"1":"5","2":"7","3":"9","4":"10","5":"7","6":"9","7":"9","8":"9","9":"2","10":"6","11":"5","12":"2","13":"5","14":"4","15":"3","16":"4","17":"53.563017","18":"1","19":"4","20":"3","21":"3"},{"1":"3","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"2","12":"1","13":"6","14":"4","15":"1","16":"3","17":"55.547868","18":"5","19":"2","20":"5","21":"2"},{"1":"3","2":"3","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"5","12":"2","13":"6","14":"5","15":"3","16":"5","17":"29.895941","18":"5","19":"4","20":"6","21":"4"},{"1":"5","2":"3","3":"9","4":"10","5":"9","6":"8","7":"10","8":"10","9":"5","10":"7","11":"5","12":"4","13":"5","14":"4","15":"4","16":"5","17":"60.229624","18":"4","19":"3","20":"6","21":"3"},{"1":"4","2":"3","3":"10","4":"10","5":"9","6":"10","7":"10","8":"10","9":"4","10":"7","11":"4","12":"2","13":"5","14":"5","15":"3","16":"5","17":"73.747138","18":"4","19":"5","20":"6","21":"5"},{"1":"5","2":"4","3":"10","4":"10","5":"10","6":"10","7":"10","8":"9","9":"2","10":"7","11":"6","12":"4","13":"3","14":"5","15":"4","16":"4","17":"66.361214","18":"3","19":"3","20":"3","21":"3"},{"1":"4","2":"8","3":"10","4":"9","5":"10","6":"10","7":"7","8":"9","9":"2","10":"6","11":"4","12":"3","13":"5","14":"5","15":"2","16":"5","17":"57.206282","18":"5","19":"3","20":"4","21":"3"},{"1":"4","2":"7","3":"8","4":"5","5":"8","6":"8","7":"5","8":"5","9":"2","10":"2","11":"4","12":"2","13":"4","14":"4","15":"3","16":"4","17":"58.273657","18":"3","19":"3","20":"4","21":"3"},{"1":"6","2":"2","3":"9","4":"10","5":"7","6":"7","7":"10","8":"10","9":"3","10":"7","11":"7","12":"6","13":"3","14":"5","15":"5","16":"4","17":"69.413995","18":"3","19":"4","20":"4","21":"4"},{"1":"6","2":"4","3":"8","4":"8","5":"8","6":"8","7":"8","8":"8","9":"2","10":"5","11":"5","12":"2","13":"5","14":"4","15":"3","16":"5","17":"61.362626","18":"2","19":"3","20":"2","21":"4"},{"1":"5","2":"3","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"4","10":"6","11":"5","12":"4","13":"4","14":"4","15":"4","16":"4","17":"49.964508","18":"4","19":"3","20":"4","21":"4"},{"1":"1","2":"5","3":"8","4":"8","5":"8","6":"8","7":"8","8":"8","9":"5","10":"5","11":"1","12":"2","13":"5","14":"4","15":"1","16":"4","17":"0.000000","18":"5","19":"4","20":"5","21":"3"},{"1":"5","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"1","10":"6","11":"4","12":"3","13":"3","14":"5","15":"2","16":"5","17":"71.177882","18":"3","19":"5","20":"4","21":"5"},{"1":"2","2":"9","3":"8","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"2","12":"3","13":"6","14":"4","15":"3","16":"3","17":"37.404560","18":"4","19":"3","20":"4","21":"3"},{"1":"5","2":"6","3":"10","4":"9","5":"10","6":"10","7":"9","8":"9","9":"4","10":"7","11":"5","12":"4","13":"5","14":"4","15":"3","16":"4","17":"70.959598","18":"5","19":"3","20":"5","21":"4"},{"1":"5","2":"7","3":"9","4":"8","5":"9","6":"9","7":"7","8":"7","9":"5","10":"4","11":"4","12":"2","13":"6","14":"5","15":"3","16":"5","17":"54.891842","18":"3","19":"3","20":"5","21":"4"},{"1":"4","2":"3","3":"8","4":"10","5":"10","6":"8","7":"10","8":"10","9":"4","10":"7","11":"6","12":"5","13":"6","14":"4","15":"5","16":"5","17":"80.794220","18":"5","19":"4","20":"5","21":"5"},{"1":"1","2":"7","3":"9","4":"8","5":"9","6":"9","7":"8","8":"8","9":"3","10":"5","11":"1","12":"2","13":"6","14":"4","15":"1","16":"4","17":"20.891646","18":"5","19":"3","20":"4","21":"3"},{"1":"6","2":"4","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"5","12":"2","13":"5","14":"5","15":"2","16":"5","17":"34.826012","18":"3","19":"4","20":"4","21":"5"},{"1":"5","2":"3","3":"7","4":"4","5":"7","6":"4","7":"5","8":"5","9":"5","10":"2","11":"4","12":"1","13":"6","14":"5","15":"1","16":"3","17":"34.157003","18":"5","19":"3","20":"4","21":"3"},{"1":"3","2":"5","3":"9","4":"8","5":"9","6":"9","7":"9","8":"9","9":"5","10":"6","11":"3","12":"2","13":"6","14":"5","15":"1","16":"5","17":"53.341522","18":"4","19":"4","20":"5","21":"4"},{"1":"3","2":"5","3":"10","4":"10","5":"8","6":"10","7":"10","8":"10","9":"4","10":"7","11":"2","12":"4","13":"5","14":"5","15":"1","16":"4","17":"15.995929","18":"4","19":"4","20":"6","21":"4"},{"1":"3","2":"7","3":"9","4":"9","5":"9","6":"9","7":"8","8":"9","9":"5","10":"6","11":"6","12":"5","13":"6","14":"4","15":"1","16":"4","17":"86.048710","18":"5","19":"5","20":"6","21":"4"},{"1":"4","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"4","12":"2","13":"3","14":"5","15":"1","16":"5","17":"57.081033","18":"4","19":"3","20":"4","21":"3"},{"1":"5","2":"6","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"7","11":"5","12":"5","13":"5","14":"4","15":"2","16":"4","17":"66.354246","18":"5","19":"4","20":"3","21":"4"},{"1":"5","2":"4","3":"7","4":"10","5":"10","6":"2","7":"10","8":"10","9":"3","10":"7","11":"5","12":"2","13":"5","14":"5","15":"3","16":"5","17":"62.422780","18":"2","19":"3","20":"3","21":"4"},{"1":"3","2":"8","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"3","12":"3","13":"5","14":"5","15":"1","16":"5","17":"19.906368","18":"2","19":"5","20":"3","21":"3"},{"1":"2","2":"2","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"1","12":"1","13":"3","14":"5","15":"1","16":"5","17":"55.506589","18":"2","19":"3","20":"3","21":"2"},{"1":"4","2":"7","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"4","10":"6","11":"3","12":"3","13":"6","14":"5","15":"3","16":"5","17":"41.163998","18":"5","19":"5","20":"4","21":"4"},{"1":"6","2":"6","3":"10","4":"10","5":"10","6":"10","7":"8","8":"8","9":"3","10":"7","11":"6","12":"5","13":"6","14":"4","15":"3","16":"4","17":"69.114330","18":"5","19":"4","20":"3","21":"4"},{"1":"4","2":"9","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"4","12":"3","13":"6","14":"2","15":"4","16":"1","17":"66.177070","18":"4","19":"1","20":"6","21":"1"},{"1":"5","2":"8","3":"9","4":"9","5":"9","6":"10","7":"9","8":"9","9":"4","10":"6","11":"3","12":"2","13":"4","14":"5","15":"2","16":"4","17":"47.692859","18":"2","19":"5","20":"4","21":"4"},{"1":"7","2":"6","3":"8","4":"8","5":"10","6":"9","7":"8","8":"8","9":"2","10":"5","11":"7","12":"5","13":"5","14":"4","15":"5","16":"4","17":"90.669399","18":"1","19":"3","20":"5","21":"4"},{"1":"3","2":"5","3":"10","4":"4","5":"10","6":"10","7":"10","8":"10","9":"5","10":"7","11":"3","12":"2","13":"6","14":"5","15":"1","16":"4","17":"27.508134","18":"4","19":"3","20":"4","21":"3"},{"1":"4","2":"4","3":"10","4":"10","5":"10","6":"10","7":"9","8":"9","9":"5","10":"6","11":"4","12":"4","13":"5","14":"5","15":"1","16":"5","17":"84.287490","18":"3","19":"4","20":"5","21":"4"},{"1":"6","2":"2","3":"9","4":"10","5":"9","6":"9","7":"10","8":"10","9":"3","10":"5","11":"7","12":"6","13":"2","14":"5","15":"5","16":"5","17":"100.000000","18":"2","19":"5","20":"1","21":"4"},{"1":"4","2":"2","3":"10","4":"9","5":"7","6":"9","7":"10","8":"10","9":"5","10":"7","11":"4","12":"3","13":"4","14":"5","15":"2","16":"5","17":"34.484568","18":"5","19":"3","20":"4","21":"4"},{"1":"4","2":"0","3":"10","4":"10","5":"10","6":"8","7":"9","8":"10","9":"5","10":"6","11":"4","12":"3","13":"5","14":"4","15":"2","16":"5","17":"54.541665","18":"4","19":"3","20":"5","21":"4"},{"1":"4","2":"2","3":"10","4":"9","5":"10","6":"9","7":"10","8":"10","9":"4","10":"7","11":"5","12":"4","13":"6","14":"4","15":"4","16":"5","17":"80.034858","18":"4","19":"3","20":"6","21":"5"},{"1":"5","2":"8","3":"9","4":"9","5":"9","6":"9","7":"9","8":"9","9":"3","10":"6","11":"5","12":"4","13":"6","14":"5","15":"4","16":"5","17":"68.329768","18":"3","19":"5","20":"5","21":"4"},{"1":"4","2":"5","3":"10","4":"10","5":"10","6":"10","7":"10","8":"10","9":"3","10":"7","11":"4","12":"3","13":"5","14":"4","15":"1","16":"4","17":"68.459926","18":"3","19":"4","20":"3","21":"4"},{"1":"3","2":"7","3":"6","4":"8","5":"9","6":"6","7":"9","8":"9","9":"4","10":"6","11":"3","12":"3","13":"6","14":"3","15":"1","16":"3","17":"38.483163","18":"5","19":"2","20":"5","21":"2"}],"options":{"columns":{"min":{},"max":[10]},"rows":{"min":[10],"max":[10]},"pages":{}}} </script> </div> ] --- ## Defining individual constructs + Based on literature and preliminary interviews, a study was designed focusing on five key constructs. + *Job satisfaction (JS)* : reactions resulting from an appraisal of one's job situation. + *Organizational commitment (OC)*: extent to which an employees indentifies and feels part of HBAT. + *Staying intention (SI)*: extent to which an employee intends to continue working for HBAT. + *Environmental perceptions (EP)*: beliefs an employee has about day-to-day, physical working conditions. + *Attitudes towards cowrokers (AC)*: attitudes an employee has toward the coworkers he/she interacts with on a regular basis. --- ## Defining individual constructs .leftcol[ <img src="img/scale.png" width="100%" style="display: block; margin: auto 0 auto auto;" /> ] .rightcol[ <img src="img/scale2.png" width="100%" style="display: block; margin: auto 0 auto auto;" /> .font70[*Source: JF Hair et al. (2019) : Multivariate data analysis*] ] --- class: center middle # Step 2. Developing overall measurement model ---- --- ## Developing overall measurement model .leftcol30[ + Measurement theory model (CFA) for HBAT employees + Direction of the relationship between factors is not yet defined. + Focus on confirming the specified model with empirical model (using empirical data), hence confirmatory. ] .rightcol70[ <img src="img/hbat_measurement.png" width="75%" style="display: block; margin: auto 0 auto auto;" /> <center> .font70[*Source: JF Hair et al. (2019): Multivariate data analysis*] </center> ] --- class: center middle # Let's practice! --- class: center middle # Step 3. Assessing measurement model validity ---- --- ## Basic principles .leftcol40[ + Compare covariance matrix of the research data `\(\text{S}\)` and reproduced covariance `\(\Sigma\)` + Hypothesis: + Null: `\(\text{S} = \Sigma\)` + Atternative: `\(\text{S} \ne \Sigma\)` + Idea is to arrived with a parameter that minimizes the difference of `\(\text{S}\)` and `\(\Sigma\)` ] .rightcol60[ ```r cfa_fit <- cfa(cfa_model, data = hbat_data) cfa_fit %>% summary() ``` .code-output-scroll[ ``` lavaan 0.6-9 ended normally after 54 iterations Estimator ML Optimization method NLMINB Number of model parameters 52 Number of observations 400 Model Test User Model: Test statistic 240.738 Degrees of freedom 179 P-value (Chi-square) 0.001 Parameter Estimates: Standard errors Standard Information Expected Information saturated (h1) model Structured Latent Variables: Estimate Std.Err z-value P(>|z|) SI =~ SI1 1.000 SI2 1.073 0.055 19.563 0.000 SI3 1.065 0.066 16.053 0.000 SI4 1.167 0.061 19.230 0.000 JS =~ JS1 1.000 JS2 1.033 0.075 13.683 0.000 JS3 0.902 0.072 12.516 0.000 JS4 0.910 0.070 12.958 0.000 JS5 15.190 1.132 13.414 0.000 AC =~ AC1 1.000 AC2 1.236 0.067 18.392 0.000 AC3 1.037 0.055 18.870 0.000 AC4 1.146 0.063 18.255 0.000 EP =~ EP1 1.000 EP2 1.033 0.073 14.083 0.000 EP3 0.821 0.060 13.734 0.000 EP4 0.914 0.064 14.335 0.000 OC =~ OC1 1.000 OC2 1.314 0.108 12.209 0.000 OC3 0.783 0.076 10.322 0.000 OC4 1.165 0.097 11.968 0.000 Covariances: Estimate Std.Err z-value P(>|z|) SI ~~ JS 0.161 0.042 3.834 0.000 AC 0.249 0.048 5.161 0.000 EP 0.502 0.065 7.733 0.000 OC 0.574 0.080 7.191 0.000 JS ~~ AC 0.057 0.065 0.868 0.386 EP 0.303 0.078 3.892 0.000 OC 0.304 0.090 3.390 0.001 AC ~~ EP 0.372 0.088 4.251 0.000 OC 0.517 0.107 4.842 0.000 EP ~~ OC 0.925 0.143 6.469 0.000 Variances: Estimate Std.Err z-value P(>|z|) .SI1 0.258 0.023 11.121 0.000 .SI2 0.195 0.021 9.479 0.000 .SI3 0.464 0.038 12.264 0.000 .SI4 0.256 0.026 9.952 0.000 .JS1 0.807 0.074 10.960 0.000 .JS2 0.825 0.076 10.822 0.000 .JS3 0.930 0.078 11.910 0.000 .JS4 0.824 0.071 11.570 0.000 .JS5 196.867 17.681 11.135 0.000 .AC1 0.628 0.059 10.566 0.000 .AC2 0.973 0.092 10.617 0.000 .AC3 0.601 0.059 10.114 0.000 .AC4 0.867 0.081 10.742 0.000 .EP1 1.744 0.143 12.222 0.000 .EP2 0.937 0.091 10.245 0.000 .EP3 0.699 0.064 10.860 0.000 .EP4 0.637 0.066 9.659 0.000 .OC1 4.196 0.318 13.177 0.000 .OC2 1.029 0.149 6.929 0.000 .OC3 1.745 0.137 12.700 0.000 .OC4 1.267 0.138 9.193 0.000 SI 0.498 0.052 9.526 0.000 JS 0.981 0.122 8.038 0.000 AC 1.309 0.135 9.664 0.000 EP 1.600 0.214 7.471 0.000 OC 2.164 0.357 6.058 0.000 ``` ] ] --- ## Basic principles .leftcol40[ + Compare covariance matrix of the research data `\(\text{S}\)` and reproduced covariance `\(\Sigma\)` + Hypothesis: + Null: `\(\text{S} = \Sigma\)` + Atternative: `\(\text{S} \ne \Sigma\)` + Idea is to arrived with a parameter that minimizes the difference of `\(\text{S}\)` and `\(\Sigma\)` ] .rightcol60[ <img src="img/confuse.gif" width="60%" style="display: block; margin: auto;" /> ] --- ## Basic principles .leftcol40[ + To understand the SEM process, consider the Table on the right. + e.g., iterative procedure using least square method. <br> <img src="img/ols_sem_sample.png" width="80%" style="display: block; margin: auto;" /> ] .rightcol60[ <img src="img/ols_calc.png" width="80%" style="display: block; margin: auto 0 auto auto;" /> ] --- ## Summary output .leftcol20[ + Overall results + Loadings + Variances ] .rightcol80[ ```r cfa_fit <- cfa(cfa_model, data = hbat_data) summary(cfa_fit) ``` .code-output-scroll[ ``` lavaan 0.6-9 ended normally after 54 iterations Estimator ML Optimization method NLMINB Number of model parameters 52 Number of observations 400 Model Test User Model: Test statistic 240.738 Degrees of freedom 179 P-value (Chi-square) 0.001 Parameter Estimates: Standard errors Standard Information Expected Information saturated (h1) model Structured Latent Variables: Estimate Std.Err z-value P(>|z|) SI =~ SI1 1.000 SI2 1.073 0.055 19.563 0.000 SI3 1.065 0.066 16.053 0.000 SI4 1.167 0.061 19.230 0.000 JS =~ JS1 1.000 JS2 1.033 0.075 13.683 0.000 JS3 0.902 0.072 12.516 0.000 JS4 0.910 0.070 12.958 0.000 JS5 15.190 1.132 13.414 0.000 AC =~ AC1 1.000 AC2 1.236 0.067 18.392 0.000 AC3 1.037 0.055 18.870 0.000 AC4 1.146 0.063 18.255 0.000 EP =~ EP1 1.000 EP2 1.033 0.073 14.083 0.000 EP3 0.821 0.060 13.734 0.000 EP4 0.914 0.064 14.335 0.000 OC =~ OC1 1.000 OC2 1.314 0.108 12.209 0.000 OC3 0.783 0.076 10.322 0.000 OC4 1.165 0.097 11.968 0.000 Covariances: Estimate Std.Err z-value P(>|z|) SI ~~ JS 0.161 0.042 3.834 0.000 AC 0.249 0.048 5.161 0.000 EP 0.502 0.065 7.733 0.000 OC 0.574 0.080 7.191 0.000 JS ~~ AC 0.057 0.065 0.868 0.386 EP 0.303 0.078 3.892 0.000 OC 0.304 0.090 3.390 0.001 AC ~~ EP 0.372 0.088 4.251 0.000 OC 0.517 0.107 4.842 0.000 EP ~~ OC 0.925 0.143 6.469 0.000 Variances: Estimate Std.Err z-value P(>|z|) .SI1 0.258 0.023 11.121 0.000 .SI2 0.195 0.021 9.479 0.000 .SI3 0.464 0.038 12.264 0.000 .SI4 0.256 0.026 9.952 0.000 .JS1 0.807 0.074 10.960 0.000 .JS2 0.825 0.076 10.822 0.000 .JS3 0.930 0.078 11.910 0.000 .JS4 0.824 0.071 11.570 0.000 .JS5 196.867 17.681 11.135 0.000 .AC1 0.628 0.059 10.566 0.000 .AC2 0.973 0.092 10.617 0.000 .AC3 0.601 0.059 10.114 0.000 .AC4 0.867 0.081 10.742 0.000 .EP1 1.744 0.143 12.222 0.000 .EP2 0.937 0.091 10.245 0.000 .EP3 0.699 0.064 10.860 0.000 .EP4 0.637 0.066 9.659 0.000 .OC1 4.196 0.318 13.177 0.000 .OC2 1.029 0.149 6.929 0.000 .OC3 1.745 0.137 12.700 0.000 .OC4 1.267 0.138 9.193 0.000 SI 0.498 0.052 9.526 0.000 JS 0.981 0.122 8.038 0.000 AC 1.309 0.135 9.664 0.000 EP 1.600 0.214 7.471 0.000 OC 2.164 0.357 6.058 0.000 ``` ] ] --- ## Summary output .leftcol40[ #### Overall results + Degrees of freedom (df) + `\(df = \frac{1}{2} p (p + 1) - k\)` + `\(p\)` = total observed variables + `\(k\)` = total estimated parameters + Identification + Include at least three manifest variables + Create models with `\(df > 0\)` ] .rightcol60[ ```r cfa_fit <- cfa(cfa_model, data = hbat_data) summary(cfa_fit) ``` .code-output-scroll[ ``` lavaan 0.6-9 ended normally after 54 iterations Estimator ML Optimization method NLMINB Number of model parameters 52 Number of observations 400 Model Test User Model: Test statistic 240.738 Degrees of freedom 179 P-value (Chi-square) 0.001 Parameter Estimates: Standard errors Standard Information Expected Information saturated (h1) model Structured Latent Variables: Estimate Std.Err z-value P(>|z|) SI =~ SI1 1.000 SI2 1.073 0.055 19.563 0.000 SI3 1.065 0.066 16.053 0.000 SI4 1.167 0.061 19.230 0.000 JS =~ JS1 1.000 JS2 1.033 0.075 13.683 0.000 JS3 0.902 0.072 12.516 0.000 JS4 0.910 0.070 12.958 0.000 JS5 15.190 1.132 13.414 0.000 AC =~ AC1 1.000 AC2 1.236 0.067 18.392 0.000 AC3 1.037 0.055 18.870 0.000 AC4 1.146 0.063 18.255 0.000 EP =~ EP1 1.000 EP2 1.033 0.073 14.083 0.000 EP3 0.821 0.060 13.734 0.000 EP4 0.914 0.064 14.335 0.000 OC =~ OC1 1.000 OC2 1.314 0.108 12.209 0.000 OC3 0.783 0.076 10.322 0.000 OC4 1.165 0.097 11.968 0.000 Covariances: Estimate Std.Err z-value P(>|z|) SI ~~ JS 0.161 0.042 3.834 0.000 AC 0.249 0.048 5.161 0.000 EP 0.502 0.065 7.733 0.000 OC 0.574 0.080 7.191 0.000 JS ~~ AC 0.057 0.065 0.868 0.386 EP 0.303 0.078 3.892 0.000 OC 0.304 0.090 3.390 0.001 AC ~~ EP 0.372 0.088 4.251 0.000 OC 0.517 0.107 4.842 0.000 EP ~~ OC 0.925 0.143 6.469 0.000 Variances: Estimate Std.Err z-value P(>|z|) .SI1 0.258 0.023 11.121 0.000 .SI2 0.195 0.021 9.479 0.000 .SI3 0.464 0.038 12.264 0.000 .SI4 0.256 0.026 9.952 0.000 .JS1 0.807 0.074 10.960 0.000 .JS2 0.825 0.076 10.822 0.000 .JS3 0.930 0.078 11.910 0.000 .JS4 0.824 0.071 11.570 0.000 .JS5 196.867 17.681 11.135 0.000 .AC1 0.628 0.059 10.566 0.000 .AC2 0.973 0.092 10.617 0.000 .AC3 0.601 0.059 10.114 0.000 .AC4 0.867 0.081 10.742 0.000 .EP1 1.744 0.143 12.222 0.000 .EP2 0.937 0.091 10.245 0.000 .EP3 0.699 0.064 10.860 0.000 .EP4 0.637 0.066 9.659 0.000 .OC1 4.196 0.318 13.177 0.000 .OC2 1.029 0.149 6.929 0.000 .OC3 1.745 0.137 12.700 0.000 .OC4 1.267 0.138 9.193 0.000 SI 0.498 0.052 9.526 0.000 JS 0.981 0.122 8.038 0.000 AC 1.309 0.135 9.664 0.000 EP 1.600 0.214 7.471 0.000 OC 2.164 0.357 6.058 0.000 ``` ] ] --- ## Summary output .leftcol20[ #### Loadings + Measures the strength of the relationship between items and factor. ] .rightcol80[ ```r cfa_fit <- cfa(cfa_model, data = hbat_data) summary(cfa_fit, standardized = TRUE) ``` .code-output-scroll[ ``` lavaan 0.6-9 ended normally after 54 iterations Estimator ML Optimization method NLMINB Number of model parameters 52 Number of observations 400 Model Test User Model: Test statistic 240.738 Degrees of freedom 179 P-value (Chi-square) 0.001 Parameter Estimates: Standard errors Standard Information Expected Information saturated (h1) model Structured Latent Variables: Estimate Std.Err z-value P(>|z|) Std.lv Std.all SI =~ SI1 1.000 0.706 0.811 SI2 1.073 0.055 19.563 0.000 0.757 0.864 SI3 1.065 0.066 16.053 0.000 0.752 0.741 SI4 1.167 0.061 19.230 0.000 0.823 0.852 JS =~ JS1 1.000 0.991 0.741 JS2 1.033 0.075 13.683 0.000 1.023 0.748 JS3 0.902 0.072 12.516 0.000 0.894 0.680 JS4 0.910 0.070 12.958 0.000 0.902 0.705 JS5 15.190 1.132 13.414 0.000 15.046 0.731 AC =~ AC1 1.000 1.144 0.822 AC2 1.236 0.067 18.392 0.000 1.414 0.820 AC3 1.037 0.055 18.870 0.000 1.187 0.837 AC4 1.146 0.063 18.255 0.000 1.312 0.815 EP =~ EP1 1.000 1.265 0.692 EP2 1.033 0.073 14.083 0.000 1.307 0.803 EP3 0.821 0.060 13.734 0.000 1.038 0.779 EP4 0.914 0.064 14.335 0.000 1.156 0.823 OC =~ OC1 1.000 1.471 0.583 OC2 1.314 0.108 12.209 0.000 1.934 0.886 OC3 0.783 0.076 10.322 0.000 1.151 0.657 OC4 1.165 0.097 11.968 0.000 1.714 0.836 Covariances: Estimate Std.Err z-value P(>|z|) Std.lv Std.all SI ~~ JS 0.161 0.042 3.834 0.000 0.230 0.230 AC 0.249 0.048 5.161 0.000 0.309 0.309 EP 0.502 0.065 7.733 0.000 0.562 0.562 OC 0.574 0.080 7.191 0.000 0.553 0.553 JS ~~ AC 0.057 0.065 0.868 0.386 0.050 0.050 EP 0.303 0.078 3.892 0.000 0.242 0.242 OC 0.304 0.090 3.390 0.001 0.209 0.209 AC ~~ EP 0.372 0.088 4.251 0.000 0.257 0.257 OC 0.517 0.107 4.842 0.000 0.307 0.307 EP ~~ OC 0.925 0.143 6.469 0.000 0.497 0.497 Variances: Estimate Std.Err z-value P(>|z|) Std.lv Std.all .SI1 0.258 0.023 11.121 0.000 0.258 0.342 .SI2 0.195 0.021 9.479 0.000 0.195 0.253 .SI3 0.464 0.038 12.264 0.000 0.464 0.451 .SI4 0.256 0.026 9.952 0.000 0.256 0.274 .JS1 0.807 0.074 10.960 0.000 0.807 0.451 .JS2 0.825 0.076 10.822 0.000 0.825 0.441 .JS3 0.930 0.078 11.910 0.000 0.930 0.538 .JS4 0.824 0.071 11.570 0.000 0.824 0.503 .JS5 196.867 17.681 11.135 0.000 196.867 0.465 .AC1 0.628 0.059 10.566 0.000 0.628 0.324 .AC2 0.973 0.092 10.617 0.000 0.973 0.327 .AC3 0.601 0.059 10.114 0.000 0.601 0.299 .AC4 0.867 0.081 10.742 0.000 0.867 0.335 .EP1 1.744 0.143 12.222 0.000 1.744 0.522 .EP2 0.937 0.091 10.245 0.000 0.937 0.354 .EP3 0.699 0.064 10.860 0.000 0.699 0.393 .EP4 0.637 0.066 9.659 0.000 0.637 0.323 .OC1 4.196 0.318 13.177 0.000 4.196 0.660 .OC2 1.029 0.149 6.929 0.000 1.029 0.216 .OC3 1.745 0.137 12.700 0.000 1.745 0.568 .OC4 1.267 0.138 9.193 0.000 1.267 0.301 SI 0.498 0.052 9.526 0.000 1.000 1.000 JS 0.981 0.122 8.038 0.000 1.000 1.000 AC 1.309 0.135 9.664 0.000 1.000 1.000 EP 1.600 0.214 7.471 0.000 1.000 1.000 OC 2.164 0.357 6.058 0.000 1.000 1.000 ``` ] ] --- ## Summary output .leftcol20[ #### Variances Refer to unique variance that the factor unable to account for. Similar to error term in OLS, hence it is also term as error variance. ] .rightcol80[ ```r cfa_fit <- cfa(cfa_model, data = hbat_data) summary(cfa_fit, standardized = TRUE) ``` .code-output-scroll[ ``` lavaan 0.6-9 ended normally after 54 iterations Estimator ML Optimization method NLMINB Number of model parameters 52 Number of observations 400 Model Test User Model: Test statistic 240.738 Degrees of freedom 179 P-value (Chi-square) 0.001 Parameter Estimates: Standard errors Standard Information Expected Information saturated (h1) model Structured Latent Variables: Estimate Std.Err z-value P(>|z|) Std.lv Std.all SI =~ SI1 1.000 0.706 0.811 SI2 1.073 0.055 19.563 0.000 0.757 0.864 SI3 1.065 0.066 16.053 0.000 0.752 0.741 SI4 1.167 0.061 19.230 0.000 0.823 0.852 JS =~ JS1 1.000 0.991 0.741 JS2 1.033 0.075 13.683 0.000 1.023 0.748 JS3 0.902 0.072 12.516 0.000 0.894 0.680 JS4 0.910 0.070 12.958 0.000 0.902 0.705 JS5 15.190 1.132 13.414 0.000 15.046 0.731 AC =~ AC1 1.000 1.144 0.822 AC2 1.236 0.067 18.392 0.000 1.414 0.820 AC3 1.037 0.055 18.870 0.000 1.187 0.837 AC4 1.146 0.063 18.255 0.000 1.312 0.815 EP =~ EP1 1.000 1.265 0.692 EP2 1.033 0.073 14.083 0.000 1.307 0.803 EP3 0.821 0.060 13.734 0.000 1.038 0.779 EP4 0.914 0.064 14.335 0.000 1.156 0.823 OC =~ OC1 1.000 1.471 0.583 OC2 1.314 0.108 12.209 0.000 1.934 0.886 OC3 0.783 0.076 10.322 0.000 1.151 0.657 OC4 1.165 0.097 11.968 0.000 1.714 0.836 Covariances: Estimate Std.Err z-value P(>|z|) Std.lv Std.all SI ~~ JS 0.161 0.042 3.834 0.000 0.230 0.230 AC 0.249 0.048 5.161 0.000 0.309 0.309 EP 0.502 0.065 7.733 0.000 0.562 0.562 OC 0.574 0.080 7.191 0.000 0.553 0.553 JS ~~ AC 0.057 0.065 0.868 0.386 0.050 0.050 EP 0.303 0.078 3.892 0.000 0.242 0.242 OC 0.304 0.090 3.390 0.001 0.209 0.209 AC ~~ EP 0.372 0.088 4.251 0.000 0.257 0.257 OC 0.517 0.107 4.842 0.000 0.307 0.307 EP ~~ OC 0.925 0.143 6.469 0.000 0.497 0.497 Variances: Estimate Std.Err z-value P(>|z|) Std.lv Std.all .SI1 0.258 0.023 11.121 0.000 0.258 0.342 .SI2 0.195 0.021 9.479 0.000 0.195 0.253 .SI3 0.464 0.038 12.264 0.000 0.464 0.451 .SI4 0.256 0.026 9.952 0.000 0.256 0.274 .JS1 0.807 0.074 10.960 0.000 0.807 0.451 .JS2 0.825 0.076 10.822 0.000 0.825 0.441 .JS3 0.930 0.078 11.910 0.000 0.930 0.538 .JS4 0.824 0.071 11.570 0.000 0.824 0.503 .JS5 196.867 17.681 11.135 0.000 196.867 0.465 .AC1 0.628 0.059 10.566 0.000 0.628 0.324 .AC2 0.973 0.092 10.617 0.000 0.973 0.327 .AC3 0.601 0.059 10.114 0.000 0.601 0.299 .AC4 0.867 0.081 10.742 0.000 0.867 0.335 .EP1 1.744 0.143 12.222 0.000 1.744 0.522 .EP2 0.937 0.091 10.245 0.000 0.937 0.354 .EP3 0.699 0.064 10.860 0.000 0.699 0.393 .EP4 0.637 0.066 9.659 0.000 0.637 0.323 .OC1 4.196 0.318 13.177 0.000 4.196 0.660 .OC2 1.029 0.149 6.929 0.000 1.029 0.216 .OC3 1.745 0.137 12.700 0.000 1.745 0.568 .OC4 1.267 0.138 9.193 0.000 1.267 0.301 SI 0.498 0.052 9.526 0.000 1.000 1.000 JS 0.981 0.122 8.038 0.000 1.000 1.000 AC 1.309 0.135 9.664 0.000 1.000 1.000 EP 1.600 0.214 7.471 0.000 1.000 1.000 OC 2.164 0.357 6.058 0.000 1.000 1.000 ``` ] ] --- ## Fit indices .leftcol40[ #### Goodness of fit indices + Goodness-of-fit index (GFI) + Adjusted goodness-fit-index (AGFI) + Comparative fit index (CFI) + Normed fit index (NFI) + Non-normed fit index (NNF) #### Badness of fit indices + Standard root mean square of the residuals (SRMR) + Root mean square error of approximation (RMSEA) ] .rightcol60[ <img src="img/sample_gof.png" width="80%" style="display: block; margin: auto;" /> .font70[*Sample GOF results from W. Shiau & M. Luo (2013). Continuance intention of blog users: The impact of perceived enjoyment, habit, user involvement and blogging time.*] ] --- ## Fit indices .leftcol40[ #### Goodness of fit indices + Goodness-of-fit index (GFI) + Adjusted goodness-fit-index (AGFI) + Comparative fit index (CFI) + Normed fit index (NFI) + Non-normed fit index (NNF) ] .rightcol60[ ```r fitMeasures(cfa_fit) ``` ``` npar fmin chisq df 52.000 0.301 240.738 179.000 pvalue baseline.chisq baseline.df baseline.pvalue 0.001 4452.567 210.000 0.000 cfi tli nnfi rfi 0.985 0.983 0.983 0.937 nfi pnfi ifi rni 0.946 0.806 0.986 0.985 logl unrestricted.logl aic bic -13916.782 -13796.413 27937.564 28145.120 ntotal bic2 rmsea rmsea.ci.lower 400.000 27980.120 0.029 0.019 rmsea.ci.upper rmsea.pvalue rmr rmr_nomean 0.039 1.000 0.414 0.414 srmr srmr_bentler srmr_bentler_nomean crmr 0.036 0.036 0.036 0.037 crmr_nomean srmr_mplus srmr_mplus_nomean cn_05 0.037 0.036 0.036 351.949 cn_01 gfi agfi pgfi 376.401 0.947 0.932 0.734 mfi ecvi 0.926 0.862 ``` ] --- ## Fit indices .leftcol40[ #### Goodness of fit indices + Goodness-of-fit index (GFI) + Adjusted goodness-fit-index (AGFI) + Comparative fit index (CFI) + Normed fit index (NFI) + Non-normed fit index (NNF) ] .rightcol60[ ```r fitMeasures(cfa_fit, fit.measures = c("gfi", "agfi", "cfi", "nfi", "nnfi")) ``` ``` gfi agfi cfi nfi nnfi 0.947 0.932 0.985 0.946 0.983 ``` ] --- ## Fit indices .leftcol40[ #### Badness of fit indices + Standard root mean squrare residual (SRMR) + Root mean square error of approximation (RMSEA) ] .rightcol60[ ```r fitMeasures(cfa_fit, fit.measures = c("srmr", "rmsea")) ``` ``` srmr rmsea 0.036 0.029 ``` ] --- ## Reliability and validity test .leftcol30[ #### Reliability test + Composite reliability #### Validity test + Convergent validity + Discriminant validity ] .rightcol70[ <img src="img/reliability_validity.png" width="95%" /> .font70[*Source: A. Hou, W. Shiau, & R. Shang (2019). The involvement paradox. The role of cognitive absorption in mobile instant messaging user satisfaction.*] ] --- ## Reliability and validity test .leftcol[ + Composite reliability: `alpha` > `0.70` + Convergent validity: AVE (`avevar`) > `0.50` + Discriminant validity: `omega` > `0.7` ] .rightcol[ ```r library(semTools) reliability(cfa_fit) %>% round(3) ``` ``` SI JS AC EP OC alpha 0.886 0.281 0.891 0.847 0.823 omega 0.887 0.640 0.893 0.850 0.827 omega2 0.887 0.640 0.893 0.850 0.827 omega3 0.887 0.641 0.893 0.850 0.818 avevar 0.664 0.535 0.677 0.587 0.552 ``` ] --- class: middle center # Let's practice --- class: center middle # Step 4: Specifying the structural model ---- --- ## CFA model to structural model <img src="img/cfa_sem.png" width="60%" style="display: block; margin: auto;" /> --- ## Defining structural model #### Hypothesis: + H1: Environmental perceptions are positively related to job satisfaction. + H2: Environmental perceptions are positively related to organizational commitment. + H3: Attitudes toward coworkers are positively related to job satisfaction. + H4: Attitudes toward coworkers are positively related to organizational commitment. + H5: Job satisfaction is related positively to organizational commitment. + H6: Job satisfaction is related positively to staying intentions. + H7: Organizational commitment is related positively to staying intention. --- ## Defining structural model <img src="img/structural_model.png" width="60%" style="display: block; margin: auto;" /> --- class: center middle # Let's practice --- ## Defining structural model .leftcol30[ ```r library(semPlot) semPaths(object = sem_fit, what = "std", layout = "tree2", intercepts = FALSE, residuals = FALSE) ``` ] .rightcol70[ <img src="img/sempath2.svg" width="180%" style="display: block; margin: auto;" /> ] --- ## Defining structural model <img src="img/structural_result.svg" width="70%" style="display: block; margin: auto;" /> --- ## GOF measures between structural and CFA model .leftcol40[ ```r gof_indices <- c('chisq', 'df','pvalue', "gfi", 'rmsea', 'rmr', 'srmr', 'nfi', 'nnfi', 'cfi', 'agfi') fitmeasures(sem_fit, fit.measures = gof_indices) fitmeasures(cfa_fit, fit.measures = gof_indices) ``` ``` chisq df pvalue gfi rmsea rmr srmr nfi nnfi cfi 287.179 181.000 0.000 0.938 0.038 0.410 0.060 0.936 0.971 0.975 agfi 0.921 ``` ``` chisq df pvalue gfi rmsea rmr srmr nfi nnfi cfi 240.738 179.000 0.001 0.947 0.029 0.414 0.036 0.946 0.983 0.985 agfi 0.932 ``` ] .rightcol60[ <img src="img/fit_indices.png" width="90%" style="display: block; margin: auto 0 auto auto;" /> ] --- ## What's next? .leftcol40[ + Modification indeces + Handling heywood cases + Comparing competing models + Formative scales in SEM + Higher-order factor analysis + Multigroup analysis ] .rightcol60[ <img src="img/we_can.gif" width="70%" style="display: block; margin: auto;" /> ] --- class: middle center # Thank you! #### Slides created via the R packages: .leftcol[ <img src="img/xaringan.png" style="display:inline-block; margin: 0" width=20%/> ### xaringan by Yihui ] .rightcol[ <img src="img/xaringanthemer.png" style="display:inline-block; margin: 0" width=25%/> ### xaringanthemer and xaringanExtra by Garrick ]