Guilford-extended-rater: extended rater representation

Elliott & Buttery (2022) propose Extended rater representations. According to Section 6.2.1 of the RaschPy manual, there are 4 extended rater representations: global, item, thresholds and matrix (two options). These can be implemented in several ways using Facets. Suggestions are made at Extended rater representations. Most are easy to implement in Facets.

 

Here is a Facets specification and data file for Items (suggestion 2b) and Matrix (suggestion 4b). These are more awkward to implement:

 

; Guilford-extended-rater.txt

Title = Ratings of Scientists: Extended rater representation: Items

Facets = 4        ; four facets: raters, examinees, items, raters+items

Inter-rater = 1, 2, 3        ; facet 1 is the rater facet, raters matched only on facets 2 and 3

Arrange = N,m        ; arrange tables by measure-descending for all facets,

Positive = 2        ; the examinees have greater creativity with greater score

Non-centered = 2        ; examinees and items are centered on 0, judges are allowed to float

Unexpected = 2        ; report ratings if standardized residual >=|2|

;Usort = (1,2,3),(3,1,2),(Z,3)        ; sort and report unexpected ratings several ways (1,2,3) is Senior, Junior, Trait

;Vertical = 2N,3A,2*,1L,1A        ;define rulers to display and position facet elements

;Zscore = 1,2        ;report biases greater in size than 1 logit or with z>2

;Pt-biserial = measure ; point-measure correlation

 

; Extended rater representation: Items: 2b

Model = ?,?,?,?,R9        ; raters, examinees, items, raters+items produce ratings

 

; Extended rater representation: Matrix (Marginal=True): 4b

; Model = #,?,?,?,R9        ; raters (PCM), examinees, items, raters+items produce ratings

 

; Extended rater representation: Matrix (Marginal=False): 4b

; Model = ?,?,?,#,R9        ; raters, examinees, items, raters+items (PCM) produce ratings

 

Labels=          ;  to name the components

1,Raters, D   ;  dummy facet for rater fit and rater element number

1=Avogadro            

2=Brahe               

3=Cavendish

*

2,Examinees

2=Betty 

5=Edward

7=George

1=Anne  

3=Chris 

4=David 

6=Fred  

*

3,Items  ; these are the global item difficulties and for item element number

1=Attack

2=Basis

3=Clarity

4=Daring

5=Enthusiasm

*

4= Rater-item, G ; rater severity by item group-anchored by item

11 = 11, 0, 1  ; build this list of element numbers by starting with no element numbers here

12 = 12, 0, 2  ; - see below for instructions -

13 = 13, 0, 3 

14 = 14, 0, 4

15 = 15, 0, 5

21 = 21, 0, 1

22 = 22, 0, 2

23 = 23, 0, 3

24 = 24, 0, 4

25 = 25, 0, 5

31 = 31, 0, 1

32 = 32, 0, 2

33 = 33, 0, 3

34 = 34, 0, 4

35 = 35, 0, 5

41 = 41, 0, 1

42 = 42, 0, 2

43 = 43, 0, 3

44 = 44, 0, 4

45 = 45, 0, 5

51 = 51, 0, 1

52 = 52, 0, 2

53 = 53, 0, 3

54 = 54, 0, 4

55 = 55, 0, 5

61 = 61, 0, 1

62 = 62, 0, 2

63 = 63, 0, 3

64 = 64, 0, 4

65 = 65, 0, 5

71 = 71, 0, 1

72 = 72, 0, 2

73 = 73, 0, 3

74 = 74, 0, 4

75 = 75, 0, 5

*

Dvalues= 

4,1,$Element ; $Element - element number of facet 1 (raters) is used in element number of facet 4

4,3,$Element ; combined with element number of facet 3 (items) in element number of facet 4

*

 

Data=

; facet 1,2,3,(dvalues=4,) 5 ratings

1,1,1-5, 5,5,3,5,3 ; facet 4 element number = rater+item is inserted by Dvalues=

1,2,1-5, 9,7,5,8,5

1,3,1-5, 3,3,3,7,1

1,4,1-5, 7,3,1,3,3

1,5,1-5, 9,7,7,8,5

1,6,1-5, 3,5,3,5,1

1,7,1-5, 7,7,5,5,5

2,1,1-5, 6,5,4,6,3

2,2,1-5, 8,7,5,7,2

2,3,1-5, 4,5,3,6,6

2,4,1-5, 5,6,4,5,5

2,5,1-5, 2,4,3,2,3

2,6,1-5, 4,4,6,4,2

2,7,1-5, 3,3,5,5,4

3,1,1-5, 5,5,5,7,3

3,2,1-5, 7,7,5,7,5

3,3,1-5, 3,5,5,5,5

3,4,1-5, 5,3,3,3,1

3,5,1-5, 9,7,7,7,7

3,6,1-5, 3,3,3,5,3

3,7,1-5, 7,7,7,5,7      ; last line of data, and end of file

 

 

---

 

How to construct an Extended specification and data file from a standard specification and data file

 

1. Start with a standard 3-facet specification and data file, such as Guilford.txt

 

Facets = 3  ; three facets: judges, examinees, items

Model = ?B,?B,?,Creativity ; judges, examinees and items produce ratings on "Creativity".

 

Labels =

1, Senior scientists ; name of first (judge) facet

1 = Avogadro ; names of elements within senior scientist facet

2 = Brahe

3 = Cavendish

*

2,Junior Scientists ; name of second (examinee) facet

7=George  ; element order does not matter

1=Anne

2=Betty

3=Chris

4=David

5=Edward

6=Fred 

*

3,Traits ; name of third (item) facet

1=Attack

2=Basis

3=Clarity

4=Daring

5=Enthusiasm

*

 

Data=

1,1,1_5,5,5,3,5,3

....

 

 

2. Include rater-item interactions as a 4th facet:

 

Facets = 4  ; three facets: judges, examinees, items, judges+items

Model = ?,?,?,?, Creativity ; judges, examinees and judges+items produce ratings on "Creativity".

 

Labels=

1, Senior scientists, D ; Judges anchored at 0. Their measures are in Facet 4: judge-item

....

6=Fred 

*

3,Traits ; name of third (item) facet - this will show overall item difficulty

......

5=Enthusiasm

*

4, Judge-Trait, G ; we will group-anchor by trait (item)

; nothing here yet

*

 

Dvalues=

4,1,$Element  ; Facet 4 element number is "judge" (rater)

4,3,$Element  ; "+trait" (item

*

 

Data=

1,1,1_5,5,5,3,5,3  ; no change to the data file

....

 

3. Analyze the modified specification and data file with Facets.

The analysis will fail, but will report the elements for Facet 4 in Table 2

 

4, Judge-Trait, G

11 = 11, 0, 

12 = 12, 0,  -

13 = 13, 0,  

14 = 14, 0, 

15 = 15, 0, 

21 = 21, 0, 

.....

 

4. Rectangular-copy (alt+mouse in NotePad++, etc.) the trait (item) numbers (2nd digit of element number) as group number

 

4, Judge-Trait, G

11 = 11, 0, 1 ; judge-Trait elements are group-anchored by Trait

12 = 12, 0, 2 -

13 = 13, 0, 3 

14 = 14, 0, 4

15 = 15, 0, 5

21 = 21, 0, 1

....

 

5. Paste the Facet 4 element details into Labels= in the specification file

 

6. Do the Facets analysis of the modified speficiation file