CRF layer performance

[diegoesteves]

Compare standard feature function x dynamic feature buider. There is still a 0.1 dif in F1. Check why! Notebook src/training/notebooks/horus_v1/03-horus-training-ner-crf.ipynb

[diegoesteves]

[{'bias': 1.0, 'postag': 'USR', 'postag[:2]': 'US', 'word[-3]:': 'alk', 'word[-2]:': 'lk', 'word.lower': '@paulwalk', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, 'BOS': True, '+1:postag': 'PRP', '+1:postag[:2]': 'PR', '+1:word.lower': 'it', '+1:word.istitle': 1, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'PRP', 'postag[:2]': 'PR', 'word[-3]:': 'it', 'word[-2]:': 'it', 'word.lower': 'it', 'word.istitle': 1, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'USR', '-1:postag[:2]': 'US', '-1:word.lower': '@paulwalk', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'PRP', '+1:postag[:2]': 'PR', '+1:word.lower': "'s", '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'PRP', 'postag[:2]': 'PR', 'word[-3]:': "'s", 'word[-2]:': "'s", 'word.lower': "'s", 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'PRP', '-1:postag[:2]': 'PR', '-1:word.lower': 'it', '-1:word.istitle': 1, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'DT', '+1:postag[:2]': 'DT', '+1:word.lower': 'the', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'DT', 'postag[:2]': 'DT', 'word[-3]:': 'the', 'word[-2]:': 'he', 'word.lower': 'the', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'PRP', '-1:postag[:2]': 'PR', '-1:word.lower': "'s", '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'NN', '+1:postag[:2]': 'NN', '+1:word.lower': 'view', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'NN', 'postag[:2]': 'NN', 'word[-3]:': 'iew', 'word[-2]:': 'ew', 'word.lower': 'view', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'DT', '-1:postag[:2]': 'DT', '-1:word.lower': 'the', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'IN', '+1:postag[:2]': 'IN', '+1:word.lower': 'from', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'IN', 'postag[:2]': 'IN', 'word[-3]:': 'rom', 'word[-2]:': 'om', 'word.lower': 'from', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'NN', '-1:postag[:2]': 'NN', '-1:word.lower': 'view', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'WRB', '+1:postag[:2]': 'WR', '+1:word.lower': 'where', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'WRB', 'postag[:2]': 'WR', 'word[-3]:': 'ere', 'word[-2]:': 're', 'word.lower': 'where', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'IN', '-1:postag[:2]': 'IN', '-1:word.lower': 'from', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'PRP', '+1:postag[:2]': 'PR', '+1:word.lower': 'i', '+1:word.istitle': 1, '+1:word.isupper': 1, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'PRP', 'postag[:2]': 'PR', 'word[-3]:': 'i', 'word[-2]:': 'i', 'word.lower': 'i', 'word.istitle': 1, 'word.isupper': 1, 'word.isdigit': 0, '-1:postag': 'WRB', '-1:postag[:2]': 'WR', '-1:word.lower': 'where', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'PRP', '+1:postag[:2]': 'PR', '+1:word.lower': "'m", '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'PRP', 'postag[:2]': 'PR', 'word[-3]:': "'m", 'word[-2]:': "'m", 'word.lower': "'m", 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'PRP', '-1:postag[:2]': 'PR', '-1:word.lower': 'i', '-1:word.istitle': 1, '-1:word.isupper': 1, '-1:word.isdigit': 0, '+1:postag': 'VBG', '+1:postag[:2]': 'VB', '+1:word.lower': 'living', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'VBG', 'postag[:2]': 'VB', 'word[-3]:': 'ing', 'word[-2]:': 'ng', 'word.lower': 'living', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'PRP', '-1:postag[:2]': 'PR', '-1:word.lower': "'m", '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'IN', '+1:postag[:2]': 'IN', '+1:word.lower': 'for', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'IN', 'postag[:2]': 'IN', 'word[-3]:': 'for', 'word[-2]:': 'or', 'word.lower': 'for', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'VBG', '-1:postag[:2]': 'VB', '-1:word.lower': 'living', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'CD', '+1:postag[:2]': 'CD', '+1:word.lower': 'two', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'CD', 'postag[:2]': 'CD', 'word[-3]:': 'two', 'word[-2]:': 'wo', 'word.lower': 'two', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'IN', '-1:postag[:2]': 'IN', '-1:word.lower': 'for', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'NNS', '+1:postag[:2]': 'NN', '+1:word.lower': 'weeks', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'NNS', 'postag[:2]': 'NN', 'word[-3]:': 'eks', 'word[-2]:': 'ks', 'word.lower': 'weeks', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'CD', '-1:postag[:2]': 'CD', '-1:word.lower': 'two', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': '.', '+1:postag[:2]': '.', '+1:word.lower': '.', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': '.', 'postag[:2]': '.', 'word[-3]:': '.', 'word[-2]:': '.', 'word.lower': '.', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'NNS', '-1:postag[:2]': 'NN', '-1:word.lower': 'weeks', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'NNP', '+1:postag[:2]': 'NN', '+1:word.lower': 'empire', '+1:word.istitle': 1, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'NNP', 'postag[:2]': 'NN', 'word[-3]:': 'ire', 'word[-2]:': 're', 'word.lower': 'empire', 'word.istitle': 1, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': '.', '-1:postag[:2]': '.', '-1:word.lower': '.', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'NNP', '+1:postag[:2]': 'NN', '+1:word.lower': 'state', '+1:word.istitle': 1, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'NNP', 'postag[:2]': 'NN', 'word[-3]:': 'ate', 'word[-2]:': 'te', 'word.lower': 'state', 'word.istitle': 1, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'NNP', '-1:postag[:2]': 'NN', '-1:word.lower': 'empire', '-1:word.istitle': 1, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'NNP', '+1:postag[:2]': 'NN', '+1:word.lower': 'building', '+1:word.istitle': 1, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'NNP', 'postag[:2]': 'NN', 'word[-3]:': 'ing', 'word[-2]:': 'ng', 'word.lower': 'building', 'word.istitle': 1, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'NNP', '-1:postag[:2]': 'NN', '-1:word.lower': 'state', '-1:word.istitle': 1, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'SYM', '+1:postag[:2]': 'SY', '+1:word.lower': '=', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'SYM', 'postag[:2]': 'SY', 'word[-3]:': '=', 'word[-2]:': '=', 'word.lower': '=', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'NNP', '-1:postag[:2]': 'NN', '-1:word.lower': 'building', '-1:word.istitle': 1, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'NNP', '+1:postag[:2]': 'NN', '+1:word.lower': 'esb', '+1:word.istitle': 0, '+1:word.isupper': 1, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'NNP', 'postag[:2]': 'NN', 'word[-3]:': 'esb', 'word[-2]:': 'sb', 'word.lower': 'esb', 'word.istitle': 0, 'word.isupper': 1, 'word.isdigit': 0, '-1:postag': 'SYM', '-1:postag[:2]': 'SY', '-1:word.lower': '=', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': '.', '+1:postag[:2]': '.', '+1:word.lower': '.', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': '.', 'postag[:2]': '.', 'word[-3]:': '.', 'word[-2]:': '.', 'word.lower': '.', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'NNP', '-1:postag[:2]': 'NN', '-1:word.lower': 'esb', '-1:word.istitle': 0, '-1:word.isupper': 1, '-1:word.isdigit': 0, '+1:postag': 'RB', '+1:postag[:2]': 'RB', '+1:word.lower': 'pretty', '+1:word.istitle': 1, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'RB', 'postag[:2]': 'RB', 'word[-3]:': 'tty', 'word[-2]:': 'ty', 'word.lower': 'pretty', 'word.istitle': 1, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': '.', '-1:postag[:2]': '.', '-1:word.lower': '.', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'JJ', '+1:postag[:2]': 'JJ', '+1:word.lower': 'bad', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'JJ', 'postag[:2]': 'JJ', 'word[-3]:': 'bad', 'word[-2]:': 'ad', 'word.lower': 'bad', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'RB', '-1:postag[:2]': 'RB', '-1:word.lower': 'pretty', '-1:word.istitle': 1, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'NN', '+1:postag[:2]': 'NN', '+1:word.lower': 'storm', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'NN', 'postag[:2]': 'NN', 'word[-3]:': 'orm', 'word[-2]:': 'rm', 'word.lower': 'storm', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'JJ', '-1:postag[:2]': 'JJ', '-1:word.lower': 'bad', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'RB', '+1:postag[:2]': 'RB', '+1:word.lower': 'here', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'RB', 'postag[:2]': 'RB', 'word[-3]:': 'ere', 'word[-2]:': 're', 'word.lower': 'here', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'NN', '-1:postag[:2]': 'NN', '-1:word.lower': 'storm', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'JJ', '+1:postag[:2]': 'JJ', '+1:word.lower': 'last', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'JJ', 'postag[:2]': 'JJ', 'word[-3]:': 'ast', 'word[-2]:': 'st', 'word.lower': 'last', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'RB', '-1:postag[:2]': 'RB', '-1:word.lower': 'here', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': 'NN', '+1:postag[:2]': 'NN', '+1:word.lower': 'evening', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': 'NN', 'postag[:2]': 'NN', 'word[-3]:': 'ing', 'word[-2]:': 'ng', 'word.lower': 'evening', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'JJ', '-1:postag[:2]': 'JJ', '-1:word.lower': 'last', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, '+1:postag': '.', '+1:postag[:2]': '.', '+1:word.lower': '.', '+1:word.istitle': 0, '+1:word.isupper': 0, '+1:word.isdigit': 0}, {'bias': 1.0, 'postag': '.', 'postag[:2]': '.', 'word[-3]:': '.', 'word[-2]:': '.', 'word.lower': '.', 'word.istitle': 0, 'word.isupper': 0, 'word.isdigit': 0, '-1:postag': 'NN', '-1:postag[:2]': 'NN', '-1:word.lower': 'evening', '-1:word.istitle': 0, '-1:word.isupper': 0, '-1:word.isdigit': 0, 'EOS': True}]

[diegoesteves]

[{'bias':1.0,'word[-3:]':'alk','word[-2:]':'lk','word.lower()':'@paulwalk','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'USR','postag[:2]':'US','BOS':True,'+1:word.lower()':'it','+1:word.istitle()':True,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'PRP','+1:postag[:2]':'PR'},{'bias':1.0,'word[-3:]':'It','word[-2:]':'It','word.lower()':'it','word.istitle()':True,'word.isupper()':False,'word.isdigit()':False,'postag':'PRP','postag[:2]':'PR','-1:word.lower()':'@paulwalk','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'USR','-1:postag[:2]':'US','+1:word.lower()':"'s",'+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'PRP','+1:postag[:2]':'PR'},{'bias':1.0,'word[-3:]':"'s",'word[-2:]':"'s",'word.lower()':"'s",'word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'PRP','postag[:2]':'PR','-1:word.lower()':'it','-1:word.istitle()':True,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'PRP','-1:postag[:2]':'PR','+1:word.lower()':'the','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'DT','+1:postag[:2]':'DT'},{'bias':1.0,'word[-3:]':'the','word[-2:]':'he','word.lower()':'the','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'DT','postag[:2]':'DT','-1:word.lower()':"'s",'-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'PRP','-1:postag[:2]':'PR','+1:word.lower()':'view','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'NN','+1:postag[:2]':'NN'},{'bias':1.0,'word[-3:]':'iew','word[-2:]':'ew','word.lower()':'view','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'NN','postag[:2]':'NN','-1:word.lower()':'the','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'DT','-1:postag[:2]':'DT','+1:word.lower()':'from','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'IN','+1:postag[:2]':'IN'},{'bias':1.0,'word[-3:]':'rom','word[-2:]':'om','word.lower()':'from','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'IN','postag[:2]':'IN','-1:word.lower()':'view','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'NN','-1:postag[:2]':'NN','+1:word.lower()':'where','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'WRB','+1:postag[:2]':'WR'},{'bias':1.0,'word[-3:]':'ere','word[-2:]':'re','word.lower()':'where','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'WRB','postag[:2]':'WR','-1:word.lower()':'from','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'IN','-1:postag[:2]':'IN','+1:word.lower()':'i','+1:word.istitle()':True,'+1:word.isupper()':True,'+1:word.isdigit()':False,'+1:postag':'PRP','+1:postag[:2]':'PR'},{'bias':1.0,'word[-3:]':'I','word[-2:]':'I','word.lower()':'i','word.istitle()':True,'word.isupper()':True,'word.isdigit()':False,'postag':'PRP','postag[:2]':'PR','-1:word.lower()':'where','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'WRB','-1:postag[:2]':'WR','+1:word.lower()':"'m",'+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'PRP','+1:postag[:2]':'PR'},{'bias':1.0,'word[-3:]':"'m",'word[-2:]':"'m",'word.lower()':"'m",'word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'PRP','postag[:2]':'PR','-1:word.lower()':'i','-1:word.istitle()':True,'-1:word.isupper()':True,'-1:word.isdigit()':False,'-1:postag':'PRP','-1:postag[:2]':'PR','+1:word.lower()':'living','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'VBG','+1:postag[:2]':'VB'},{'bias':1.0,'word[-3:]':'ing','word[-2:]':'ng','word.lower()':'living','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'VBG','postag[:2]':'VB','-1:word.lower()':"'m",'-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'PRP','-1:postag[:2]':'PR','+1:word.lower()':'for','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'IN','+1:postag[:2]':'IN'},{'bias':1.0,'word[-3:]':'for','word[-2:]':'or','word.lower()':'for','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'IN','postag[:2]':'IN','-1:word.lower()':'living','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'VBG','-1:postag[:2]':'VB','+1:word.lower()':'two','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'CD','+1:postag[:2]':'CD'},{'bias':1.0,'word[-3:]':'two','word[-2:]':'wo','word.lower()':'two','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'CD','postag[:2]':'CD','-1:word.lower()':'for','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'IN','-1:postag[:2]':'IN','+1:word.lower()':'weeks','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'NNS','+1:postag[:2]':'NN'},{'bias':1.0,'word[-3:]':'eks','word[-2:]':'ks','word.lower()':'weeks','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'NNS','postag[:2]':'NN','-1:word.lower()':'two','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'CD','-1:postag[:2]':'CD','+1:word.lower()':'.','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'.','+1:postag[:2]':'.'},{'bias':1.0,'word[-3:]':'.','word[-2:]':'.','word.lower()':'.','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'.','postag[:2]':'.','-1:word.lower()':'weeks','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'NNS','-1:postag[:2]':'NN','+1:word.lower()':'empire','+1:word.istitle()':True,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'NNP','+1:postag[:2]':'NN'},{'bias':1.0,'word[-3:]':'ire','word[-2:]':'re','word.lower()':'empire','word.istitle()':True,'word.isupper()':False,'word.isdigit()':False,'postag':'NNP','postag[:2]':'NN','-1:word.lower()':'.','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'.','-1:postag[:2]':'.','+1:word.lower()':'state','+1:word.istitle()':True,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'NNP','+1:postag[:2]':'NN'},{'bias':1.0,'word[-3:]':'ate','word[-2:]':'te','word.lower()':'state','word.istitle()':True,'word.isupper()':False,'word.isdigit()':False,'postag':'NNP','postag[:2]':'NN','-1:word.lower()':'empire','-1:word.istitle()':True,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'NNP','-1:postag[:2]':'NN','+1:word.lower()':'building','+1:word.istitle()':True,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'NNP','+1:postag[:2]':'NN'},{'bias':1.0,'word[-3:]':'ing','word[-2:]':'ng','word.lower()':'building','word.istitle()':True,'word.isupper()':False,'word.isdigit()':False,'postag':'NNP','postag[:2]':'NN','-1:word.lower()':'state','-1:word.istitle()':True,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'NNP','-1:postag[:2]':'NN','+1:word.lower()':'=','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'SYM','+1:postag[:2]':'SY'},{'bias':1.0,'word[-3:]':'=','word[-2:]':'=','word.lower()':'=','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'SYM','postag[:2]':'SY','-1:word.lower()':'building','-1:word.istitle()':True,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'NNP','-1:postag[:2]':'NN','+1:word.lower()':'esb','+1:word.istitle()':False,'+1:word.isupper()':True,'+1:word.isdigit()':False,'+1:postag':'NNP','+1:postag[:2]':'NN'},{'bias':1.0,'word[-3:]':'ESB','word[-2:]':'SB','word.lower()':'esb','word.istitle()':False,'word.isupper()':True,'word.isdigit()':False,'postag':'NNP','postag[:2]':'NN','-1:word.lower()':'=','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'SYM','-1:postag[:2]':'SY','+1:word.lower()':'.','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'.','+1:postag[:2]':'.'},{'bias':1.0,'word[-3:]':'.','word[-2:]':'.','word.lower()':'.','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'.','postag[:2]':'.','-1:word.lower()':'esb','-1:word.istitle()':False,'-1:word.isupper()':True,'-1:word.isdigit()':False,'-1:postag':'NNP','-1:postag[:2]':'NN','+1:word.lower()':'pretty','+1:word.istitle()':True,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'RB','+1:postag[:2]':'RB'},{'bias':1.0,'word[-3:]':'tty','word[-2:]':'ty','word.lower()':'pretty','word.istitle()':True,'word.isupper()':False,'word.isdigit()':False,'postag':'RB','postag[:2]':'RB','-1:word.lower()':'.','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'.','-1:postag[:2]':'.','+1:word.lower()':'bad','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'JJ','+1:postag[:2]':'JJ'},{'bias':1.0,'word[-3:]':'bad','word[-2:]':'ad','word.lower()':'bad','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'JJ','postag[:2]':'JJ','-1:word.lower()':'pretty','-1:word.istitle()':True,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'RB','-1:postag[:2]':'RB','+1:word.lower()':'storm','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'NN','+1:postag[:2]':'NN'},{'bias':1.0,'word[-3:]':'orm','word[-2:]':'rm','word.lower()':'storm','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'NN','postag[:2]':'NN','-1:word.lower()':'bad','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'JJ','-1:postag[:2]':'JJ','+1:word.lower()':'here','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'RB','+1:postag[:2]':'RB'},{'bias':1.0,'word[-3:]':'ere','word[-2:]':'re','word.lower()':'here','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'RB','postag[:2]':'RB','-1:word.lower()':'storm','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'NN','-1:postag[:2]':'NN','+1:word.lower()':'last','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'JJ','+1:postag[:2]':'JJ'},{'bias':1.0,'word[-3:]':'ast','word[-2:]':'st','word.lower()':'last','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'JJ','postag[:2]':'JJ','-1:word.lower()':'here','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'RB','-1:postag[:2]':'RB','+1:word.lower()':'evening','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'NN','+1:postag[:2]':'NN'},{'bias':1.0,'word[-3:]':'ing','word[-2:]':'ng','word.lower()':'evening','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'NN','postag[:2]':'NN','-1:word.lower()':'last','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'JJ','-1:postag[:2]':'JJ','+1:word.lower()':'.','+1:word.istitle()':False,'+1:word.isupper()':False,'+1:word.isdigit()':False,'+1:postag':'.','+1:postag[:2]':'.'},{'bias':1.0,'word[-3:]':'.','word[-2:]':'.','word.lower()':'.','word.istitle()':False,'word.isupper()':False,'word.isdigit()':False,'postag':'.','postag[:2]':'.','-1:word.lower()':'evening','-1:word.istitle()':False,'-1:word.isupper()':False,'-1:word.isdigit()':False,'-1:postag':'NN','-1:postag[:2]':'NN','EOS':True}]