Просмотр исходного кода

Ensure token list is copied before being fed to the builder.

tags/v0.4
Ben Kurtovic 10 лет назад
Родитель
Сommit
e1ebb59b9e
1 измененных файлов: 1 добавлений и 1 удалений
  1. +1
    -1
      tests/_test_tokenizer.py

+ 1
- 1
tests/_test_tokenizer.py Просмотреть файл

@@ -53,7 +53,7 @@ class TokenizerTestCase(object):
def inner(self): def inner(self):
if hasattr(self, "roundtrip"): if hasattr(self, "roundtrip"):
expected = data["input"] expected = data["input"]
actual = str(Builder().build(data["output"]))
actual = str(Builder().build(data["output"][:]))
else: else:
expected = data["output"] expected = data["output"]
actual = self.tokenizer().tokenize(data["input"]) actual = self.tokenizer().tokenize(data["input"])


Загрузка…
Отмена
Сохранить