klevvit / textgenerator Goto Github PK

View Code? Open in Web Editor NEW

0.0 0.0 0.0 3.04 MB

Word sequence generator.

Python 100.00%

textgenerator's People

Contributors

Watchers

textgenerator's Issues

Подробнее описать скрипты в help

TextGenerator/train.py

Lines 21 to 35 in 421a2c4

 description='Create model for generator.', 

 epilog='March 2018, Lev Kovalenko', add_help=True) 

 p.add_argument('--input-dir', '-i', 

 help='optional; path to directory with text files (and ' 

 'with NO directories!!!), read from standard input ' 

 'stream if not stated') 

 p.add_argument('--model', '-m', type=argparse.FileType('w'), 

 help='path to file for saving model') 

 p.add_argument('--lc', '-l', action='store_true', 

 help='optional; convert words to lowercase') 

 p.add_argument('--no-cleanup', '-nc', action='store_true', 

 help='optional; do not remove non-alphabetic symbols') 

 p.add_argument('--min-quantity', '-mq', type=int, 

 help='optional; minimal quantity of word pairs in text ' 

 'for saving them to model')

Представь, что тебе прислали код и ты запускаешь --help, чтобы понять что это и как им пользоваться, пока это не очень понятно.

Поправить отступы

TextGenerator/generate.py

Lines 61 to 62 in 421a2c4

 d = json.load(input_file) # Key: first_word, 

 # Val: {Key: second_word, Val: quantity1}

Если у тебя комментарий не влезает в строку, вторую его часть нужно начинать писать на том же уровне, что и первую (решетки должны быть друг под другом)

Добавить with или обработку исключения

TextGenerator/train.py

Lines 148 to 150 in 421a2c4

 f = open(file_path, 'r') 

 read_stream(f, args.lc, not args.no_cleanup) 

 f.close()

Ну в условии все сказано, предпочтительнее with. Зачем: чтобы файл гарантированно закрылся, даже если в процессе было выкинуто исключение

Убрать дублирование кода

TextGenerator/train.py

Lines 144 to 149 in 421a2c4

 read_stream(sys.stdin, args.lc, not args.no_cleanup) 

 else: 

 file_list = get_all_files(input_dir) 

 for file_path in file_list: 

 f = open(file_path, 'r') 

 read_stream(f, args.lc, not args.no_cleanup)

Ты вызываешь одну и ту же функцию с одинаковыми аргументами, кроме первого. При добавлении нового параметра придется менять код в двух местах. Вместо этого лучше использовать новую переменную для списка параметров.

Не использовать сложение строк в write

TextGenerator/generate.py

Line 80 in 421a2c4

output_stream.write(word + ' ')

У метода write есть специальный параметр для этого

Свести все в один хороший скрипт

Сейчас будет очень сложная задача...
Давай делать продакшен версию. Соедини все ветки в одну master-ветку, в которой нет никаких артефактов дебага, все чисто и работает и нет TODO.
Если ты хочешь дорабатывать код, то выдели новые ветки с названиями фичей, которые хочешь добавить. В них первый коммит сделай как раз с этими TODO.

В мастере должен быть максимально чистый, красивый и понятный код. А в репозитории не должно остаться "мертвых веток"

Заменить while на for

TextGenerator/train.py

Lines 96 to 109 in 421a2c4

 while not is_end_of_stream: 

 line = process_string(line, lower, cleanup) 

 line = line.split() 

 for i in range(0, len(line) - 1): 

 pass 

 add_to_dict(line[i], line[i + 1]) 

 new_line = stream.readline() 

 if new_line == '': 

 is_end_of_stream = True 

 if not line: 

 line = new_line 

 else: 

 line = line[-1] + ' ' + new_line 

 add_to_dict(line.replace(' ', ''), None)

Во-первых, зачем там pass?
Во-вторых, давай заменим цикл на for, чтобы избавиться от условий и лишних переменных.
В-третьих, не понимаю, что за странная манипуляция в последней строке.
В-четвертых, попробуй переделать добавление пар в словарь так, чтобы это было без цикла

Две попытки прочтения файла с моделью

TextGenerator/generate.py

Lines 61 to 69 in 421a2c4

 d = json.load(input_file) # Key: first_word, 

 # Val: {Key: second_word, Val: quantity1} 

 line = input_file.readline() 

 while line != '': 

 tup = line.split(WORD_SEPARATOR) 

 d[tup[0]].append([tup[1], int(tup[-1])]) 

 line = input_file.readline() 

 input_file.close()

Зачем ты после json.load пытаешься читать файл? Я же показывала на семинаре как минимум, что там никогда не будет выполняться цикл

Убрать артефакты

TextGenerator/train.py

Line 39 in 421a2c4

# TODO хз что это, мб сработает

Хаха)) неплохо, но надо удалить подобные комментарии

Убрать дублирование комментариев

TextGenerator/train.py

Line 11 in 2864df5

Create parser with arguments:

Можно убрать такой подробный комментарий, там все и так видно чуть ниже. Описание должно быть в духе: "Создает парсер входных аргументов с помощью библиотеки такой-то"

Назвать все переменные осмыслено

Избавиться от однобуквенных названий переменных или таких, которые не несут никакого смысла (например, d)

Добавить описания скриптов

TextGenerator/train.py

Line 1 in 2864df5

# coding: utf-8

Нужно добавить небольшое описание всего скрипта, включая автора, версию и все в этом духе. Аналогично во втором файле.

Исправить использование глобальной константы

TextGenerator/generate.py

Line 60 in 421a2c4

WORD_SEPARATOR = ' ' # Const

Во-первых, глобальные константы (которые пишутся капсом) должны быть вне функций. Во-вторых, эта константа должна быть той же, что и в train (опять же на тему дублирования кода). Используй import или общий конфиг файл

Упростить функцию process_string

TextGenerator/train.py

Lines 57 to 61 in 421a2c4

 for char in dirty_string: 

 if char.isspace(): 

 clean_string += ' ' 

 elif not cleanup or char.isalpha(): 

 clean_string += char

Сама по себе функция очень хорошая (потому что ее можно переиспользовать), но попробуй избавиться от циклов с помощью регулярных выражений (модуль re)

Избавиться от глобальных переменных

TextGenerator/train.py

Line 76 in 421a2c4

global d

В питоне не принято использовать глобальные переменные, особенно там, где они особо не нужны. Ты можешь вернуть новый словарь, вместо этого

Добавить описание скриптов

TextGenerator/train.py

Line 1 in 421a2c4

# coding: utf-8

Сократить main

TextGenerator/generate.py

Lines 56 to 90 in 421a2c4

 parser = create_parser() 

 args = parser.parse_args() 

 input_file = args.model 

 WORD_SEPARATOR = ' ' # Const 

 d = json.load(input_file) # Key: first_word, 

 # Val: {Key: second_word, Val: quantity1} 

 line = input_file.readline() 

 while line != '': 

 tup = line.split(WORD_SEPARATOR) 

 d[tup[0]].append([tup[1], int(tup[-1])]) 

 line = input_file.readline() 

 input_file.close() 

 length = args.length 

 output_stream = args.output 

 if output_stream is None: 

 output_stream = sys.stdout 

 word = None 

 if args.seed is not None: 

 word = args.seed 

 if d.get(word) is None: 

 raise KeyError('No such word in texts') 

 output_stream.write(word + ' ') 

 length -= 1 

 for i in range(length): 

 next_words = d.get(word) 

 if not next_words: 

 word = random.choice(list(d.keys())) 

 else: 

 word = weighted_choice(next_words.items()) 

 output_stream.write(word + ' ') 

 output_stream.close()

Он у тебя слишком длинный. Хороший main занимает несколько строк. Разбей его на логические куски, а они там есть еще, и добавь функций

Заменить цикл на словарное выражение

TextGenerator/train.py

Lines 120 to 123 in 421a2c4

 for word1, words2 in d.items(): 

 for word, quantity in words2: 

 if quantity < min_quantity: 

 words2.pop(word)

Этот кусок можно сильно ускорить, избавившись от цикла

	description='Create model for generator.',
	epilog='March 2018, Lev Kovalenko', add_help=True)
	p.add_argument('--input-dir', '-i',
	help='optional; path to directory with text files (and '
	'with NO directories!!!), read from standard input '
	'stream if not stated')
	p.add_argument('--model', '-m', type=argparse.FileType('w'),
	help='path to file for saving model')
	p.add_argument('--lc', '-l', action='store_true',
	help='optional; convert words to lowercase')
	p.add_argument('--no-cleanup', '-nc', action='store_true',
	help='optional; do not remove non-alphabetic symbols')
	p.add_argument('--min-quantity', '-mq', type=int,
	help='optional; minimal quantity of word pairs in text '
	'for saving them to model')

	d = json.load(input_file) # Key: first_word,
	# Val: {Key: second_word, Val: quantity1}

	f = open(file_path, 'r')
	read_stream(f, args.lc, not args.no_cleanup)
	f.close()

	read_stream(sys.stdin, args.lc, not args.no_cleanup)
	else:
	file_list = get_all_files(input_dir)
	for file_path in file_list:
	f = open(file_path, 'r')
	read_stream(f, args.lc, not args.no_cleanup)

	while not is_end_of_stream:
	line = process_string(line, lower, cleanup)
	line = line.split()
	for i in range(0, len(line) - 1):
	pass
	add_to_dict(line[i], line[i + 1])
	new_line = stream.readline()
	if new_line == '':
	is_end_of_stream = True
	if not line:
	line = new_line
	else:
	line = line[-1] + ' ' + new_line
	add_to_dict(line.replace(' ', ''), None)

	d = json.load(input_file) # Key: first_word,
	# Val: {Key: second_word, Val: quantity1}

	line = input_file.readline()
	while line != '':
	tup = line.split(WORD_SEPARATOR)
	d[tup[0]].append([tup[1], int(tup[-1])])
	line = input_file.readline()
	input_file.close()

	for char in dirty_string:
	if char.isspace():
	clean_string += ' '
	elif not cleanup or char.isalpha():
	clean_string += char

	parser = create_parser()
	args = parser.parse_args()
	input_file = args.model

	WORD_SEPARATOR = ' ' # Const
	d = json.load(input_file) # Key: first_word,
	# Val: {Key: second_word, Val: quantity1}

	line = input_file.readline()
	while line != '':
	tup = line.split(WORD_SEPARATOR)
	d[tup[0]].append([tup[1], int(tup[-1])])
	line = input_file.readline()
	input_file.close()

	length = args.length
	output_stream = args.output
	if output_stream is None:
	output_stream = sys.stdout
	word = None
	if args.seed is not None:
	word = args.seed
	if d.get(word) is None:
	raise KeyError('No such word in texts')
	output_stream.write(word + ' ')
	length -= 1

	for i in range(length):
	next_words = d.get(word)
	if not next_words:
	word = random.choice(list(d.keys()))
	else:
	word = weighted_choice(next_words.items())
	output_stream.write(word + ' ')
	output_stream.close()

	for word1, words2 in d.items():
	for word, quantity in words2:
	if quantity < min_quantity:
	words2.pop(word)

klevvit / textgenerator Goto Github PK

textgenerator's People

Contributors

Watchers

textgenerator's Issues

Recommend Projects

Recommend Topics

Recommend Org

Jobs