steps: 0%| | 0/1600 [00:00<?, ?it/s]epoch 1/2
โญโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ Traceback (most recent call last) โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฎ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/output_graph.py:674 in โ
โ call_user_compiler โ
โ โ
โ 671 โ โ โ elif config.DO_NOT_USE_legacy_non_fake_example_inputs: โ
โ 672 โ โ โ โ compiled_fn = compiler_fn(gm, self.example_inputs()) โ
โ 673 โ โ โ else: โ
โ โฑ 674 โ โ โ โ compiled_fn = compiler_fn(gm, self.fake_example_inputs()) โ
โ 675 โ โ โ _step_logger()(logging.INFO, f"done compiler function {name}") โ
โ 676 โ โ โ assert callable(compiled_fn), "compiler_fn did not return callable" โ
โ 677 โ โ except Exception as e: โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/debug_utils.py:1032 in โ
โ debug_wrapper โ
โ โ
โ 1029 โ โ โ โ โ ) โ
โ 1030 โ โ โ โ โ raise โ
โ 1031 โ โ else: โ
โ โฑ 1032 โ โ โ compiled_gm = compiler_fn(gm, example_inputs, **kwargs) โ
โ 1033 โ โ โ
โ 1034 โ โ return compiled_gm โ
โ 1035 โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_inductor/compile_fx.py:398 in compile_fx โ
โ โ
โ 395 โ โ # TODO: can add logging before/after the call to create_aot_dispatcher_function โ
โ 396 โ โ # in torch._functorch/aot_autograd.py::aot_module_simplified::aot_function_simpl โ
โ 397 โ โ # once torchdynamo is merged into pytorch โ
โ โฑ 398 โ โ return aot_autograd( โ
โ 399 โ โ โ fw_compiler=fw_compiler, โ
โ 400 โ โ โ bw_compiler=bw_compiler, โ
โ 401 โ โ โ decompositions=select_decomp_table(), โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/optimizations/training.py:78 in โ
โ compiler_fn โ
โ โ
โ 75 โ โ try: โ
โ 76 โ โ โ # NB: NOT cloned! โ
โ 77 โ โ โ with enable_aot_logging(): โ
โ โฑ 78 โ โ โ โ cg = aot_module_simplified(gm, example_inputs, **kwargs) โ
โ 79 โ โ โ โ counters["aot_autograd"]["ok"] += 1 โ
โ 80 โ โ โ โ return eval_frame.disable(cg) โ
โ 81 โ โ except Exception: โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_functorch/aot_autograd.py:2355 in โ
โ aot_module_simplified โ
โ โ
โ 2352 โ full_args.extend(params_flat) โ
โ 2353 โ full_args.extend(args) โ
โ 2354 โ โ
โ โฑ 2355 โ compiled_fn = create_aot_dispatcher_function( โ
โ 2356 โ โ functional_call, โ
โ 2357 โ โ full_args, โ
โ 2358 โ โ aot_config, โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/utils.py:94 in time_wrapper โ
โ โ
โ 91 โ โ if key not in compilation_metrics: โ
โ 92 โ โ โ compilation_metrics[key] = [] โ
โ 93 โ โ t0 = time.time() โ
โ โฑ 94 โ โ r = func(*args, **kwargs) โ
โ 95 โ โ latency = time.time() - t0 โ
โ 96 โ โ # print(f"Dynamo timer: key={key}, latency={latency:.2f} sec") โ
โ 97 โ โ compilation_metrics[key].append(latency) โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_functorch/aot_autograd.py:2052 in โ
โ create_aot_dispatcher_function โ
โ โ
โ 2049 โ โ compiler_fn = partial(aot_wrapper_dedupe, compiler_fn=compiler_fn) โ
โ 2050 โ โ # You can put more passes here โ
โ 2051 โ โ โ
โ โฑ 2052 โ โ compiled_fn = compiler_fn(flat_fn, fake_flat_tensor_args, aot_config) โ
โ 2053 โ โ โ
โ 2054 โ โ if not hasattr(compiled_fn, '_boxed_call'): โ
โ 2055 โ โ โ compiled_fn = make_boxed_func(compiled_fn) โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_functorch/aot_autograd.py:1273 in โ
โ aot_wrapper_dedupe โ
โ โ
โ 1270 โ # or not โ
โ 1271 โ try: โ
โ 1272 โ โ with enable_python_dispatcher(): โ
โ โฑ 1273 โ โ โ fw_metadata, _out, _num_aliasing_metadata_outs = run_functionalized_fw_and_c โ
โ 1274 โ โ โ โ flat_fn โ
โ 1275 โ โ โ )(*flat_args) โ
โ 1276 โ except RuntimeError as e: โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_functorch/aot_autograd.py:289 in inner โ
โ โ
โ 286 โ โ โ
โ 287 โ โ torch._enable_functionalization(reapply_views=True) โ
โ 288 โ โ try: โ
โ โฑ 289 โ โ โ outs = f(*f_args) โ
โ 290 โ โ finally: โ
โ 291 โ โ โ torch._disable_functionalization() โ
โ 292 โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_functorch/aot_autograd.py:2327 in โ
โ functional_call โ
โ โ
โ 2324 โ โ โ โ โ โ "ignore", "Anomaly Detection has been enabled." โ
โ 2325 โ โ โ โ โ ) โ
โ 2326 โ โ โ โ โ with torch.autograd.detect_anomaly(check_nan=False): โ
โ โฑ 2327 โ โ โ โ โ โ out = Interpreter(mod).run(*args[params_len:], **kwargs) โ
โ 2328 โ โ โ else: โ
โ 2329 โ โ โ โ out = mod(*args[params_len:], **kwargs) โ
โ 2330 โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/fx/interpreter.py:136 in run โ
โ โ
โ 133 โ โ โ โ continue โ
โ 134 โ โ โ โ
โ 135 โ โ โ try: โ
โ โฑ 136 โ โ โ โ self.env[node] = self.run_node(node) โ
โ 137 โ โ โ except Exception as e: โ
โ 138 โ โ โ โ msg = f"While executing {node.format_node()}" โ
โ 139 โ โ โ โ msg = '{}\n\n{}'.format(e.args[0], msg) if e.args else str(msg) โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/fx/interpreter.py:177 in run_node โ
โ โ
โ 174 โ โ โ args, kwargs = self.fetch_args_kwargs_from_env(n) โ
โ 175 โ โ โ assert isinstance(args, tuple) โ
โ 176 โ โ โ assert isinstance(kwargs, dict) โ
โ โฑ 177 โ โ โ return getattr(self, n.op)(n.target, args, kwargs) โ
โ 178 โ โ
โ 179 โ # Main Node running APIs โ
โ 180 โ @compatibility(is_backward_compatible=True) โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/fx/interpreter.py:294 in call_module โ
โ โ
โ 291 โ โ assert isinstance(target, str) โ
โ 292 โ โ submod = self.fetch_attr(target) โ
โ 293 โ โ โ
โ โฑ 294 โ โ return submod(*args, **kwargs) โ
โ 295 โ โ
โ 296 โ @compatibility(is_backward_compatible=True) โ
โ 297 โ def output(self, target : 'Target', args : Tuple[Argument, ...], kwargs : Dict[str, โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/nn/modules/module.py:1482 in _call_impl โ
โ โ
โ 1479 โ โ if not (self._backward_hooks or self._backward_pre_hooks or self._forward_hooks โ
โ 1480 โ โ โ โ or _global_backward_pre_hooks or _global_backward_hooks โ
โ 1481 โ โ โ โ or _global_forward_hooks or _global_forward_pre_hooks): โ
โ โฑ 1482 โ โ โ return forward_call(*args, **kwargs) โ
โ 1483 โ โ # Do not call functions when jit is used โ
โ 1484 โ โ full_backward_hooks, non_full_backward_hooks = [], [] โ
โ 1485 โ โ backward_pre_hooks = [] โ
โ โ
โ /home/alpha/clone/sd-scripts/networks/lora.py:44 in forward โ
โ โ
โ 41 โ del self.org_module โ
โ 42 โ
โ 43 def forward(self, x): โ
โ โฑ 44 โ return self.org_forward(x) + self.lora_up(self.lora_down(x)) * self.multiplier โ
โ 45 โ
โ 46 โ
โ 47 def create_network(multiplier, network_dim, vae, text_encoder, unet, **kwargs): โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/nn/modules/module.py:1482 in _call_impl โ
โ โ
โ 1479 โ โ if not (self._backward_hooks or self._backward_pre_hooks or self._forward_hooks โ
โ 1480 โ โ โ โ or _global_backward_pre_hooks or _global_backward_hooks โ
โ 1481 โ โ โ โ or _global_forward_hooks or _global_forward_pre_hooks): โ
โ โฑ 1482 โ โ โ return forward_call(*args, **kwargs) โ
โ 1483 โ โ # Do not call functions when jit is used โ
โ 1484 โ โ full_backward_hooks, non_full_backward_hooks = [], [] โ
โ 1485 โ โ backward_pre_hooks = [] โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/nn/modules/linear.py:114 in forward โ
โ โ
โ 111 โ โ โ init.uniform_(self.bias, -bound, bound) โ
โ 112 โ โ
โ 113 โ def forward(self, input: Tensor) -> Tensor: โ
โ โฑ 114 โ โ return F.linear(input, self.weight, self.bias) โ
โ 115 โ โ
โ 116 โ def extra_repr(self) -> str: โ
โ 117 โ โ return 'in_features={}, out_features={}, bias={}'.format( โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_inductor/overrides.py:37 in โ
โ __torch_function__ โ
โ โ
โ 34 โ โ โ and replacements[func] in replacements_using_triton_random โ
โ 35 โ โ ): โ
โ 36 โ โ โ return replacements[func](*args, **kwargs) โ
โ โฑ 37 โ โ return func(*args, **kwargs) โ
โ 38 โ
โ 39 โ
โ 40 patch_functions = AutogradMonkeypatch โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_subclasses/fake_tensor.py:825 in โ
โ __torch_dispatch__ โ
โ โ
โ 822 โ โ โ ), f"{args} {kwargs}" โ
โ 823 โ โ โ return converter(self, args[0]) โ
โ 824 โ โ โ
โ โฑ 825 โ โ args, kwargs = self.validate_and_convert_non_fake_tensors( โ
โ 826 โ โ โ func, converter, args, kwargs โ
โ 827 โ โ ) โ
โ 828 โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_subclasses/fake_tensor.py:973 in โ
โ validate_and_convert_non_fake_tensors โ
โ โ
โ 970 โ โ โ โ return converter(self, x) โ
โ 971 โ โ โ return x โ
โ 972 โ โ โ
โ โฑ 973 โ โ return tree_map_only( โ
โ 974 โ โ โ torch.Tensor, โ
โ 975 โ โ โ validate, โ
โ 976 โ โ โ (args, kwargs), โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/utils/_pytree.py:259 in tree_map_only โ
โ โ
โ 256 โ ... โ
โ 257 โ
โ 258 def tree_map_only(ty: TypeAny, fn: FnAny[Any], pytree: PyTree) -> PyTree: โ
โ โฑ 259 โ return tree_map(map_only(ty)(fn), pytree) โ
โ 260 โ
โ 261 def tree_all(pred: Callable[[Any], bool], pytree: PyTree) -> bool: โ
โ 262 โ flat_args, _ = tree_flatten(pytree) โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/utils/_pytree.py:195 in tree_map โ
โ โ
โ 192 โ
โ 193 def tree_map(fn: Any, pytree: PyTree) -> PyTree: โ
โ 194 โ flat_args, spec = tree_flatten(pytree) โ
โ โฑ 195 โ return tree_unflatten([fn(i) for i in flat_args], spec) โ
โ 196 โ
โ 197 Type2 = Tuple[Type[T], Type[S]] โ
โ 198 TypeAny = Union[Type[Any], Tuple[Type[Any], ...]] โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/utils/_pytree.py:195 in <listcomp> โ
โ โ
โ 192 โ
โ 193 def tree_map(fn: Any, pytree: PyTree) -> PyTree: โ
โ 194 โ flat_args, spec = tree_flatten(pytree) โ
โ โฑ 195 โ return tree_unflatten([fn(i) for i in flat_args], spec) โ
โ 196 โ
โ 197 Type2 = Tuple[Type[T], Type[S]] โ
โ 198 TypeAny = Union[Type[Any], Tuple[Type[Any], ...]] โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/utils/_pytree.py:244 in inner โ
โ โ
โ 241 โ โ @functools.wraps(f) โ
โ 242 โ โ def inner(x: T) -> Any: โ
โ 243 โ โ โ if isinstance(x, ty): โ
โ โฑ 244 โ โ โ โ return f(x) โ
โ 245 โ โ โ else: โ
โ 246 โ โ โ โ return x โ
โ 247 โ โ return inner โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_subclasses/fake_tensor.py:965 in validate โ
โ โ
โ 962 โ โ โ โ โ โ f"Can't call metadata mutating ops on non-Fake Tensor inputs. Fo โ
โ 963 โ โ โ โ โ ) โ
โ 964 โ โ โ โ if not self.allow_non_fake_inputs: โ
โ โฑ 965 โ โ โ โ โ raise Exception( โ
โ 966 โ โ โ โ โ โ f"Please convert all Tensors to FakeTensors first or instantiate โ
โ 967 โ โ โ โ โ โ f"with 'allow_non_fake_inputs'. Found in {func}(*{args}, **{kwar โ
โ 968 โ โ โ โ โ ) โ
โฐโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฏ
Exception: Please convert all Tensors to FakeTensors first or instantiate FakeTensorMode with
'allow_non_fake_inputs'. Found in aten._to_copy.default(*(Parameter containing:
tensor([[ 0.0292, 0.0266, 0.0296, ..., 0.0353, -0.0317, -0.0230],
[ 0.0112, -0.0135, 0.0291, ..., -0.0087, 0.0124, 0.0297],
[-0.0299, 0.0291, -0.0143, ..., -0.0097, 0.0106, -0.0191],
[-0.0344, -0.0083, 0.0227, ..., 0.0093, 0.0345, -0.0343]],
device='cuda:0', requires_grad=True),), **{'dtype': torch.float16})
While executing %self_text_model_encoder_layers_0_self_attn_q_proj : [#users=1] =
call_module[target=self_text_model_encoder_layers_0_self_attn_q_proj](args =
(%self_text_model_encoder_layers_0_layer_norm1,), kwargs = {})
Original traceback:
File "/home/alpha/.local/lib/python3.10/site-packages/transformers/models/clip/modeling_clip.py", line
209, in forward
query_states = self.q_proj(hidden_states) * self.scale
| File "/home/alpha/.local/lib/python3.10/site-packages/transformers/models/clip/modeling_clip.py",
line 317, in forward
hidden_states, attn_weights = self.self_attn(
| File "/home/alpha/.local/lib/python3.10/site-packages/transformers/models/clip/modeling_clip.py",
line 574, in forward
layer_outputs = encoder_layer(
| File "/home/alpha/.local/lib/python3.10/site-packages/transformers/models/clip/modeling_clip.py",
line 643, in forward
encoder_outputs = self.encoder(
| File "/home/alpha/.local/lib/python3.10/site-packages/transformers/models/clip/modeling_clip.py",
line 722, in forward
return self.text_model(
The above exception was the direct cause of the following exception:
โญโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ Traceback (most recent call last) โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฎ
โ /home/alpha/clone/sd-scripts/train_network.py:419 in <module> โ
โ โ
โ 416 โ โ โ โ โ help="only training Text Encoder part / Text Encoder้ข้ฃ้จๅใฎใฟๅญฆ โ
โ 417 โ
โ 418 args = parser.parse_args() โ
โ โฑ 419 train(args) โ
โ 420 โ
โ โ
โ /home/alpha/clone/sd-scripts/train_network.py:283 in train โ
โ โ
โ 280 โ โ with torch.set_grad_enabled(train_text_encoder): โ
โ 281 โ โ # Get the text embedding for conditioning โ
โ 282 โ โ input_ids = batch["input_ids"].to(accelerator.device) โ
โ โฑ 283 โ โ encoder_hidden_states = train_util.get_hidden_states(args, input_ids, tokenize โ
โ 284 โ โ โ
โ 285 โ โ # Sample noise that we'll add to the latents โ
โ 286 โ โ noise = torch.randn_like(latents, device=latents.device) โ
โ โ
โ /home/alpha/clone/sd-scripts/library/train_util.py:1257 in get_hidden_states โ
โ โ
โ 1254 if args.clip_skip is None: โ
โ 1255 โ encoder_hidden_states = text_encoder(input_ids)[0] โ
โ 1256 else: โ
โ โฑ 1257 โ enc_out = text_encoder(input_ids, output_hidden_states=True, return_dict=True) โ
โ 1258 โ encoder_hidden_states = enc_out['hidden_states'][-args.clip_skip] โ
โ 1259 โ if weight_dtype is not None: โ
โ 1260 โ # this is required for additional network training โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/nn/modules/module.py:1482 in _call_impl โ
โ โ
โ 1479 โ โ if not (self._backward_hooks or self._backward_pre_hooks or self._forward_hooks โ
โ 1480 โ โ โ โ or _global_backward_pre_hooks or _global_backward_hooks โ
โ 1481 โ โ โ โ or _global_forward_hooks or _global_forward_pre_hooks): โ
โ โฑ 1482 โ โ โ return forward_call(*args, **kwargs) โ
โ 1483 โ โ # Do not call functions when jit is used โ
โ 1484 โ โ full_backward_hooks, non_full_backward_hooks = [], [] โ
โ 1485 โ โ backward_pre_hooks = [] โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/accelerate/utils/operations.py:490 in __call__ โ
โ โ
โ 487 โ โ update_wrapper(self, model_forward) โ
โ 488 โ โ
โ 489 โ def __call__(self, *args, **kwargs): โ
โ โฑ 490 โ โ return convert_to_fp32(self.model_forward(*args, **kwargs)) โ
โ 491 โ โ
โ 492 โ def __getstate__(self): โ
โ 493 โ โ raise pickle.PicklingError( โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/amp/autocast_mode.py:14 in โ
โ decorate_autocast โ
โ โ
โ 11 โ @functools.wraps(func) โ
โ 12 โ def decorate_autocast(*args, **kwargs): โ
โ 13 โ โ with autocast_instance: โ
โ โฑ 14 โ โ โ return func(*args, **kwargs) โ
โ 15 โ decorate_autocast.__script_unsupported = '@autocast() decorator is not supported in โ
โ 16 โ return decorate_autocast โ
โ 17 โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/eval_frame.py:83 in forward โ
โ โ
โ 80 โ โ return getattr(self._orig_mod, name) โ
โ 81 โ โ
โ 82 โ def forward(self, *args, **kwargs): โ
โ โฑ 83 โ โ return self.dynamo_ctx(self._orig_mod.forward)(*args, **kwargs) โ
โ 84 โ
โ 85 โ
โ 86 def remove_from_cache(f): โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/eval_frame.py:212 in _fn โ
โ โ
โ 209 โ โ โ dynamic_ctx = enable_dynamic(self.dynamic) โ
โ 210 โ โ โ dynamic_ctx.__enter__() โ
โ 211 โ โ โ try: โ
โ โฑ 212 โ โ โ โ return fn(*args, **kwargs) โ
โ 213 โ โ โ finally: โ
โ 214 โ โ โ โ set_eval_frame(prior) โ
โ 215 โ โ โ โ dynamic_ctx.__exit__(None, None, None) โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/eval_frame.py:333 in catch_errors โ
โ โ
โ 330 โ โ โ โ โ return hijacked_callback(frame, cache_size, hooks) โ
โ 331 โ โ โ
โ 332 โ โ with compile_lock: โ
โ โฑ 333 โ โ โ return callback(frame, cache_size, hooks) โ
โ 334 โ โ
โ 335 โ catch_errors._torchdynamo_orig_callable = callback # type: ignore[attr-defined] โ
โ 336 โ return catch_errors โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/convert_frame.py:480 in โ
โ _convert_frame โ
โ โ
โ 477 โ def _convert_frame(frame: types.FrameType, cache_size: int, hooks: Hooks): โ
โ 478 โ โ counters["frames"]["total"] += 1 โ
โ 479 โ โ try: โ
โ โฑ 480 โ โ โ result = inner_convert(frame, cache_size, hooks) โ
โ 481 โ โ โ counters["frames"]["ok"] += 1 โ
โ 482 โ โ โ return result โ
โ 483 โ โ except (NotImplementedError, Unsupported): โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/convert_frame.py:103 in _fn โ
โ โ
โ 100 โ โ prior_fwd_from_src = torch.fx.graph_module._forward_from_src โ
โ 101 โ โ torch.fx.graph_module._forward_from_src = fx_forward_from_src_skip_result โ
โ 102 โ โ try: โ
โ โฑ 103 โ โ โ return fn(*args, **kwargs) โ
โ 104 โ โ finally: โ
โ 105 โ โ โ torch._C._set_grad_enabled(prior_grad_mode) โ
โ 106 โ โ โ torch.random.set_rng_state(rng_state) โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/utils.py:94 in time_wrapper โ
โ โ
โ 91 โ โ if key not in compilation_metrics: โ
โ 92 โ โ โ compilation_metrics[key] = [] โ
โ 93 โ โ t0 = time.time() โ
โ โฑ 94 โ โ r = func(*args, **kwargs) โ
โ 95 โ โ latency = time.time() - t0 โ
โ 96 โ โ # print(f"Dynamo timer: key={key}, latency={latency:.2f} sec") โ
โ 97 โ โ compilation_metrics[key].append(latency) โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/convert_frame.py:339 in โ
โ _convert_frame_assert โ
โ โ
โ 336 โ โ global initial_grad_state โ
โ 337 โ โ initial_grad_state = torch.is_grad_enabled() โ
โ 338 โ โ โ
โ โฑ 339 โ โ return _compile( โ
โ 340 โ โ โ frame.f_code, โ
โ 341 โ โ โ frame.f_globals, โ
โ 342 โ โ โ frame.f_locals, โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/convert_frame.py:400 in _compile โ
โ โ
โ 397 โ try: โ
โ 398 โ โ for attempt in itertools.count(): โ
โ 399 โ โ โ try: โ
โ โฑ 400 โ โ โ โ out_code = transform_code_object(code, transform) โ
โ 401 โ โ โ โ orig_code_map[out_code] = code โ
โ 402 โ โ โ โ break โ
โ 403 โ โ โ except exc.RestartAnalysis: โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/bytecode_transformation.py:341 in โ
โ transform_code_object โ
โ โ
โ 338 โ instructions = cleaned_instructions(code, safe) โ
โ 339 โ propagate_line_nums(instructions) โ
โ 340 โ โ
โ โฑ 341 โ transformations(instructions, code_options) โ
โ 342 โ โ
โ 343 โ fix_vars(instructions, code_options) โ
โ 344 โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/convert_frame.py:387 in transform โ
โ โ
โ 384 โ โ โ export, โ
โ 385 โ โ โ mutated_closure_cell_contents, โ
โ 386 โ โ ) โ
โ โฑ 387 โ โ tracer.run() โ
โ 388 โ โ output = tracer.output โ
โ 389 โ โ assert output is not None โ
โ 390 โ โ assert output.output_instructions โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/symbolic_convert.py:1692 in run โ
โ โ
โ 1689 โ โ
โ 1690 โ def run(self): โ
โ 1691 โ โ _step_logger()(logging.INFO, f"torchdynamo start tracing {self.f_code.co_name}") โ
โ โฑ 1692 โ โ super().run() โ
โ 1693 โ โ
โ 1694 โ def match_nested_cell(self, name, cell): โ
โ 1695 โ โ """Match a cell in this method to one in a function we are inlining""" โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/symbolic_convert.py:538 in run โ
โ โ
โ 535 โ โ โ while ( โ
โ 536 โ โ โ โ self.instruction_pointer is not None โ
โ 537 โ โ โ โ and not self.output.should_exit โ
โ โฑ 538 โ โ โ โ and self.step() โ
โ 539 โ โ โ ): โ
โ 540 โ โ โ โ pass โ
โ 541 โ โ except BackendCompilerFailed: โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/symbolic_convert.py:501 in step โ
โ โ
โ 498 โ โ try: โ
โ 499 โ โ โ if not hasattr(self, inst.opname): โ
โ 500 โ โ โ โ unimplemented(f"missing: {inst.opname}") โ
โ โฑ 501 โ โ โ getattr(self, inst.opname)(inst) โ
โ 502 โ โ โ โ
โ 503 โ โ โ return inst.opname != "RETURN_VALUE" โ
โ 504 โ โ except BackendCompilerFailed: โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/symbolic_convert.py:1758 in โ
โ RETURN_VALUE โ
โ โ
โ 1755 โ โ โ f"torchdynamo done tracing {self.f_code.co_name} (RETURN_VALUE)", โ
โ 1756 โ โ ) โ
โ 1757 โ โ log.debug("RETURN_VALUE triggered compile") โ
โ โฑ 1758 โ โ self.output.compile_subgraph(self) โ
โ 1759 โ โ self.output.add_output_instructions([create_instruction("RETURN_VALUE")]) โ
โ 1760 โ
โ 1761 โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/output_graph.py:551 in โ
โ compile_subgraph โ
โ โ
โ 548 โ โ โ output = [] โ
โ 549 โ โ โ if count_calls(self.graph) != 0 or len(pass2.graph_outputs) != 0: โ
โ 550 โ โ โ โ output.extend( โ
โ โฑ 551 โ โ โ โ โ self.compile_and_call_fx_graph(tx, pass2.graph_output_vars(), root) โ
โ 552 โ โ โ โ ) โ
โ 553 โ โ โ โ โ
โ 554 โ โ โ โ if len(pass2.graph_outputs) != 0: โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/output_graph.py:598 in โ
โ compile_and_call_fx_graph โ
โ โ
โ 595 โ โ โ
โ 596 โ โ assert_no_fake_params_or_buffers(gm) โ
โ 597 โ โ with tracing(self.tracing_context): โ
โ โฑ 598 โ โ โ compiled_fn = self.call_user_compiler(gm) โ
โ 599 โ โ compiled_fn = disable(compiled_fn) โ
โ 600 โ โ โ
โ 601 โ โ counters["stats"]["unique_graphs"] += 1 โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/torch/_dynamo/output_graph.py:679 in โ
โ call_user_compiler โ
โ โ
โ 676 โ โ โ assert callable(compiled_fn), "compiler_fn did not return callable" โ
โ 677 โ โ except Exception as e: โ
โ 678 โ โ โ compiled_fn = gm.forward โ
โ โฑ 679 โ โ โ raise BackendCompilerFailed(self.compiler_fn, e) from e โ
โ 680 โ โ return compiled_fn โ
โ 681 โ โ
โ 682 โ def fake_example_inputs(self) -> List[torch.Tensor]: โ
โฐโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฏ
BackendCompilerFailed: compile_fx raised Exception: Please convert all Tensors to FakeTensors first or
instantiate FakeTensorMode with 'allow_non_fake_inputs'. Found in aten._to_copy.default(*(Parameter
containing:
tensor([[ 0.0292, 0.0266, 0.0296, ..., 0.0353, -0.0317, -0.0230],
[ 0.0112, -0.0135, 0.0291, ..., -0.0087, 0.0124, 0.0297],
[-0.0299, 0.0291, -0.0143, ..., -0.0097, 0.0106, -0.0191],
[-0.0344, -0.0083, 0.0227, ..., 0.0093, 0.0345, -0.0343]],
device='cuda:0', requires_grad=True),), **{'dtype': torch.float16})
While executing %self_text_model_encoder_layers_0_self_attn_q_proj : [#users=1] =
call_module[target=self_text_model_encoder_layers_0_self_attn_q_proj](args =
(%self_text_model_encoder_layers_0_layer_norm1,), kwargs = {})
Original traceback:
File "/home/alpha/.local/lib/python3.10/site-packages/transformers/models/clip/modeling_clip.py", line
209, in forward
query_states = self.q_proj(hidden_states) * self.scale
| File "/home/alpha/.local/lib/python3.10/site-packages/transformers/models/clip/modeling_clip.py",
line 317, in forward
hidden_states, attn_weights = self.self_attn(
| File "/home/alpha/.local/lib/python3.10/site-packages/transformers/models/clip/modeling_clip.py",
line 574, in forward
layer_outputs = encoder_layer(
| File "/home/alpha/.local/lib/python3.10/site-packages/transformers/models/clip/modeling_clip.py",
line 643, in forward
encoder_outputs = self.encoder(
| File "/home/alpha/.local/lib/python3.10/site-packages/transformers/models/clip/modeling_clip.py",
line 722, in forward
return self.text_model(
Set torch._dynamo.config.verbose=True for more information
You can suppress this exception and fall back to eager by setting:
torch._dynamo.config.suppress_errors = True
steps: 0%| | 0/1600 [00:03<?, ?it/s]
โญโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ Traceback (most recent call last) โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฎ
โ /home/alpha/.local/bin/accelerate:8 in <module> โ
โ โ
โ 5 from accelerate.commands.accelerate_cli import main โ
โ 6 if __name__ == '__main__': โ
โ 7 โ sys.argv[0] = re.sub(r'(-script\.pyw|\.exe)?$', '', sys.argv[0]) โ
โ โฑ 8 โ sys.exit(main()) โ
โ 9 โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/accelerate/commands/accelerate_cli.py:45 in main โ
โ โ
โ 42 โ โ exit(1) โ
โ 43 โ โ
โ 44 โ # Run โ
โ โฑ 45 โ args.func(args) โ
โ 46 โ
โ 47 โ
โ 48 if __name__ == "__main__": โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/accelerate/commands/launch.py:1104 in โ
โ launch_command โ
โ โ
โ 1101 โ elif defaults is not None and defaults.compute_environment == ComputeEnvironment.AMA โ
โ 1102 โ โ sagemaker_launcher(defaults, args) โ
โ 1103 โ else: โ
โ โฑ 1104 โ โ simple_launcher(args) โ
โ 1105 โ
โ 1106 โ
โ 1107 def main(): โ
โ โ
โ /home/alpha/.local/lib/python3.10/site-packages/accelerate/commands/launch.py:567 in โ
โ simple_launcher โ
โ โ
โ 564 โ process = subprocess.Popen(cmd, env=current_env) โ
โ 565 โ process.wait() โ
โ 566 โ if process.returncode != 0: โ
โ โฑ 567 โ โ raise subprocess.CalledProcessError(returncode=process.returncode, cmd=cmd) โ
โ 568 โ
โ 569 โ
โ 570 def multi_gpu_launcher(args): โ
โฐโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฏ
CalledProcessError: Command '['/usr/bin/python', 'train_network.py',
'--pretrained_model_name_or_path=/home/alpha/Storage/AIModels/Stable-diffusion/panatomy05full_0.7-AIModel
s_Anything-V3.0-pruned-fp16_0.3-Weighted_sum-merged.ckpt',
'--train_data_dir=/home/alpha/Storage/TrainingData/test/training_data',
'--output_dir=/home/alpha/Storage/TrainingOutput/test/', '--prior_loss_weight=1.0',
'--resolution=512,512', '--train_batch_size=1', '--learning_rate=1e-5', '--max_train_steps=1600',
'--use_8bit_adam', '--xformers', '--mixed_precision=fp16', '--cache_latents', '--save_precision=fp16',
'--save_model_as=safetensors', '--clip_skip=2', '--network_module=networks.lora']' returned non-zero exit
status 1.
(While the same arguments work with TorchDynamo disabled.