Ubuntu Mate NAS Softlockup

[pseudopseudonym]

Servus!

Ich verwende ein Asrock Q2900M mit 8GB RAM, 3HDDs (zwei davon als Truecrypt-Container eingebunden) und einen PCIe SATA-Controller als NAS.
Seit einiger Zeit habe ich über sshfs (in der fstab) Dateisysteme eingebunden, die ich über /root/.ssh/config konfiguriert habe, damit diese Keys und Proxy-Aliase verwenden (befinden sich hinter einem anderen Internetanschluss).
Bevor ich Proxy-Aliase verwendet habe, gab es keine Probleme. Nun gibt es allerdings häufiger (alle paar Tage bis Stunden) Abstürze des Systems. Der RAM scheint in Ordnung zu sein, die SMART-Werte der HDDs sehen ebenfalls gut aus.
Bisher konnte ich nichts auffälliges in den Logdateien finden und habe deshalb die NAS mal an einen Bildschirm angeschlossen.

Heute gab es den nächsten Absturz:

Spoiler: Log

Jul 28 20:05:20 nas-server-002 kernel: [275329.792855] usb 1-2.3: USB disconnect, device number 12
Jul 28 20:05:20 nas-server-002 kernel: [275329.792863] usb 1-2.3.3: USB disconnect, device number 13
Jul 28 20:05:20 nas-server-002 kernel: [275329.834696] usb 1-2.3.4: USB disconnect, device number 14
Jul 28 21:20:27 nas-server-002 kernel: [279837.922399] watchdog: BUG: soft lockup - CPU#3 stuck for 22s! [mate-settings-d:2173]
Jul 28 21:20:27 nas-server-002 kernel: [279837.922405] Modules linked in: joydev input_leds hid_generic usbhid serpent_sse2_x86_64 serpent_generic twofish_generic ablk_helper twofish_x86_64_3way lrw twofish_x86_64 twofish_common crypto_simd glue_helper aes_x86_64 dm_crypt xt_CHECKSUM iptable_mangle ipt_MASQUERADE nf_nat_masquerade_ipv4 iptable_nat nf_nat_ipv4 nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 xt_conntrack nf_conntrack libcrc32c ipt_REJECT nf_reject_ipv4 xt_tcpudp bridge stp llc ebtable_filter ebtables ip6table_filter ip6_tables iptable_filter devlink bnep snd_hda_codec_realtek snd_hda_codec_generic snd_hda_intel snd_hda_codec snd_hda_core snd_hwdep snd_pcm intel_rapl intel_soc_dts_thermal intel_soc_dts_iosf intel_powerclamp coretemp kvm_intel kvm snd_seq_midi snd_seq_midi_event irqbypass punit_atom_debug crct10dif_pclmul snd_rawmidi
Jul 28 21:20:27 nas-server-002 kernel: [279837.922458]  crc32_pclmul ghash_clmulni_intel cryptd intel_cstate snd_seq snd_seq_device snd_timer lpc_ich snd shpchp mei_txe mei soundcore hci_uart btbcm btqca btintel bluetooth ecdh_generic rfkill_gpio pwm_lpss_platform pwm_lpss mac_hid sch_fq_codel parport_pc ppdev lp parport ip_tables x_tables autofs4 i915 i2c_algo_bit drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops r8169 ahci drm mii libahci video i2c_hid hid
Jul 28 21:20:27 nas-server-002 kernel: [279837.922496] CPU: 3 PID: 2173 Comm: mate-settings-d Not tainted 4.15.0-54-generic #58-Ubuntu
Jul 28 21:20:27 nas-server-002 kernel: [279837.922498] Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Q2900M, BIOS P1.10 09/01/2014
Jul 28 21:20:27 nas-server-002 kernel: [279837.922505] RIP: 0010:_raw_spin_unlock_irqrestore+0x15/0x20
Jul 28 21:20:27 nas-server-002 kernel: [279837.922507] RSP: 0018:ffffb71c826dfb90 EFLAGS: 00000246 ORIG_RAX: ffffffffffffff11
Jul 28 21:20:27 nas-server-002 kernel: [279837.922509] RAX: 0000000000000000 RBX: ffff94326c940000 RCX: 0000000000000000
Jul 28 21:20:27 nas-server-002 kernel: [279837.922510] RDX: 0000000000000001 RSI: 0000000000000246 RDI: 0000000000000246
Jul 28 21:20:27 nas-server-002 kernel: [279837.922512] RBP: ffffb71c826dfb90 R08: 0000000000000000 R09: 0000000000000000
Jul 28 21:20:27 nas-server-002 kernel: [279837.922513] R10: 0000000000000001 R11: 6e7265746c455f31 R12: ffff94326c940b2c
Jul 28 21:20:27 nas-server-002 kernel: [279837.922514] R13: 0000000000000000 R14: 0000000000000246 R15: 0000000000000000
Jul 28 21:20:27 nas-server-002 kernel: [279837.922516] FS:  00007f6b83e08a80(0000) GS:ffff94327fd80000(0000) knlGS:0000000000000000
Jul 28 21:20:27 nas-server-002 kernel: [279837.922518] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jul 28 21:20:27 nas-server-002 kernel: [279837.922519] CR2: 00007f1a18fed008 CR3: 000000022f658000 CR4: 00000000001006e0
Jul 28 21:20:27 nas-server-002 kernel: [279837.922520] Call Trace:
Jul 28 21:20:27 nas-server-002 kernel: [279837.922527]  try_to_wake_up+0x59/0x4a0
Jul 28 21:20:27 nas-server-002 kernel: [279837.922531]  default_wake_function+0x12/0x20
Jul 28 21:20:27 nas-server-002 kernel: [279837.922534]  autoremove_wake_function+0x12/0x40
Jul 28 21:20:27 nas-server-002 kernel: [279837.922536]  __wake_up_common+0x73/0x130
Jul 28 21:20:27 nas-server-002 kernel: [279837.922539]  __wake_up_locked+0x16/0x20
Jul 28 21:20:27 nas-server-002 kernel: [279837.922542]  queue_request+0x60/0x80
Jul 28 21:20:27 nas-server-002 kernel: [279837.922544]  __fuse_request_send+0x69/0x90
Jul 28 21:20:27 nas-server-002 kernel: [279837.922546]  fuse_request_send+0x27/0x30
Jul 28 21:20:27 nas-server-002 kernel: [279837.922549]  fuse_simple_request+0xcf/0x1a0
Jul 28 21:20:27 nas-server-002 kernel: [279837.922551]  fuse_statfs+0xe1/0x150
Jul 28 21:20:27 nas-server-002 kernel: [279837.922557]  statfs_by_dentry+0x6d/0x90
Jul 28 21:20:27 nas-server-002 kernel: [279837.922559]  vfs_statfs+0x1b/0xc0
Jul 28 21:20:27 nas-server-002 kernel: [279837.922561]  user_statfs+0x5a/0xa0
Jul 28 21:20:27 nas-server-002 kernel: [279837.922564]  SYSC_statfs+0x27/0x60
Jul 28 21:20:27 nas-server-002 kernel: [279837.922567]  SyS_statfs+0xe/0x10
Jul 28 21:20:27 nas-server-002 kernel: [279837.922571]  do_syscall_64+0x73/0x130
Jul 28 21:20:27 nas-server-002 kernel: [279837.922573]  entry_SYSCALL_64_after_hwframe+0x3d/0xa2
Jul 28 21:20:27 nas-server-002 kernel: [279837.922576] RIP: 0033:0x7f6b81a50977
Jul 28 21:20:27 nas-server-002 kernel: [279837.922577] RSP: 002b:00007ffec5677288 EFLAGS: 00000246 ORIG_RAX: 0000000000000089
Jul 28 21:20:27 nas-server-002 kernel: [279837.922579] RAX: ffffffffffffffda RBX: 0000561b0a4d5800 RCX: 00007f6b81a50977
Jul 28 21:20:27 nas-server-002 kernel: [279837.922581] RDX: 000000000000006e RSI: 00007ffec5677290 RDI: 0000561b0a4d5800
Jul 28 21:20:27 nas-server-002 kernel: [279837.922582] RBP: 00007ffec5677290 R08: 0000561b0a5f9ab0 R09: 00007f6b81d2cc40
Jul 28 21:20:27 nas-server-002 kernel: [279837.922583] R10: 0000000000000007 R11: 0000000000000246 R12: 0000561b0a5f9ab8
Jul 28 21:20:27 nas-server-002 kernel: [279837.922584] R13: 0000561b0a33a8e0 R14: 0000561b0a4d5800 R15: 0000561b0a2deb00
Jul 28 21:20:27 nas-server-002 kernel: [279837.922586] Code: 47 71 ff ff ff 7f 89 d0 5d c3 90 90 90 90 90 90 90 90 90 90 90 90 0f 1f 44 00 00 55 48 89 e5 c6 07 00 0f 1f 40 00 48 89 f7 57 9d <0f> 1f 44 00 00 5d c3 0f 1f 40 00 0f 1f 44 00 00 55 48 89 e5 c6
Jul 28 21:20:55 nas-server-002 kernel: [279865.933390] watchdog: BUG: soft lockup - CPU#3 stuck for 22s! [mate-settings-d:2173]
Jul 28 21:20:55 nas-server-002 kernel: [279865.933396] Modules linked in: joydev input_leds hid_generic usbhid serpent_sse2_x86_64 serpent_generic twofish_generic ablk_helper twofish_x86_64_3way lrw twofish_x86_64 twofish_common crypto_simd glue_helper aes_x86_64 dm_crypt xt_CHECKSUM iptable_mangle ipt_MASQUERADE nf_nat_masquerade_ipv4 iptable_nat nf_nat_ipv4 nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 xt_conntrack nf_conntrack libcrc32c ipt_REJECT nf_reject_ipv4 xt_tcpudp bridge stp llc ebtable_filter ebtables ip6table_filter ip6_tables iptable_filter devlink bnep snd_hda_codec_realtek snd_hda_codec_generic snd_hda_intel snd_hda_codec snd_hda_core snd_hwdep snd_pcm intel_rapl intel_soc_dts_thermal intel_soc_dts_iosf intel_powerclamp coretemp kvm_intel kvm snd_seq_midi snd_seq_midi_event irqbypass punit_atom_debug crct10dif_pclmul snd_rawmidi
Jul 28 21:20:55 nas-server-002 kernel: [279865.933447]  crc32_pclmul ghash_clmulni_intel cryptd intel_cstate snd_seq snd_seq_device snd_timer lpc_ich snd shpchp mei_txe mei soundcore hci_uart btbcm btqca btintel bluetooth ecdh_generic rfkill_gpio pwm_lpss_platform pwm_lpss mac_hid sch_fq_codel parport_pc ppdev lp parport ip_tables x_tables autofs4 i915 i2c_algo_bit drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops r8169 ahci drm mii libahci video i2c_hid hid
Jul 28 21:20:55 nas-server-002 kernel: [279865.933487] CPU: 3 PID: 2173 Comm: mate-settings-d Tainted: G             L   4.15.0-54-generic #58-Ubuntu
Jul 28 21:20:55 nas-server-002 kernel: [279865.933488] Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Q2900M, BIOS P1.10 09/01/2014
Jul 28 21:20:55 nas-server-002 kernel: [279865.933494] RIP: 0010:_raw_spin_lock_irqsave+0xb/0x40
Jul 28 21:20:55 nas-server-002 kernel: [279865.933496] RSP: 0018:ffffb71c826dfb80 EFLAGS: 00000246 ORIG_RAX: ffffffffffffff11
Jul 28 21:20:55 nas-server-002 kernel: [279865.933498] RAX: 0000000000000000 RBX: ffff94326c940000 RCX: 0000000000000000
Jul 28 21:20:55 nas-server-002 kernel: [279865.933499] RDX: 0000000000000000 RSI: 0000000000000003 RDI: ffff94326c940b2c
Jul 28 21:20:55 nas-server-002 kernel: [279865.933501] RBP: ffffb71c826dfb90 R08: 0000000000000000 R09: 0000000000000000
Jul 28 21:20:55 nas-server-002 kernel: [279865.933502] R10: 0000000000000001 R11: 6e7265746c455f31 R12: ffff94326c940b2c
Jul 28 21:20:55 nas-server-002 kernel: [279865.933503] R13: 0000000000000000 R14: ffffb71c82d8bd38 R15: 0000000000000000
Jul 28 21:20:55 nas-server-002 kernel: [279865.933505] FS:  00007f6b83e08a80(0000) GS:ffff94327fd80000(0000) knlGS:0000000000000000
Jul 28 21:20:55 nas-server-002 kernel: [279865.933507] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jul 28 21:20:55 nas-server-002 kernel: [279865.933508] CR2: 00007f1a18fed008 CR3: 000000022f658000 CR4: 00000000001006e0
Jul 28 21:20:55 nas-server-002 kernel: [279865.933509] Call Trace:
Jul 28 21:20:55 nas-server-002 kernel: [279865.933516]  try_to_wake_up+0x40/0x4a0
Jul 28 21:20:55 nas-server-002 kernel: [279865.933519]  default_wake_function+0x12/0x20
Jul 28 21:20:55 nas-server-002 kernel: [279865.933522]  autoremove_wake_function+0x12/0x40
Jul 28 21:20:55 nas-server-002 kernel: [279865.933524]  __wake_up_common+0x73/0x130
Jul 28 21:20:55 nas-server-002 kernel: [279865.933527]  __wake_up_locked+0x16/0x20
Jul 28 21:20:55 nas-server-002 kernel: [279865.933531]  queue_request+0x60/0x80
Jul 28 21:20:55 nas-server-002 kernel: [279865.933533]  __fuse_request_send+0x69/0x90
Jul 28 21:20:55 nas-server-002 kernel: [279865.933535]  fuse_request_send+0x27/0x30
Jul 28 21:20:55 nas-server-002 kernel: [279865.933537]  fuse_simple_request+0xcf/0x1a0
Jul 28 21:20:55 nas-server-002 kernel: [279865.933540]  fuse_statfs+0xe1/0x150
Jul 28 21:20:55 nas-server-002 kernel: [279865.933545]  statfs_by_dentry+0x6d/0x90
Jul 28 21:20:55 nas-server-002 kernel: [279865.933547]  vfs_statfs+0x1b/0xc0
Jul 28 21:20:55 nas-server-002 kernel: [279865.933550]  user_statfs+0x5a/0xa0
Jul 28 21:20:55 nas-server-002 kernel: [279865.933552]  SYSC_statfs+0x27/0x60
Jul 28 21:20:55 nas-server-002 kernel: [279865.933555]  SyS_statfs+0xe/0x10
Jul 28 21:20:55 nas-server-002 kernel: [279865.933558]  do_syscall_64+0x73/0x130
Jul 28 21:20:55 nas-server-002 kernel: [279865.933561]  entry_SYSCALL_64_after_hwframe+0x3d/0xa2
Jul 28 21:20:55 nas-server-002 kernel: [279865.933564] RIP: 0033:0x7f6b81a50977
Jul 28 21:20:55 nas-server-002 kernel: [279865.933565] RSP: 002b:00007ffec5677288 EFLAGS: 00000246 ORIG_RAX: 0000000000000089
Jul 28 21:20:55 nas-server-002 kernel: [279865.933567] RAX: ffffffffffffffda RBX: 0000561b0a4d5800 RCX: 00007f6b81a50977
Jul 28 21:20:55 nas-server-002 kernel: [279865.933568] RDX: 000000000000006e RSI: 00007ffec5677290 RDI: 0000561b0a4d5800
Jul 28 21:20:55 nas-server-002 kernel: [279865.933570] RBP: 00007ffec5677290 R08: 0000561b0a5f9ab0 R09: 00007f6b81d2cc40
Jul 28 21:20:55 nas-server-002 kernel: [279865.933571] R10: 0000000000000007 R11: 0000000000000246 R12: 0000561b0a5f9ab8
Jul 28 21:20:55 nas-server-002 kernel: [279865.933572] R13: 0000561b0a33a8e0 R14: 0000561b0a4d5800 R15: 0000561b0a2deb00
Jul 28 21:20:55 nas-server-002 kernel: [279865.933574] Code: 0f 1f 44 00 00 55 48 89 e5 c6 07 00 48 8b 7d 08 be 00 02 00 00 e8 c6 27 6f ff 5d c3 0f 1f 40 00 0f 1f 44 00 00 55 48 89 e5 53 9c <58> 0f 1f 44 00 00 48 89 c3 fa 66 0f 1f 44 00 00 31 c0 ba 01 00
Jul 28 21:21:02 nas-server-002 kernel: [279872.863552] INFO: rcu_sched self-detected stall on CPU
Jul 28 21:21:02 nas-server-002 kernel: [279872.863562]     3-....: (14999 ticks this GP) idle=3a2/140000000000001/0 softirq=2031831/2031831 fqs=7497
Jul 28 21:21:02 nas-server-002 kernel: [279872.863564]      (t=15000 jiffies g=977440 c=977439 q=11798)
Jul 28 21:21:02 nas-server-002 kernel: [279872.863570] NMI backtrace for cpu 3
Jul 28 21:21:02 nas-server-002 kernel: [279872.863574] CPU: 3 PID: 2173 Comm: mate-settings-d Tainted: G             L   4.15.0-54-generic #58-Ubuntu
Jul 28 21:21:02 nas-server-002 kernel: [279872.863575] Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Q2900M, BIOS P1.10 09/01/2014
Jul 28 21:21:02 nas-server-002 kernel: [279872.863576] Call Trace:
Jul 28 21:21:02 nas-server-002 kernel: [279872.863579]  <IRQ>
Jul 28 21:21:02 nas-server-002 kernel: [279872.863587]  dump_stack+0x63/0x8b
Jul 28 21:21:02 nas-server-002 kernel: [279872.863590]  nmi_cpu_backtrace+0xca/0xd0
Jul 28 21:21:02 nas-server-002 kernel: [279872.863595]  ? lapic_can_unplug_cpu+0xb0/0xb0
Jul 28 21:21:02 nas-server-002 kernel: [279872.863597]  nmi_trigger_cpumask_backtrace+0xe6/0x130
Jul 28 21:21:02 nas-server-002 kernel: [279872.863600]  arch_trigger_cpumask_backtrace+0x19/0x20
Jul 28 21:21:02 nas-server-002 kernel: [279872.863603]  rcu_dump_cpu_stacks+0xa3/0xdb
Jul 28 21:21:02 nas-server-002 kernel: [279872.863606]  rcu_check_callbacks+0x6c6/0x900
Jul 28 21:21:02 nas-server-002 kernel: [279872.863609]  ? tick_sched_do_timer+0x50/0x50
Jul 28 21:21:02 nas-server-002 kernel: [279872.863612]  update_process_times+0x2f/0x60
Jul 28 21:21:02 nas-server-002 kernel: [279872.863614]  tick_sched_handle+0x26/0x70
Jul 28 21:21:02 nas-server-002 kernel: [279872.863616]  ? tick_sched_do_timer+0x3f/0x50
Jul 28 21:21:02 nas-server-002 kernel: [279872.863619]  tick_sched_timer+0x39/0x80
Jul 28 21:21:02 nas-server-002 kernel: [279872.863621]  __hrtimer_run_queues+0xdf/0x230
Jul 28 21:21:02 nas-server-002 kernel: [279872.863623]  hrtimer_interrupt+0xa0/0x1d0
Jul 28 21:21:02 nas-server-002 kernel: [279872.863627]  smp_apic_timer_interrupt+0x6f/0x130
Jul 28 21:21:02 nas-server-002 kernel: [279872.863629]  apic_timer_interrupt+0x84/0x90
Jul 28 21:21:02 nas-server-002 kernel: [279872.863630]  </IRQ>
Jul 28 21:21:02 nas-server-002 kernel: [279872.863634] RIP: 0010:_raw_spin_unlock_irqrestore+0x15/0x20
Jul 28 21:21:02 nas-server-002 kernel: [279872.863635] RSP: 0018:ffffb71c826dfb90 EFLAGS: 00000246 ORIG_RAX: ffffffffffffff11
Jul 28 21:21:02 nas-server-002 kernel: [279872.863638] RAX: 0000000000000000 RBX: ffff94326c940000 RCX: 0000000000000000
Jul 28 21:21:02 nas-server-002 kernel: [279872.863639] RDX: 0000000000000001 RSI: 0000000000000246 RDI: 0000000000000246
Jul 28 21:21:02 nas-server-002 kernel: [279872.863640] RBP: ffffb71c826dfb90 R08: 0000000000000000 R09: 0000000000000000
Jul 28 21:21:02 nas-server-002 kernel: [279872.863641] R10: 0000000000000001 R11: 6e7265746c455f31 R12: ffff94326c940b2c
Jul 28 21:21:02 nas-server-002 kernel: [279872.863643] R13: 0000000000000000 R14: 0000000000000246 R15: 0000000000000000
Jul 28 21:21:02 nas-server-002 kernel: [279872.863647]  try_to_wake_up+0x59/0x4a0
Jul 28 21:21:02 nas-server-002 kernel: [279872.863650]  default_wake_function+0x12/0x20
Jul 28 21:21:02 nas-server-002 kernel: [279872.863653]  autoremove_wake_function+0x12/0x40
Jul 28 21:21:02 nas-server-002 kernel: [279872.863655]  __wake_up_common+0x73/0x130
Jul 28 21:21:02 nas-server-002 kernel: [279872.863658]  __wake_up_locked+0x16/0x20
Jul 28 21:21:02 nas-server-002 kernel: [279872.863661]  queue_request+0x60/0x80
Jul 28 21:21:02 nas-server-002 kernel: [279872.863663]  __fuse_request_send+0x69/0x90
Jul 28 21:21:02 nas-server-002 kernel: [279872.863666]  fuse_request_send+0x27/0x30
Jul 28 21:21:02 nas-server-002 kernel: [279872.863668]  fuse_simple_request+0xcf/0x1a0
Jul 28 21:21:02 nas-server-002 kernel: [279872.863670]  fuse_statfs+0xe1/0x150
Jul 28 21:21:02 nas-server-002 kernel: [279872.863675]  statfs_by_dentry+0x6d/0x90
Jul 28 21:21:02 nas-server-002 kernel: [279872.863678]  vfs_statfs+0x1b/0xc0
Jul 28 21:21:02 nas-server-002 kernel: [279872.863680]  user_statfs+0x5a/0xa0
Jul 28 21:21:02 nas-server-002 kernel: [279872.863683]  SYSC_statfs+0x27/0x60
Jul 28 21:21:02 nas-server-002 kernel: [279872.863686]  SyS_statfs+0xe/0x10
Jul 28 21:21:02 nas-server-002 kernel: [279872.863689]  do_syscall_64+0x73/0x130
Jul 28 21:21:02 nas-server-002 kernel: [279872.863692]  entry_SYSCALL_64_after_hwframe+0x3d/0xa2
Jul 28 21:21:02 nas-server-002 kernel: [279872.863694] RIP: 0033:0x7f6b81a50977
Jul 28 21:21:02 nas-server-002 kernel: [279872.863696] RSP: 002b:00007ffec5677288 EFLAGS: 00000246 ORIG_RAX: 0000000000000089
Jul 28 21:21:02 nas-server-002 kernel: [279872.863698] RAX: ffffffffffffffda RBX: 0000561b0a4d5800 RCX: 00007f6b81a50977
Jul 28 21:21:02 nas-server-002 kernel: [279872.863699] RDX: 000000000000006e RSI: 00007ffec5677290 RDI: 0000561b0a4d5800
Jul 28 21:21:02 nas-server-002 kernel: [279872.863700] RBP: 00007ffec5677290 R08: 0000561b0a5f9ab0 R09: 00007f6b81d2cc40
Jul 28 21:21:02 nas-server-002 kernel: [279872.863701] R10: 0000000000000007 R11: 0000000000000246 R12: 0000561b0a5f9ab8
Jul 28 21:21:02 nas-server-002 kernel: [279872.863703] R13: 0000561b0a33a8e0 R14: 0000561b0a4d5800 R15: 0000561b0a2deb00
Jul 28 21:21:27 nas-server-002 kernel: [279897.945964] watchdog: BUG: soft lockup - CPU#3 stuck for 23s! [mate-settings-d:2173]
Jul 28 21:21:27 nas-server-002 kernel: [279897.945969] Modules linked in: joydev input_leds hid_generic usbhid serpent_sse2_x86_64 serpent_generic twofish_generic ablk_helper twofish_x86_64_3way lrw twofish_x86_64 twofish_common crypto_simd glue_helper aes_x86_64 dm_crypt xt_CHECKSUM iptable_mangle ipt_MASQUERADE nf_nat_masquerade_ipv4 iptable_nat nf_nat_ipv4 nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 xt_conntrack nf_conntrack libcrc32c ipt_REJECT nf_reject_ipv4 xt_tcpudp bridge stp llc ebtable_filter ebtables ip6table_filter ip6_tables iptable_filter devlink bnep snd_hda_codec_realtek snd_hda_codec_generic snd_hda_intel snd_hda_codec snd_hda_core snd_hwdep snd_pcm intel_rapl intel_soc_dts_thermal intel_soc_dts_iosf intel_powerclamp coretemp kvm_intel kvm snd_seq_midi snd_seq_midi_event irqbypass punit_atom_debug crct10dif_pclmul snd_rawmidi
Jul 28 21:21:27 nas-server-002 kernel: [279897.946021]  crc32_pclmul ghash_clmulni_intel cryptd intel_cstate snd_seq snd_seq_device snd_timer lpc_ich snd shpchp mei_txe mei soundcore hci_uart btbcm btqca btintel bluetooth ecdh_generic rfkill_gpio pwm_lpss_platform pwm_lpss mac_hid sch_fq_codel parport_pc ppdev lp parport ip_tables x_tables autofs4 i915 i2c_algo_bit drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops r8169 ahci drm mii libahci video i2c_hid hid
Jul 28 21:21:27 nas-server-002 kernel: [279897.946061] CPU: 3 PID: 2173 Comm: mate-settings-d Tainted: G             L   4.15.0-54-generic #58-Ubuntu
Jul 28 21:21:27 nas-server-002 kernel: [279897.946062] Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Q2900M, BIOS P1.10 09/01/2014
Jul 28 21:21:27 nas-server-002 kernel: [279897.946069] RIP: 0010:_raw_spin_lock_irqsave+0xb/0x40
Jul 28 21:21:27 nas-server-002 kernel: [279897.946071] RSP: 0018:ffffb71c826dfb80 EFLAGS: 00000246 ORIG_RAX: ffffffffffffff11
Jul 28 21:21:27 nas-server-002 kernel: [279897.946073] RAX: 0000000000000000 RBX: ffff94326c940000 RCX: 0000000000000000
Jul 28 21:21:27 nas-server-002 kernel: [279897.946074] RDX: 0000000000000000 RSI: 0000000000000003 RDI: ffff94326c940b2c
Jul 28 21:21:27 nas-server-002 kernel: [279897.946076] RBP: ffffb71c826dfb90 R08: 0000000000000000 R09: 0000000000000000
Jul 28 21:21:27 nas-server-002 kernel: [279897.946077] R10: 0000000000000001 R11: 6e7265746c455f31 R12: ffff94326c940b2c
Jul 28 21:21:27 nas-server-002 kernel: [279897.946078] R13: 0000000000000000 R14: ffffb71c82d8bd38 R15: 0000000000000000
Jul 28 21:21:27 nas-server-002 kernel: [279897.946080] FS:  00007f6b83e08a80(0000) GS:ffff94327fd80000(0000) knlGS:0000000000000000
Jul 28 21:21:27 nas-server-002 kernel: [279897.946081] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jul 28 21:21:27 nas-server-002 kernel: [279897.946083] CR2: 00007f1a18fed008 CR3: 000000022f658000 CR4: 00000000001006e0
Jul 28 21:21:27 nas-server-002 kernel: [279897.946084] Call Trace:
Jul 28 21:21:27 nas-server-002 kernel: [279897.946091]  try_to_wake_up+0x40/0x4a0
Jul 28 21:21:27 nas-server-002 kernel: [279897.946094]  default_wake_function+0x12/0x20
Jul 28 21:21:27 nas-server-002 kernel: [279897.946098]  autoremove_wake_function+0x12/0x40
Jul 28 21:21:27 nas-server-002 kernel: [279897.946100]  __wake_up_common+0x73/0x130
Jul 28 21:21:27 nas-server-002 kernel: [279897.946103]  __wake_up_locked+0x16/0x20
Jul 28 21:21:27 nas-server-002 kernel: [279897.946106]  queue_request+0x60/0x80
Jul 28 21:21:27 nas-server-002 kernel: [279897.946108]  __fuse_request_send+0x69/0x90
Jul 28 21:21:27 nas-server-002 kernel: [279897.946111]  fuse_request_send+0x27/0x30
Jul 28 21:21:27 nas-server-002 kernel: [279897.946113]  fuse_simple_request+0xcf/0x1a0
Jul 28 21:21:27 nas-server-002 kernel: [279897.946115]  fuse_statfs+0xe1/0x150
Jul 28 21:21:27 nas-server-002 kernel: [279897.946120]  statfs_by_dentry+0x6d/0x90
Jul 28 21:21:27 nas-server-002 kernel: [279897.946123]  vfs_statfs+0x1b/0xc0
Jul 28 21:21:27 nas-server-002 kernel: [279897.946125]  user_statfs+0x5a/0xa0
Jul 28 21:21:27 nas-server-002 kernel: [279897.946128]  SYSC_statfs+0x27/0x60
Jul 28 21:21:27 nas-server-002 kernel: [279897.946131]  SyS_statfs+0xe/0x10
Jul 28 21:21:27 nas-server-002 kernel: [279897.946134]  do_syscall_64+0x73/0x130
Jul 28 21:21:27 nas-server-002 kernel: [279897.946137]  entry_SYSCALL_64_after_hwframe+0x3d/0xa2
Jul 28 21:21:27 nas-server-002 kernel: [279897.946140] RIP: 0033:0x7f6b81a50977
Jul 28 21:21:27 nas-server-002 kernel: [279897.946141] RSP: 002b:00007ffec5677288 EFLAGS: 00000246 ORIG_RAX: 0000000000000089
Jul 28 21:21:27 nas-server-002 kernel: [279897.946143] RAX: ffffffffffffffda RBX: 0000561b0a4d5800 RCX: 00007f6b81a50977
Jul 28 21:21:27 nas-server-002 kernel: [279897.946144] RDX: 000000000000006e RSI: 00007ffec5677290 RDI: 0000561b0a4d5800
Jul 28 21:21:27 nas-server-002 kernel: [279897.946145] RBP: 00007ffec5677290 R08: 0000561b0a5f9ab0 R09: 00007f6b81d2cc40
Jul 28 21:21:27 nas-server-002 kernel: [279897.946147] R10: 0000000000000007 R11: 0000000000000246 R12: 0000561b0a5f9ab8
Jul 28 21:21:27 nas-server-002 kernel: [279897.946148] R13: 0000561b0a33a8e0 R14: 0000561b0a4d5800 R15: 0000561b0a2deb00
Jul 28 21:21:27 nas-server-002 kernel: [279897.946150] Code: 0f 1f 44 00 00 55 48 89 e5 c6 07 00 48 8b 7d 08 be 00 02 00 00 e8 c6 27 6f ff 5d c3 0f 1f 40 00 0f 1f 44 00 00 55 48 89 e5 53 9c <58> 0f 1f 44 00 00 48 89 c3 fa 66 0f 1f 44 00 00 31 c0 ba 01 00
Jul 28 21:21:55 nas-server-002 kernel: [279925.956972] watchdog: BUG: soft lockup - CPU#3 stuck for 22s! [mate-settings-d:2173]
Jul 28 21:21:55 nas-server-002 kernel: [279925.956978] Modules linked in: joydev input_leds hid_generic usbhid serpent_sse2_x86_64 serpent_generic twofish_generic ablk_helper twofish_x86_64_3way lrw twofish_x86_64 twofish_common crypto_simd glue_helper aes_x86_64 dm_crypt xt_CHECKSUM iptable_mangle ipt_MASQUERADE nf_nat_masquerade_ipv4 iptable_nat nf_nat_ipv4 nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 xt_conntrack nf_conntrack libcrc32c ipt_REJECT nf_reject_ipv4 xt_tcpudp bridge stp llc ebtable_filter ebtables ip6table_filter ip6_tables iptable_filter devlink bnep snd_hda_codec_realtek snd_hda_codec_generic snd_hda_intel snd_hda_codec snd_hda_core snd_hwdep snd_pcm intel_rapl intel_soc_dts_thermal intel_soc_dts_iosf intel_powerclamp coretemp kvm_intel kvm snd_seq_midi snd_seq_midi_event irqbypass punit_atom_debug crct10dif_pclmul snd_rawmidi
Jul 28 21:21:55 nas-server-002 kernel: [279925.957029]  crc32_pclmul ghash_clmulni_intel cryptd intel_cstate snd_seq snd_seq_device snd_timer lpc_ich snd shpchp mei_txe mei soundcore hci_uart btbcm btqca btintel bluetooth ecdh_generic rfkill_gpio pwm_lpss_platform pwm_lpss mac_hid sch_fq_codel parport_pc ppdev lp parport ip_tables x_tables autofs4 i915 i2c_algo_bit drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops r8169 ahci drm mii libahci video i2c_hid hid
Jul 28 21:21:55 nas-server-002 kernel: [279925.957068] CPU: 3 PID: 2173 Comm: mate-settings-d Tainted: G             L   4.15.0-54-generic #58-Ubuntu
Jul 28 21:21:55 nas-server-002 kernel: [279925.957069] Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Q2900M, BIOS P1.10 09/01/2014
Jul 28 21:21:55 nas-server-002 kernel: [279925.957075] RIP: 0010:_raw_spin_lock_irqsave+0xb/0x40
Jul 28 21:21:55 nas-server-002 kernel: [279925.957077] RSP: 0018:ffffb71c826dfb80 EFLAGS: 00000246 ORIG_RAX: ffffffffffffff11
Jul 28 21:21:55 nas-server-002 kernel: [279925.957079] RAX: 0000000000000000 RBX: ffff94326c940000 RCX: 0000000000000000
Jul 28 21:21:55 nas-server-002 kernel: [279925.957080] RDX: 0000000000000000 RSI: 0000000000000003 RDI: ffff94326c940b2c
Jul 28 21:21:55 nas-server-002 kernel: [279925.957082] RBP: ffffb71c826dfb90 R08: 0000000000000000 R09: 0000000000000000
Jul 28 21:21:55 nas-server-002 kernel: [279925.957083] R10: 0000000000000001 R11: 6e7265746c455f31 R12: ffff94326c940b2c
Jul 28 21:21:55 nas-server-002 kernel: [279925.957084] R13: 0000000000000000 R14: ffffb71c82d8bd38 R15: 0000000000000000
Jul 28 21:21:55 nas-server-002 kernel: [279925.957086] FS:  00007f6b83e08a80(0000) GS:ffff94327fd80000(0000) knlGS:0000000000000000
Jul 28 21:21:55 nas-server-002 kernel: [279925.957087] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jul 28 21:21:55 nas-server-002 kernel: [279925.957089] CR2: 00007f1a18fed008 CR3: 000000022f658000 CR4: 00000000001006e0
Jul 28 21:21:55 nas-server-002 kernel: [279925.957090] Call Trace:
Jul 28 21:21:55 nas-server-002 kernel: [279925.957096]  try_to_wake_up+0x40/0x4a0
Jul 28 21:21:55 nas-server-002 kernel: [279925.957100]  default_wake_function+0x12/0x20
Jul 28 21:21:55 nas-server-002 kernel: [279925.957103]  autoremove_wake_function+0x12/0x40
Jul 28 21:21:55 nas-server-002 kernel: [279925.957105]  __wake_up_common+0x73/0x130
Jul 28 21:21:55 nas-server-002 kernel: [279925.957108]  __wake_up_locked+0x16/0x20
Jul 28 21:21:55 nas-server-002 kernel: [279925.957111]  queue_request+0x60/0x80
Jul 28 21:21:55 nas-server-002 kernel: [279925.957113]  __fuse_request_send+0x69/0x90
Jul 28 21:21:55 nas-server-002 kernel: [279925.957116]  fuse_request_send+0x27/0x30
Jul 28 21:21:55 nas-server-002 kernel: [279925.957118]  fuse_simple_request+0xcf/0x1a0
Jul 28 21:21:55 nas-server-002 kernel: [279925.957121]  fuse_statfs+0xe1/0x150
Jul 28 21:21:55 nas-server-002 kernel: [279925.957125]  statfs_by_dentry+0x6d/0x90
Jul 28 21:21:55 nas-server-002 kernel: [279925.957128]  vfs_statfs+0x1b/0xc0
Jul 28 21:21:55 nas-server-002 kernel: [279925.957130]  user_statfs+0x5a/0xa0
Jul 28 21:21:55 nas-server-002 kernel: [279925.957133]  SYSC_statfs+0x27/0x60
Jul 28 21:21:55 nas-server-002 kernel: [279925.957136]  SyS_statfs+0xe/0x10
Jul 28 21:21:55 nas-server-002 kernel: [279925.957139]  do_syscall_64+0x73/0x130
Jul 28 21:21:55 nas-server-002 kernel: [279925.957142]  entry_SYSCALL_64_after_hwframe+0x3d/0xa2
Jul 28 21:21:55 nas-server-002 kernel: [279925.957144] RIP: 0033:0x7f6b81a50977
Jul 28 21:21:55 nas-server-002 kernel: [279925.957146] RSP: 002b:00007ffec5677288 EFLAGS: 00000246 ORIG_RAX: 0000000000000089
Jul 28 21:21:55 nas-server-002 kernel: [279925.957148] RAX: ffffffffffffffda RBX: 0000561b0a4d5800 RCX: 00007f6b81a50977
Jul 28 21:21:55 nas-server-002 kernel: [279925.957149] RDX: 000000000000006e RSI: 00007ffec5677290 RDI: 0000561b0a4d5800
Jul 28 21:21:55 nas-server-002 kernel: [279925.957150] RBP: 00007ffec5677290 R08: 0000561b0a5f9ab0 R09: 00007f6b81d2cc40
Jul 28 21:21:55 nas-server-002 kernel: [279925.957152] R10: 0000000000000007 R11: 0000000000000246 R12: 0000561b0a5f9ab8
Jul 28 21:21:55 nas-server-002 kernel: [279925.957153] R13: 0000561b0a33a8e0 R14: 0000561b0a4d5800 R15: 0000561b0a2deb00
Jul 28 21:21:55 nas-server-002 kernel: [279925.957155] Code: 0f 1f 44 00 00 55 48 89 e5 c6 07 00 48 8b 7d 08 be 00 02 00 00 e8 c6 27 6f ff 5d c3 0f 1f 40 00 0f 1f 44 00 00 55 48 89 e5 53 9c <58> 0f 1f 44 00 00 48 89 c3 fa 66 0f 1f 44 00 00 31 c0 ba 01 00
Jul 28 21:22:23 nas-server-002 kernel: [279953.967989] watchdog: BUG: soft lockup - CPU#3 stuck for 22s! [mate-settings-d:2173]
Jul 28 21:22:23 nas-server-002 kernel: [279953.967995] Modules linked in: joydev input_leds hid_generic usbhid serpent_sse2_x86_64 serpent_generic twofish_generic ablk_helper twofish_x86_64_3way lrw twofish_x86_64 twofish_common crypto_simd glue_helper aes_x86_64 dm_crypt xt_CHECKSUM iptable_mangle ipt_MASQUERADE nf_nat_masquerade_ipv4 iptable_nat nf_nat_ipv4 nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 xt_conntrack nf_conntrack libcrc32c ipt_REJECT nf_reject_ipv4 xt_tcpudp bridge stp llc ebtable_filter ebtables ip6table_filter ip6_tables iptable_filter devlink bnep snd_hda_codec_realtek snd_hda_codec_generic snd_hda_intel snd_hda_codec snd_hda_core snd_hwdep snd_pcm intel_rapl intel_soc_dts_thermal intel_soc_dts_iosf intel_powerclamp coretemp kvm_intel kvm snd_seq_midi snd_seq_midi_event irqbypass punit_atom_debug crct10dif_pclmul snd_rawmidi
Jul 28 21:22:23 nas-server-002 kernel: [279953.968046]  crc32_pclmul ghash_clmulni_intel cryptd intel_cstate snd_seq snd_seq_device snd_timer lpc_ich snd shpchp mei_txe mei soundcore hci_uart btbcm btqca btintel bluetooth ecdh_generic rfkill_gpio pwm_lpss_platform pwm_lpss mac_hid sch_fq_codel parport_pc ppdev lp parport ip_tables x_tables autofs4 i915 i2c_algo_bit drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops r8169 ahci drm mii libahci video i2c_hid hid
Jul 28 21:22:23 nas-server-002 kernel: [279953.968084] CPU: 3 PID: 2173 Comm: mate-settings-d Tainted: G             L   4.15.0-54-generic #58-Ubuntu
Jul 28 21:22:23 nas-server-002 kernel: [279953.968085] Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Q2900M, BIOS P1.10 09/01/2014
Jul 28 21:22:23 nas-server-002 kernel: [279953.968091] RIP: 0010:try_to_wake_up+0x59/0x4a0
Jul 28 21:22:23 nas-server-002 kernel: [279953.968093] RSP: 0018:ffffb71c826dfba0 EFLAGS: 00000246 ORIG_RAX: ffffffffffffff11
Jul 28 21:22:23 nas-server-002 kernel: [279953.968095] RAX: 0000000000000000 RBX: ffff94326c940000 RCX: 0000000000000000
Jul 28 21:22:23 nas-server-002 kernel: [279953.968096] RDX: 0000000000000001 RSI: 0000000000000246 RDI: 0000000000000246
Jul 28 21:22:23 nas-server-002 kernel: [279953.968098] RBP: ffffb71c826dfbf0 R08: 0000000000000000 R09: 0000000000000000
Jul 28 21:22:23 nas-server-002 kernel: [279953.968099] R10: 0000000000000001 R11: 6e7265746c455f31 R12: ffff94326c940b2c
Jul 28 21:22:23 nas-server-002 kernel: [279953.968100] R13: 0000000000000000 R14: 0000000000000246 R15: 0000000000000000
Jul 28 21:22:23 nas-server-002 kernel: [279953.968102] FS:  00007f6b83e08a80(0000) GS:ffff94327fd80000(0000) knlGS:0000000000000000
Jul 28 21:22:23 nas-server-002 kernel: [279953.968103] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jul 28 21:22:23 nas-server-002 kernel: [279953.968105] CR2: 00007f1a18fed008 CR3: 000000022f658000 CR4: 00000000001006e0
Jul 28 21:22:23 nas-server-002 kernel: [279953.968106] Call Trace:
Jul 28 21:22:23 nas-server-002 kernel: [279953.968112]  default_wake_function+0x12/0x20
Jul 28 21:22:23 nas-server-002 kernel: [279953.968116]  autoremove_wake_function+0x12/0x40
Jul 28 21:22:23 nas-server-002 kernel: [279953.968118]  __wake_up_common+0x73/0x130
Jul 28 21:22:23 nas-server-002 kernel: [279953.968121]  __wake_up_locked+0x16/0x20
Jul 28 21:22:23 nas-server-002 kernel: [279953.968125]  queue_request+0x60/0x80
Jul 28 21:22:23 nas-server-002 kernel: [279953.968127]  __fuse_request_send+0x69/0x90
Jul 28 21:22:23 nas-server-002 kernel: [279953.968129]  fuse_request_send+0x27/0x30
Jul 28 21:22:23 nas-server-002 kernel: [279953.968131]  fuse_simple_request+0xcf/0x1a0
Jul 28 21:22:23 nas-server-002 kernel: [279953.968134]  fuse_statfs+0xe1/0x150
Jul 28 21:22:23 nas-server-002 kernel: [279953.968139]  statfs_by_dentry+0x6d/0x90
Jul 28 21:22:23 nas-server-002 kernel: [279953.968141]  vfs_statfs+0x1b/0xc0
Jul 28 21:22:23 nas-server-002 kernel: [279953.968144]  user_statfs+0x5a/0xa0
Jul 28 21:22:23 nas-server-002 kernel: [279953.968146]  SYSC_statfs+0x27/0x60
Jul 28 21:22:23 nas-server-002 kernel: [279953.968149]  SyS_statfs+0xe/0x10
Jul 28 21:22:23 nas-server-002 kernel: [279953.968153]  do_syscall_64+0x73/0x130
Jul 28 21:22:23 nas-server-002 kernel: [279953.968157]  entry_SYSCALL_64_after_hwframe+0x3d/0xa2
Jul 28 21:22:23 nas-server-002 kernel: [279953.968159] RIP: 0033:0x7f6b81a50977
Jul 28 21:22:23 nas-server-002 kernel: [279953.968160] RSP: 002b:00007ffec5677288 EFLAGS: 00000246 ORIG_RAX: 0000000000000089
Jul 28 21:22:23 nas-server-002 kernel: [279953.968163] RAX: ffffffffffffffda RBX: 0000561b0a4d5800 RCX: 00007f6b81a50977
Jul 28 21:22:23 nas-server-002 kernel: [279953.968164] RDX: 000000000000006e RSI: 00007ffec5677290 RDI: 0000561b0a4d5800
Jul 28 21:22:23 nas-server-002 kernel: [279953.968165] RBP: 00007ffec5677290 R08: 0000561b0a5f9ab0 R09: 00007f6b81d2cc40
Jul 28 21:22:23 nas-server-002 kernel: [279953.968166] R10: 0000000000000007 R11: 0000000000000246 R12: 0000561b0a5f9ab8
Jul 28 21:22:23 nas-server-002 kernel: [279953.968167] R13: 0000561b0a33a8e0 R14: 0000561b0a4d5800 R15: 0000561b0a2deb00
Jul 28 21:22:23 nas-server-002 kernel: [279953.968169] Code: 8b 04 25 28 00 00 00 48 89 45 d0 31 c0 e8 c0 6e 8e 00 8b 75 b8 49 89 c6 48 8b 43 10 85 c6 75 30 4c 89 f6 4c 89 e7 e8 37 6d 8e 00 <48> 8b 4d d0 65 48 33 0c 25 28 00 00 00 44 89 f8 0f 85 29 04 00
Jul 28 21:22:51 nas-server-002 kernel: [279981.979016] watchdog: BUG: soft lockup - CPU#3 stuck for 22s! [mate-settings-d:2173]
Jul 28 21:22:51 nas-server-002 kernel: [279981.979021] Modules linked in: joydev input_leds hid_generic usbhid serpent_sse2_x86_64 serpent_generic twofish_generic ablk_helper twofish_x86_64_3way lrw twofish_x86_64 twofish_common crypto_simd glue_helper aes_x86_64 dm_crypt xt_CHECKSUM iptable_mangle ipt_MASQUERADE nf_nat_masquerade_ipv4 iptable_nat nf_nat_ipv4 nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 xt_conntrack nf_conntrack libcrc32c ipt_REJECT nf_reject_ipv4 xt_tcpudp bridge stp llc ebtable_filter ebtables ip6table_filter ip6_tables iptable_filter devlink bnep snd_hda_codec_realtek snd_hda_codec_generic snd_hda_intel snd_hda_codec snd_hda_core snd_hwdep snd_pcm intel_rapl intel_soc_dts_thermal intel_soc_dts_iosf intel_powerclamp coretemp kvm_intel kvm snd_seq_midi snd_seq_midi_event irqbypass punit_atom_debug crct10dif_pclmul snd_rawmidi
Jul 28 21:22:51 nas-server-002 kernel: [279981.979073]  crc32_pclmul ghash_clmulni_intel cryptd intel_cstate snd_seq snd_seq_device snd_timer lpc_ich snd shpchp mei_txe mei soundcore hci_uart btbcm btqca btintel bluetooth ecdh_generic rfkill_gpio pwm_lpss_platform pwm_lpss mac_hid sch_fq_codel parport_pc ppdev lp parport ip_tables x_tables autofs4 i915 i2c_algo_bit drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops r8169 ahci drm mii libahci video i2c_hid hid
Jul 28 21:22:51 nas-server-002 kernel: [279981.979112] CPU: 3 PID: 2173 Comm: mate-settings-d Tainted: G             L   4.15.0-54-generic #58-Ubuntu
Jul 28 21:22:51 nas-server-002 kernel: [279981.979114] Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Q2900M, BIOS P1.10 09/01/2014
Jul 28 21:22:51 nas-server-002 kernel: [279981.979120] RIP: 0010:try_to_wake_up+0x7d/0x4a0
Jul 28 21:22:51 nas-server-002 kernel: [279981.979122] RSP: 0018:ffffb71c826dfbf8 EFLAGS: 00000282 ORIG_RAX: ffffffffffffff11
Jul 28 21:22:51 nas-server-002 kernel: [279981.979124] RAX: 0000000000000000 RBX: ffffb71c82d8bd38 RCX: 0000000000000000
Jul 28 21:22:51 nas-server-002 kernel: [279981.979126] RDX: 0000000000000001 RSI: 0000000000000246 RDI: 0000000000000246
Jul 28 21:22:51 nas-server-002 kernel: [279981.979127] RBP: ffffb71c826dfc00 R08: 0000000000000000 R09: 0000000000000000
Jul 28 21:22:51 nas-server-002 kernel: [279981.979128] R10: 0000000000000001 R11: 6e7265746c455f31 R12: 0000000000000000
Jul 28 21:22:51 nas-server-002 kernel: [279981.979129] R13: ffff94326cf45850 R14: ffffb71c82d8bd38 R15: 0000000000000001
Jul 28 21:22:51 nas-server-002 kernel: [279981.979131] FS:  00007f6b83e08a80(0000) GS:ffff94327fd80000(0000) knlGS:0000000000000000
Jul 28 21:22:51 nas-server-002 kernel: [279981.979133] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jul 28 21:22:51 nas-server-002 kernel: [279981.979134] CR2: 00007f1a18fed008 CR3: 000000022f658000 CR4: 00000000001006e0
Jul 28 21:22:51 nas-server-002 kernel: [279981.979135] Call Trace:
Jul 28 21:22:51 nas-server-002 kernel: [279981.979139]  ? default_wake_function+0x12/0x20
Jul 28 21:22:51 nas-server-002 kernel: [279981.979144]  autoremove_wake_function+0x12/0x40
Jul 28 21:22:51 nas-server-002 kernel: [279981.979146]  __wake_up_common+0x73/0x130
Jul 28 21:22:51 nas-server-002 kernel: [279981.979149]  __wake_up_locked+0x16/0x20
Jul 28 21:22:51 nas-server-002 kernel: [279981.979152]  queue_request+0x60/0x80
Jul 28 21:22:51 nas-server-002 kernel: [279981.979154]  __fuse_request_send+0x69/0x90
Jul 28 21:22:51 nas-server-002 kernel: [279981.979157]  fuse_request_send+0x27/0x30
Jul 28 21:22:51 nas-server-002 kernel: [279981.979159]  fuse_simple_request+0xcf/0x1a0
Jul 28 21:22:51 nas-server-002 kernel: [279981.979161]  fuse_statfs+0xe1/0x150
Jul 28 21:22:51 nas-server-002 kernel: [279981.979166]  statfs_by_dentry+0x6d/0x90
Jul 28 21:22:51 nas-server-002 kernel: [279981.979169]  vfs_statfs+0x1b/0xc0
Jul 28 21:22:51 nas-server-002 kernel: [279981.979171]  user_statfs+0x5a/0xa0
Jul 28 21:22:51 nas-server-002 kernel: [279981.979174]  SYSC_statfs+0x27/0x60
Jul 28 21:22:51 nas-server-002 kernel: [279981.979177]  SyS_statfs+0xe/0x10
Jul 28 21:22:51 nas-server-002 kernel: [279981.979180]  do_syscall_64+0x73/0x130
Jul 28 21:22:51 nas-server-002 kernel: [279981.979184]  entry_SYSCALL_64_after_hwframe+0x3d/0xa2
Jul 28 21:22:51 nas-server-002 kernel: [279981.979187] RIP: 0033:0x7f6b81a50977
Jul 28 21:22:51 nas-server-002 kernel: [279981.979188] RSP: 002b:00007ffec5677288 EFLAGS: 00000246 ORIG_RAX: 0000000000000089
Jul 28 21:22:51 nas-server-002 kernel: [279981.979190] RAX: ffffffffffffffda RBX: 0000561b0a4d5800 RCX: 00007f6b81a50977
Jul 28 21:22:51 nas-server-002 kernel: [279981.979192] RDX: 000000000000006e RSI: 00007ffec5677290 RDI: 0000561b0a4d5800
Jul 28 21:22:51 nas-server-002 kernel: [279981.979193] RBP: 00007ffec5677290 R08: 0000561b0a5f9ab0 R09: 00007f6b81d2cc40
Jul 28 21:22:51 nas-server-002 kernel: [279981.979194] R10: 0000000000000007 R11: 0000000000000246 R12: 0000561b0a5f9ab8
Jul 28 21:22:51 nas-server-002 kernel: [279981.979195] R13: 0000561b0a33a8e0 R14: 0000561b0a4d5800 R15: 0000561b0a2deb00
Jul 28 21:22:51 nas-server-002 kernel: [279981.979197] Code: 89 e7 e8 37 6d 8e 00 48 8b 4d d0 65 48 33 0c 25 28 00 00 00 44 89 f8 0f 85 29 04 00 00 48 83 c4 28 5b 41 5c 41 5d 41 5e 41 5f 5d <c3> 0f 1f 44 00 00 44 8b 43 3c 8b 43 5c 85 c0 0f 85 c0 01 00 00
Jul 28 21:34:57 nas-server-002 kernel: [    0.000000] Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 (Ubuntu 7.4.0-1ubuntu1~18.04.1)) #58-Ubuntu SMP Mon Jun 24 10:55:24 UTC 2019 (Ubuntu 4.15.0-54.58-generic 4.15.18)
Jul 28 21:34:57 nas-server-002 kernel: [    0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-4.15.0-54-generic root=UUID=f6dd57a0-77c7-482f-bc42-12633c145dfa ro quiet splash vt.handoff=1
Jul 28 21:34:57 nas-server-002 kernel: [    0.000000] KERNEL supported cpus:
Jul 28 21:34:57 nas-server-002 kernel: [    0.000000]   Intel GenuineIntel
Jul 28 21:34:57 nas-server-002 kernel: [    0.000000]   AMD AuthenticAMD
Jul 28 21:34:57 nas-server-002 kernel: [    0.000000]   Centaur CentaurHauls
Jul 28 21:34:57 nas-server-002 kernel: [    0.000000] x86/fpu: x87 FPU will use FXSAVE
Jul 28 21:34:57 nas-server-002 kernel: [    0.000000] e820: BIOS-provided physical RAM map:

Was mir ins Auge sticht, ist folgende Zeile:

Jul 28 21:22:23 nas-server-002 kernel: [279953.967989] watchdog: BUG: soft lockup - CPU#3 stuck for 22s! [mate-settings-d:2173]

Weitere Symptome: Kein SSH-Zugriff möglich,
USB-Maus und -Tastatur funktionieren nicht (bzw. das Umschalten mit meinem KVM-Switch),
die Desktop-Uhr läuft weiter,
alle Kerne laufen laut den Applets in meinem Panel auf vollem Takt
und es gibt kein Netzwerktraffic, obwohl gerade ein Kopiervorgang läuft.

Gerade die Rolle von Mate-Settings verstehe ich an dieser Stelle nicht.
Es scheint irgendwas mit sshfs in der fstab mit Proxy-Jumps zutun zu haben.
Kann sich jemand einen Reim darauf machen?
Hat jemand Tipps?
Und ja, auch wenn viele das für unnötig halten, auf der Maschine würde ich gerne auch in Zukunft einen X-Server betreiben.
Solange ich nicht herausgefunden habe, wie auch unter Debian SSH-X-Forwarding nach dem Starten von GUIs mit sudo funktioniert, bleibe ich bei Ubuntu (ist eine Bequemlichkeits-Geschichte). Für so "pöse DAU-Tools" wie Timeshift ist das ganz nett.

 

[Sephe]

Ich würde ganz unten anfangen:
Bios update auf neuste Version und CMOS Reset.
Dann mal Hyper-Threading deaktivieren.
Wenn das nicht hilft: Kernel Update.

 

[pseudopseudonym]

Bios update auf neuste Version und CMOS Reset.

Neustes BIOS ist geflasht. CMOS ist resettet, war aber auch davor schon auf Standard-Einstellungen.

Dann mal Hyper-Threading deaktivieren.

Hat der J2900 nicht.

Wenn das nicht hilft: Kernel Update.

Ich habs mit aktuellem Ubuntu-Kernel versucht und mit eingespielten Backups.

Hast Du sonst noch Ideen?

 

[Sephe]

Hab nen Celeron J1900 im Einsatz und hatte da auch ein paar Probleme mit plötzlichen Freezes.

Mein Workaround dafür:
Versuch mal folgendes:
Häng an deine GRUB_CMDLINE_DEFAULT mal "intel_idle.max_cstate=1" an.

Die Datei findest du unter /etc/default/grub

Danach "update-grub" bzw. "update-grub2" und neu starten.

---

Ob die Einstellung übernommen wurde, kannst du prüfen mit:

cat /proc/cmdline
Wenn dort die Ergänzung vorhanden ist, ist sie auch aktiv.

Welche Kernel-Version hast du denn im Einsatz? (uname -a)

 

[pseudopseudonym]

Mein Workaround dafür:
Versuch mal folgendes:
Häng an deine GRUB_CMDLINE_DEFAULT mal "intel_idle.max_cstate=1" an.

Die Datei findest du unter /etc/default/grub

Danach "update-grub" bzw. "update-grub2" und neu starten.

Danke für den Tipp, ich probiers mal. So recht kann ich mir das allerdings nicht vorstellen, weil ein Softlockup da doch eigentlich komisch wäre, oder?
Ich hatte mit einem Ryzen7 1700 mal ein Problem mit den C-States (6), da schien die Symptomatik aber eine andere zu sein.

Welche Kernel-Version hast du denn im Einsatz? (uname -a)

Laut des geposteten Logfiles "Linux version 4.15.0-54-generic", "uname -a" bestätigt das.

 

[Sephe]

Kernel 4.15 ist vom Januar 2018. Könntest ansonsten mal manuell einen neueren Kernel nehmen.

Ich hatte die gleichen Probleme mit dem J1900. Durch die C-States gehen einzelne Kerne in den Schlafmodus und wachen nicht mehr auf.

Und der J1900 basiert auf dem gleichen Kern wie dein 2900er wenn ich das noch richtig im Kopf habe.

 

[pseudopseudonym]

Durch die C-States gehen einzelne Kerne in den Schlafmodus und wachen nicht mehr auf.

Ich weiß, aber das kommt mir in Verbindung mit Softlockups irgendwie komisch vor.

Kernel 4.15 ist vom Januar 2018. Könntest ansonsten mal manuell einen neueren Kernel nehmen.

Das will ich eigentlich vermeiden, weil die Kiste möglichst unauffällig die Dist-Updates fressen soll.

Ich könnte mal spaßeshalber ein Debian zusammenstellen, das ich testweise von USB laufen lasse. Mein einziges Problem damit wäre, dass SSH-X-Forwarding mit sudo nicht funktioniert. Wäre es ein Sicherheitsproblem, die .Xauthority des Standardusers in /root zu verlinken? Das Problem würde ich damit lösen.

 

[Sephe]

Ich habe Debian im Einsatz - da das Problem nur bei Bay Trail auftritt, wird dir ein Wechsel der Distro nix bringen.
Nach meiner Erfahrung: Entweder der Zusatz "intel_idle.max_cstate=1" und einen etwas höheren Stromverbrauch in Kauf nehmen, oder auf einen neueren Kernel setzen (4.19 oder >= 5.2)

Hab da noch was gefunden:
https://www.thomas-krenn.com/de/wik...mitierung_des_C-State_im_Linux-Grafik-Betrieb
https://www.phoronix.com/scan.php?page=news_item&px=Baytrail-Cherrytrail-Hibernate

 

[pseudopseudonym]

Dann halte ich da erstmal die Füße still und bleibe bei Ubuntu. Erstmal lasse ich die Boot-Option drin, mal gucken, ob das hilft.
Schon mal Dankeschön für die Mühe!

Hast du eine Erklärung dafür, warum das erst seit des anderen Einbinden der SSHFS-Laufwerke passiert? Kann das einfach ein dummer Zufall sein?

 

[Sephe]

Ja, kann definitiv ein dummer Zufall sein.

Mein Workload:

• Midori im Kiosk-Modus
• Motion Bewegungserkennung für Kameras
• Apache Webserver mit PHP und MariaDB
• Paar Cronjobs die Daten hin und her schaufeln per https und ssh.

Alle paar Stunden/Tage ist das ganze Ding einfach hängen geblieben - unabhängig von Last, Temperatur, SSD oder HDD, ob 1 oder 2 Riegel RAM, ob OS im BIOS-Modus oder UEFI installiert, ob mit xHCI Handoff oder ohne, ob mit Secure Boot oder ohne.....
Da ich immer die grafische Oberfläche geladen und keine Tastatur dran hatte, und per SSH keine Kommunikation mehr möglich war, habe ich einfach keine Diagnose fahren können - bis ich dann per Zufall im Internet über die Bay-Trail Probleme mit Linux gestoßen bin.
Eintrag in Grub ergänzt und seit dem keinen Ausfall mehr gehabt.

 

[pseudopseudonym]

Zufall

Na super.

Mein Teil hält einfach nur als NAS her. Ab und zu werden über unison noch meine Laptops synchronisiert oder Backups auf eine NAS in einem anderen Haushalt geschoben.
Die GUI ist ganz nett, falls ich einem Freund Fernsehaufnahmen (Privatkopie!) auf die Fritz-NAS schaufle oder ähnliches tue. Ansonsten dient das Teil noch als Login-Maschine für mein Netzwerk.
Das lief jetzt jahrelang stabil, bis ich die entfernten SSHFS-Laufwerke etwas anders eingebunden habe.
Davor liefen die Auto-Updates sauber durch und ich musste mich um absolut nichts kümmern.
Die Auto-Updates sind übrigens der Grund, weshalb ich mich auf der Maschine mit Custom-Kernels usw zurückhalte. Da ist so eine ganz normal laufende "DAU"-Distro schon was schönes.

 

[Sephe]

Dann bin ich zuversichtlich, dass es jetzt mit dem Boot-Flag nicht mehr auftritt. Halte mich/uns mal auf dem Laufenden, bitte. - Für die Wissenschaft :-)

 

[pseudopseudonym]

Das kann ich machen. Solange ich mich nicht melde, läuft es.
Hoffentlich gibt's dann einen ausreichend neuen Kernel in Ubuntu 20.04.

Meine Idee, auf der Maschine auf Debian umzustellen, ist tatsächlich Blödsinn. Ich hatte auf einen neueren Kernel gehofft, aber die haben mit Buster auch noch 4.19.37, hätte also wohl nichts gebracht.

Den Punkt

Solange ich nicht herausgefunden habe, wie auch unter Debian SSH-X-Forwarding nach dem Starten von GUIs mit sudo funktioniert,

muss ich trotzdem nochmal lösen. Auf meinen VM-Hosts setze ich auf Debian, da nervt das teils gewaltig.

Ergänzung (29. Juli 2019)

Ich habe jetzt testweise mal einen größeren Kopiervorgang auf die entfernte NAS gestartet, dabei hat er sich gerne mal aufgehängt.

 

[Sephe]

News? @pseudopseudonym

 

[pseudopseudonym]

@Sephe
Der läuft noch, schon mal ein gutes Zeichen.
Dann kann ich demnächst wohl auch wieder auf den aktuellen Updatestand zurückgehen und automatische Updates aktivieren.

 

[lokon]

Was mir ins Auge sticht, ist folgende Zeile:

Wichtig ist afaik immer der erste Bug-Report im Log, bei dem "not tainted" steht. siehe Dokumentation vom Kernel

Wichtig sind auch die Einträge "[mate-settings-d:2173]" - also Verwendung von UI - das sind vielleicht andere Bugs, als die bei denen Fehler vorher auftrat - vlt. tritt er bei UI auch nur häufiger auf.
Andererseits sieht der Call Trace definitiv nach fuse, d.h. sshfs aus: fuse und stat_fs Einträge - vlt. aufwachen aus "idle" state beim Kopieren.

Upstream Bug, der den cstate Workaround vorschlägt/erfolgreich: #109051 Kernel-Bugzilla

Weitere Symptome: Kein SSH-Zugriff möglich,

Dein Board hat einen COM Port Header:
- "RS-232 Seriell Pfostenbuchse zu DB9 Stecker" oder DB9 Slotblech/"Bracket" per seriellen Kabel anderen PC anschließen und auf dem anderen PC loggen
und/oder DB9 zu TTL Wandler = RS232 zu TTL Adapter mit MAX3232 und die TTL Pinseite auf einem Raspi anschließen und dort loggen (die lokale Konsole auf dem Raspi dann deaktivieren)

Loggen über serielle Schnittstelle ist nicht so fehleranfällig wie zB ein Raspberry Pi als Remote Syslog Server einzurichten - der Q2900 PC kann beim Absturz wie du schriebst die SSH Schnittstelle nicht mehr nutzen - also ist potentiell der Netzwerkstack für das Remote Syslog = Logzeilen via LAN senden auch beeinträchtigt.

Unklar ob der Fix aus dem Kernel-Bugzilla die Probleme wirklich beseitigt - dazu müsste er getestet werden (also ohne Workaround Einstellung). Bei Kernel Bugs wird anstelle des Distributions-Kernels oft zuerst empfohlen "Mainline" Kernel zu probieren/aktuellere LTS Kernel.

 

[pseudopseudonym]

Wichtig ist afaik immer der erste Bug-Report im Log, bei dem "not tainted" steht. siehe Dokumentation vom Kernel

Wichtig sind auch die Einträge "[mate-settings-d:2173]" - also Verwendung von UI - das sind vielleicht andere Bugs, als die bei denen Fehler vorher auftrat - vlt. tritt er bei UI auch nur häufiger auf.
Andererseits sieht der Call Trace definitiv nach fuse, d.h. sshfs aus: fuse und stat_fs Einträge - vlt. aufwachen aus "idle" state beim Kopieren.

Also könnte das durchaus an den C-States liegen? Bzw. der C-State-Bug wird eventuell von SSHFS getriggert?

Dein Board hat einen COM Port Header:
- "RS-232 Seriell Pfostenbuchse zu DB9 Stecker" oder DB9 Slotblech/"Bracket" per seriellen Kabel anderen PC anschließen und auf dem anderen PC loggen
und/oder DB9 zu TTL Wandler = RS232 zu TTL Adapter mit MAX3232 und die TTL Pinseite auf einem Raspi anschließen und dort loggen (die lokale Konsole auf dem Raspi dann deaktivieren)

Was für zusätzliche Informationen könnte ich dadadurch gewinnen?

Unklar ob der Fix aus dem Kernel-Bugzilla die Probleme wirklich beseitigt - dazu müsste er getestet werden (also ohne Workaround Einstellung). Bei Kernel Bugs wird anstelle des Distributions-Kernels oft zuerst empfohlen "Mainline" Kernel zu probieren/aktuellere LTS Kernel.

Ja, an sich ist das eine gute Idee. Aber gerade bei dem System würde ich gerne auch in Zukunft alles automatisch ablaufen lassen, ohne mich selbst um etwas kümmern zu müssen (außer mal nachschauen, wie's steht). Ich weiß nicht, ob Mainline-Kernel da so gut sind.

 

[lokon]

Also könnte das durchaus an den C-States liegen? Bzw. der C-State-Bug wird eventuell von SSHFS getriggert?

Genau.

Was für zusätzliche Informationen könnte ich dadadurch gewinnen?

Du schriebst "Bisher konnte ich nichts auffälliges in den Logdateien finden und habe deshalb die NAS mal an einen Bildschirm angeschlossen."
Ich lese heraus : Irgendein Fehler (bei dem SSH nicht reagiert, Kein Fehlerlog hier gepostet) -> Neustart (?) und Anschluss an Bildschirm -> gepostetes Fehlerlog, da mate-settingsd doch eigentlich kein "NAS" Prozess ist sondern zu einem UI gehört.
Per seriellem Logging bist du nicht auf Netzwerk oder UI angewiesen, sondern es ist dann lokaler (per Kabel an einen Raspi mit Speicherkarte).

PS:
Bei einer "richtigen" Fehlersuche ist das Verhalten reproduzierbar. So richtig ist das jetzt nicht der Fall, wenn der Workaround funktioniert und dann eben die "Theorie" vom echten Bugfix, der im Kernel-Bugtracker verwendet wird, auch nur Theorie ist. Und wenn jeder nur den Workaround einsetzt und nicht den Fehler sucht ("funktioniert mit Workaround" = erledigt), dann ist es für Entwickler auch schwerer ihn zu replizieren & fixen, da diese nicht mal eben die Hardware kaufen/nachbauen können.
Am Ende muss dann jeder nutzer manuelle Listen über "komische" Hardware führen, anstelle dass der Kernel dieses für ihn übernimmt und die störrische Hardware trotzdem zum Laufen bringt. Zum Beispiel gibt es die "quirks" Listen bei UAS - USB 3 Geräten, weil da auch irgendwo gespart oder nicht richtig designt wurde.

The working theory, courtesy of Ville and Hans, is the issue lies within
the power delivery and so is likely to be unit and board specific and
occurs when both the unit/fw require extra power at the same time as the
cpu package is changing its own power state.

Also Boarddesign, Netzteil (quasi analog zu Haswell-Netzteilen und deren C6/C7 Unterstützung, Alterungseffekte bei der Stromversorgung, Spannungsregulation ...) und dann "fw" = Bios - weil C-states zB auch per Bios manipulierbar sind. Bei der alten Hardware gibt es quasi keine Chance auf "Hardware-Fix"

Ich weiß nicht, ob Mainline-Kernel da so gut sind.

Der Mainline-Kernel soll nur bei der Fehlersuche benutzt werden!

Da : Ubuntu = (alter) Mainline Kernel + Ubuntu Änderungen.
Falls der Fehler beim neuen Mainline-Kernel NICHT mehr auftritt - dann ist er hoffentlich durch eine einzige Änderung behoben - anstelle des Workaround - also einem Abschalten von Funktionalität (cstates wirken sich auf Stromverbrauch aus) - verhält sich die CPU nun korrekt. Diese eine Änderung kann dann von anderen Distributionen in die älteren Kernel übernommen werden. Bei "Mainline" wird auf der Mailseite/Patchseite dann eine Kopie (CC an stable@... verschickt. Dies ist im Bugtracker noch nicht der Fall - dort fehlt die Rückmeldung/Feedback (also Tests). Theoretisch sucht sich dann Ubuntu irgendwann auch die Patches heraus (falls die einen eigenen Bugreport offen haben dann vielleicht sogar eher - sonst evtl. gar nicht)

 

[pseudopseudonym]

Ich habe nochmal alte Logs durchsucht und nichts vergleichbares gefunden. Das System hat einfach nicht mehr auf SSH reagiert. Teilweise schien aber trotzdem noch was geloggt worden zu sein.
Das passt aber zu der Symptomatik, die ich damals mit meinem Ryzen7 1700 hatte (defekter C6-State). Da habe ich auch erst im dunklen gestochert.

Dass das System noch lebt, ist aber schon mal ein gutes Zeichen. Wenn das noch eine Weile hält, werde ich mal das Backup einspielen, das ich gemacht habe, bevor ich angefangen habe rumzuprobieren. Anschließend setze ich natürlich wieder das Bootflag.

 

[pseudopseudonym]

Das Backup von vorm Basteln ist eingespielt, das Bootflad aber gesetzt.
Bis jetzt gabs keine Probleme mehr.