Problem med ELK-stack via docker

Trädvy Permalänk
Medlem
Plats
Osynliga Universitetet
Registrerad
Dec 2007

Problem med ELK-stack via docker

Tjena!

Har installerat en ELK-stack via docker för central logging med mål att övervaka min whitebox. Tanken är att sedan få igång någon tjänst som skickar ett mail när fel registreras eller inloggsningsförsök misslyckas.

Jag misstänker starkt att felet ligger i min conf för logstash. Jag kör den mer eller mindre vanilj, där den är inställd på att ta emot data på port 5000. Om klienten kör curl till log-servern så loggas det, men inget annat kommer fram. Vad saknas? Hur skickar jag lokala loggar till logstash?

/docker-elk/logstash/pipeline/logstash.conf:

input {
tcp {
port => 5000
type => rsyslog
}
}

## Add your filters / logstash plugins configuration here

output {
elasticsearch {
hosts => "elasticsearch:9200"
}
}

Dold text

/etc/rsyslog.conf på klienten som ska skicka data:

# rsyslog configuration file

# For more information see /usr/share/doc/rsyslog-*/rsyslog_conf.html
# If you experience problems, see http://www.rsyslog.com/doc/troubleshoot.html

#### MODULES ####

# The imjournal module bellow is now used as a message source instead of imuxsock.
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imjournal # provides access to the systemd journal
#$ModLoad imklog # reads kernel messages (the same are read from journald)
#$ModLoad immark # provides --MARK-- message capability

# Provides UDP syslog reception
#$ModLoad imudp
#$UDPServerRun 514

# Provides TCP syslog reception
#$ModLoad imtcp
#$InputTCPServerRun 514

#### GLOBAL DIRECTIVES ####

# Where to place auxiliary files
$WorkDirectory /var/lib/rsyslog

# Use default timestamp format
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

# File syncing capability is disabled by default. This feature is usually not required,
# not useful and an extreme performance hit
#$ActionFileEnableSync on

# Include all config files in /etc/rsyslog.d/
$IncludeConfig /etc/rsyslog.d/*.conf

# Turn off message reception via local log socket;
# local messages are retrieved through imjournal now.
$OmitLocalLogging on

# File to store the position in the journal
$IMJournalStateFile imjournal.state

#### RULES ####

# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.* /dev/console

# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none /var/log/messages

# The authpriv file has restricted access.
authpriv.* /var/log/secure

# Log all the mail messages in one place.
mail.* -/var/log/maillog

# Log cron stuff
cron.* /var/log/cron

# Everybody gets emergency messages
*.emerg :omusrmsg:*

# Save news errors of level crit and higher in a special file.
uucp,news.crit /var/log/spooler

# Save boot messages also to boot.log
local7.* /var/log/boot.log

# ### begin forwarding rule ###
# The statement between the begin ... end define a SINGLE forwarding
# rule. They belong together, do NOT split them. If you create multiple
# forwarding rules, duplicate the whole block!
# Remote Logging (we use TCP for reliable delivery)
#
# An on-disk queue is created for this action. If the remote host is
# down, messages are spooled to disk and sent when it is up again.
#$ActionQueueFileName fwdRule1 # unique name prefix for spool files
#$ActionQueueMaxDiskSpace 1g # 1gb space limit (use as much as possible)
#$ActionQueueSaveOnShutdown on # save messages to disk on shutdown
#$ActionQueueType LinkedList # run asynchronously
#$ActionResumeRetryCount -1 # infinite retries if host is down
# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional
*.* @@10.10.10.139:5000
# ### end of the forwarding rule ###

Dold text

+++ Divide By Cucumber Error. Please Reinstall Universe And Reboot +++

"Real stupidity beats artificial intelligence every time." - Terry Pratchett, Hogfather

Trädvy Permalänk
Medlem
Plats
Hudiksvall
Registrerad
Okt 2004

under mina år som tekniker på hostingföretag där de kör linux till majoriteten så har jag följt digitaloceans guider.

De förklarar väldigt utförligt.

https://www.digitalocean.com/community/tutorials/how-to-centr...

Se om denna hjälper dig något.

..:: Workstation ::.. ..:: Asus P8Z77-v LX ::.. ..:: MSI GTX1060 6GB ::.. ..:: i5 3450 Ivy Bridge /w Antec KÜHLER H2O 620 Sluten Vattenkylning ::.. ..:: Corsair 16GB DDR3 600MHz/CL9/VENG ::.. ..:: NoName 650W ::.. ..:: Dell 24" 2408WFP ::.. ..:: Server ::.. ..:: AMD ..:: FX-8320 ::.. ..:: 16GB ::.. ..:: XFX HD6450 ::.. ..::250GB SSD Samsung 840 EVO::.. ..:: 3x 2TB wd black ::.. ..:: VCP6-DCV ::.. ..:: vmware esxi 6.7 ::..

Trädvy Permalänk
Medlem
Plats
Osynliga Universitetet
Registrerad
Dec 2007

@tjossanmannen: Tack så mycket för tipset! Har varit lite inne på Digitalocean och tycker också att de skriver bra. Har dock noterat att just den guiden är lite "äldre" (från 2016, om ubuntu 14.04), är den fortfarande aktuell? Det har varit ett av problem jag upplevt, med att hitta och verifiera aktuella guider.

EDIT: Fick igång det via den här guiden: https://www.rosehosting.com/blog/how-to-install-the-elk-stack...

Nu behöver jag bara konfigurera logstah med grok-filter, så har jag nog en grund att stå på.

+++ Divide By Cucumber Error. Please Reinstall Universe And Reboot +++

"Real stupidity beats artificial intelligence every time." - Terry Pratchett, Hogfather