Logga webbanrop/trafik, HTTP+HTTPS

Permalänk
Medlem

Logga webbanrop/trafik, HTTP+HTTPS

Halloj, jag sitter och försöker hitta på något bra sätt att logga webbanrop/trafik för att sedan kunna presentera statistik, t.ex. mest besökta webbplatsen, mest aktiva klienten osv.

I routern använder jag pFsense och har labbat en hel del med squid som transparent proxy. Det fungerar ganska bra men då bara på HTTP och inte HTTPS, samt att man får ut lite för detaljerad information, loggen innehåller ju varje litet anrop, t.ex. varje bild och varje reklambanner. Jag är bara intresserad av det initiella anropet till den besökta domänen för att kunna skapa en bra överblick.

Går det ens att logga den här typen av information när HTTPS används?

Tacksam för alla förslag och tips jag kan få.

Permalänk
Medlem

nä, inte med log filerna man piwik bör klarar det

Visa signatur

5800x -- 32Gb DDR4@3600 -- 3080Ti -- 500Gb M2+1Tb M2 +2x1Tb sata SSD

Permalänk
Medlem

Som jag förstår det så är piwik en mjukvara som visar besöksstatistik på en eller flera hemsidor.
Det är inte riktigt det jag är ute efter, jag behöver veta vilka sidor våra klienter på nätverket surfar ut till.

Att logga och presentera besöksstatistik på en hemsida man administrerar är en helt annan historia och enligt mig betydligt enklare.

Permalänk
Medlem

wireshark kanske?

edit:https://papertrailapp.com/ <aldrig använt

Visa signatur

5800x -- 32Gb DDR4@3600 -- 3080Ti -- 500Gb M2+1Tb M2 +2x1Tb sata SSD

Permalänk
Medlem

Enklast är väl om du sätter upp en proxy som all trafik går genom. Då kommer du se alla source och destinations DNS/IPn som anropas.
Alla klienter måste då vara konfigurerade att skicka sin trafik genom denna proxy då.

Apache httpd server eller squid proxy är väl de 2 vanligaste lösningarna för forward proxys.

Permalänk
Medlem

Driver du NAT och DHCP själv i nätverket så kan du köra egen DNS-server, och logga DNS-queries. Jag har satt upp en sån lösning med BIND DNS. Och sedan har jag kodat ett enkelt skript som söker igenom loggarna, och sedan presenterar datan på det sätt jag vill.
Genom att ta det genom DNSen som DHCP delar ut så fungerar det automatiskt för nya klienter, utan att de behöver konfigurera rätt proxy eller liknande. Och sedan matachar jag IP mot host-names från DHCP-serverns lista över leasade IPn, för att se vilket hostname som frågat om vilken domän.

Inte helt vad du letar efter, då om en klient går in på exempel1.com, som sedan har reklam på sig från sidan exempel2.com i sig så kommer ju klienten även göra en DNS-förfrågan på exempel2.com även fast det inte var sidan klienten besökte. Men de vanligaste reklam-sidorna, och googlesyndication och liknande kan du sortera bort så blir det inte lika stort problem.
Och du kommer även enbart se på domännivå. Vill du se skillnader i populäritet mellan exempel.com/ett mot exempel.com/tva så kommer denna lösning inte alls att fungera.

Vet inte om det finns ett snyggare sätt som kör på en server och inte på varje klient. Men det räckte för mina behov.

Permalänk
Medlem

Sidde, som du kan läsa i min första post så har jag redan hållt på med Squid, som transparent proxy. Problematiken kommer ju när man vill logga HTTPS/SSL-besök. Samt att squid loggar ju varje anrop, bilder, reklamsidor, allt. Vilket kan bli lite väl detaljerat ibland, men det problemet kan man ju alltid lösa när man tolkar loggfilerna.

Genesis, jag har funderat på att logga det via DNS, men kommer inte klienterna själva att cache-lagra DNS-resultaten under en tid, och då inte fråga min DNS-server under den tiden?
T.ex. om en användare besöker; sweclockers.se kl 10.00 då loggas en rad i min DNS-servers logg. Men då kommer den användarens OS att cache-lagra DNS-resultatet, och om den personen besöker sidan kl 10:15 igen så kommer ingen fråga att skickas till min server och inget sidbesök blir loggat eftersom klientens OS redan vet svaret.
Tänker jag rätt eller fel här?

Permalänk
Medlem
Skrivet av Brasse:

Genesis, jag har funderat på att logga det via DNS, men kommer inte klienterna själva att cache-lagra DNS-resultaten under en tid, och då inte fråga min DNS-server under den tiden?
T.ex. om en användare besöker; sweclockers.se kl 10.00 då loggas en rad i min DNS-servers logg. Men då kommer den användarens OS att cache-lagra DNS-resultatet, och om den personen besöker sidan kl 10:15 igen så kommer ingen fråga att skickas till min server och inget sidbesök blir loggat eftersom klientens OS redan vet svaret.
Tänker jag rätt eller fel här?

Möjligt att det finns vissa DNS-klienter som kommer förinställda att själva cacha DNS-förfrågningar, men det är inget jag stött på. Både Windows, Linux, iOS och Android verkar inte göra det som standard av vad jag sett.

Här är exempelvis lite rådata:

Det är utfiltrerad rådata som matchar rätt IP-adress och enbart huvuddomänen grooveshark.com, bara som ett exempel. Det är en Debian 7-maskin som streamar musik därifrån, och gör någorlunda regelbundna DNS-förfrågningar för att hålla igång strömmen.

23-Sep-2013 08:19:02.406 queries: info: client 192.168.0.237#22221: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:21:53.080 queries: info: client 192.168.0.237#11442: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:22:53.283 queries: info: client 192.168.0.237#34006: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:24:42.809 queries: info: client 192.168.0.237#31807: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:25:58.274 queries: info: client 192.168.0.237#47160: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:27:04.274 queries: info: client 192.168.0.237#65137: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:32:39.421 queries: info: client 192.168.0.237#55624: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:37:59.180 queries: info: client 192.168.0.237#61365: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:39:38.570 queries: info: client 192.168.0.237#28912: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:44:43.928 queries: info: client 192.168.0.237#29533: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:47:22.950 queries: info: client 192.168.0.237#46421: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:48:29.012 queries: info: client 192.168.0.237#22680: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:49:30.642 queries: info: client 192.168.0.237#15463: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:52:43.808 queries: info: client 192.168.0.237#65180: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:58:38.056 queries: info: client 192.168.0.237#22580: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:02:44.769 queries: info: client 192.168.0.237#53154: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:06:21.566 queries: info: client 192.168.0.237#56121: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:07:26.598 queries: info: client 192.168.0.237#62245: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:08:30.898 queries: info: client 192.168.0.237#42765: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:09:33.308 queries: info: client 192.168.0.237#42913: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:15:57.103 queries: info: client 192.168.0.237#40916: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:24:49.564 queries: info: client 192.168.0.237#23412: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:29:19.404 queries: info: client 192.168.0.237#32107: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:36:36.238 queries: info: client 192.168.0.237#30467: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:40:45.407 queries: info: client 192.168.0.237#51026: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:45:53.035 queries: info: client 192.168.0.237#9581: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:50:09.287 queries: info: client 192.168.0.237#16590: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:56:32.134 queries: info: client 192.168.0.237#39469: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:00:42.285 queries: info: client 192.168.0.237#12359: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:06:24.129 queries: info: client 192.168.0.237#27190: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:16:32.082 queries: info: client 192.168.0.237#51887: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:21:34.710 queries: info: client 192.168.0.237#31766: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:30:16.954 queries: info: client 192.168.0.237#42279: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:34:35.132 queries: info: client 192.168.0.237#47212: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:39:22.510 queries: info: client 192.168.0.237#60156: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:44:21.803 queries: info: client 192.168.0.237#63935: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:49:22.298 queries: info: client 192.168.0.237#36027: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:00:09.191 queries: info: client 192.168.0.237#13845: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:05:23.690 queries: info: client 192.168.0.237#24674: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:09:49.682 queries: info: client 192.168.0.237#62604: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:15:28.855 queries: info: client 192.168.0.237#52254: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:16:43.370 queries: info: client 192.168.0.237#16727: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:19:20.182 queries: info: client 192.168.0.237#36167: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:23:18.163 queries: info: client 192.168.0.237#40261: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:28:06.159 queries: info: client 192.168.0.237#50373: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:32:07.361 queries: info: client 192.168.0.237#5040: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:35:57.618 queries: info: client 192.168.0.237#57018: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:42:35.407 queries: info: client 192.168.0.237#7654: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:49:22.790 queries: info: client 192.168.0.237#31369: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:52:48.663 queries: info: client 192.168.0.237#57504: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:57:58.949 queries: info: client 192.168.0.237#52043: query: grooveshark.com IN A + (192.168.0.1)

Dold text

Och jag ser andra exempel på vanliga reklam-sidor och liknande som klienten kan ge DNS-anrop till samma subdomän tätare än en gång per sekund när klienten aktivt surfar.
Exempelvis:

Vet inte vad klienten gjorde här riktigt, så inte ett perfekt exempel, men 14 förfrågningar på mindre än en sekund är det i alla fall.

23-Sep-2013 10:55:39.434 queries: info: client 192.168.0.80#12659: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.466 queries: info: client 192.168.0.80#60049: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.637 queries: info: client 192.168.0.80#8201: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.639 queries: info: client 192.168.0.80#30500: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.690 queries: info: client 192.168.0.80#6151: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.692 queries: info: client 192.168.0.80#19594: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.756 queries: info: client 192.168.0.80#34966: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.758 queries: info: client 192.168.0.80#53014: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.045 queries: info: client 192.168.0.80#28155: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.048 queries: info: client 192.168.0.80#17143: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.083 queries: info: client 192.168.0.80#39138: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.085 queries: info: client 192.168.0.80#18810: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.127 queries: info: client 192.168.0.80#25085: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.129 queries: info: client 192.168.0.80#33935: query: www.google.com IN A + (192.168.0.1)

Dold text

Det jag var ute efter var inte något med hur vanlig en hemsida var, så jag bryr mig inte om de märkligheter som kan förekomma där en klient gör en rad täta förfrågningar på samma domän. Men om det är vad du är intresserad av så kan du nog behöva labba lite på hur det hela fungerar, och sedan filtrera bort för täta anrop från samma klient, och klassa det som en förfrågan enbart.
Så som sagt så är det inte en perfekt lösning för dig. Möjligt att det finns en snyggare lösning som kan köras på en server, men det är inget som jag känner till.

Permalänk
Medlem
Skrivet av Brasse:

Sidde, som du kan läsa i min första post så har jag redan hållt på med Squid, som transparent proxy. Problematiken kommer ju när man vill logga HTTPS/SSL-besök. Samt att squid loggar ju varje anrop, bilder, reklamsidor, allt. Vilket kan bli lite väl detaljerat ibland, men det problemet kan man ju alltid lösa när man tolkar loggfilerna.

Om klienterna ansluter ut via en HTTP-proxy så kommer alla DNS/Hostnames att stå i klartext. Det kommer närmligen göras ett HTTP Connect-anrop mot den host klienten ansluter.

Permalänk
Medlem
Skrivet av Genesis:

Möjligt att det finns vissa DNS-klienter som kommer förinställda att själva cacha DNS-förfrågningar, men det är inget jag stött på. Både Windows, Linux, iOS och Android verkar inte göra det som standard av vad jag sett.

Här är exempelvis lite rådata:

Det är utfiltrerad rådata som matchar rätt IP-adress och enbart huvuddomänen grooveshark.com, bara som ett exempel. Det är en Debian 7-maskin som streamar musik därifrån, och gör någorlunda regelbundna DNS-förfrågningar för att hålla igång strömmen.

23-Sep-2013 08:19:02.406 queries: info: client 192.168.0.237#22221: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:21:53.080 queries: info: client 192.168.0.237#11442: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:22:53.283 queries: info: client 192.168.0.237#34006: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:24:42.809 queries: info: client 192.168.0.237#31807: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:25:58.274 queries: info: client 192.168.0.237#47160: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:27:04.274 queries: info: client 192.168.0.237#65137: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:32:39.421 queries: info: client 192.168.0.237#55624: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:37:59.180 queries: info: client 192.168.0.237#61365: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:39:38.570 queries: info: client 192.168.0.237#28912: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:44:43.928 queries: info: client 192.168.0.237#29533: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:47:22.950 queries: info: client 192.168.0.237#46421: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:48:29.012 queries: info: client 192.168.0.237#22680: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:49:30.642 queries: info: client 192.168.0.237#15463: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:52:43.808 queries: info: client 192.168.0.237#65180: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 08:58:38.056 queries: info: client 192.168.0.237#22580: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:02:44.769 queries: info: client 192.168.0.237#53154: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:06:21.566 queries: info: client 192.168.0.237#56121: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:07:26.598 queries: info: client 192.168.0.237#62245: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:08:30.898 queries: info: client 192.168.0.237#42765: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:09:33.308 queries: info: client 192.168.0.237#42913: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:15:57.103 queries: info: client 192.168.0.237#40916: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:24:49.564 queries: info: client 192.168.0.237#23412: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:29:19.404 queries: info: client 192.168.0.237#32107: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:36:36.238 queries: info: client 192.168.0.237#30467: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:40:45.407 queries: info: client 192.168.0.237#51026: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:45:53.035 queries: info: client 192.168.0.237#9581: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:50:09.287 queries: info: client 192.168.0.237#16590: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 09:56:32.134 queries: info: client 192.168.0.237#39469: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:00:42.285 queries: info: client 192.168.0.237#12359: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:06:24.129 queries: info: client 192.168.0.237#27190: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:16:32.082 queries: info: client 192.168.0.237#51887: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:21:34.710 queries: info: client 192.168.0.237#31766: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:30:16.954 queries: info: client 192.168.0.237#42279: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:34:35.132 queries: info: client 192.168.0.237#47212: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:39:22.510 queries: info: client 192.168.0.237#60156: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:44:21.803 queries: info: client 192.168.0.237#63935: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 10:49:22.298 queries: info: client 192.168.0.237#36027: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:00:09.191 queries: info: client 192.168.0.237#13845: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:05:23.690 queries: info: client 192.168.0.237#24674: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:09:49.682 queries: info: client 192.168.0.237#62604: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:15:28.855 queries: info: client 192.168.0.237#52254: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:16:43.370 queries: info: client 192.168.0.237#16727: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:19:20.182 queries: info: client 192.168.0.237#36167: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:23:18.163 queries: info: client 192.168.0.237#40261: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:28:06.159 queries: info: client 192.168.0.237#50373: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:32:07.361 queries: info: client 192.168.0.237#5040: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:35:57.618 queries: info: client 192.168.0.237#57018: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:42:35.407 queries: info: client 192.168.0.237#7654: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:49:22.790 queries: info: client 192.168.0.237#31369: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:52:48.663 queries: info: client 192.168.0.237#57504: query: grooveshark.com IN A + (192.168.0.1) 23-Sep-2013 11:57:58.949 queries: info: client 192.168.0.237#52043: query: grooveshark.com IN A + (192.168.0.1)

Dold text

Och jag ser andra exempel på vanliga reklam-sidor och liknande som klienten kan ge DNS-anrop till samma subdomän tätare än en gång per sekund när klienten aktivt surfar.
Exempelvis:

Vet inte vad klienten gjorde här riktigt, så inte ett perfekt exempel, men 14 förfrågningar på mindre än en sekund är det i alla fall.

23-Sep-2013 10:55:39.434 queries: info: client 192.168.0.80#12659: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.466 queries: info: client 192.168.0.80#60049: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.637 queries: info: client 192.168.0.80#8201: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.639 queries: info: client 192.168.0.80#30500: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.690 queries: info: client 192.168.0.80#6151: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.692 queries: info: client 192.168.0.80#19594: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.756 queries: info: client 192.168.0.80#34966: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:39.758 queries: info: client 192.168.0.80#53014: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.045 queries: info: client 192.168.0.80#28155: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.048 queries: info: client 192.168.0.80#17143: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.083 queries: info: client 192.168.0.80#39138: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.085 queries: info: client 192.168.0.80#18810: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.127 queries: info: client 192.168.0.80#25085: query: www.google.com IN A + (192.168.0.1) 23-Sep-2013 10:55:40.129 queries: info: client 192.168.0.80#33935: query: www.google.com IN A + (192.168.0.1)

Dold text

Det jag var ute efter var inte något med hur vanlig en hemsida var, så jag bryr mig inte om de märkligheter som kan förekomma där en klient gör en rad täta förfrågningar på samma domän. Men om det är vad du är intresserad av så kan du nog behöva labba lite på hur det hela fungerar, och sedan filtrera bort för täta anrop från samma klient, och klassa det som en förfrågan enbart.
Så som sagt så är det inte en perfekt lösning för dig. Möjligt att det finns en snyggare lösning som kan köras på en server, men det är inget som jag känner till.

Där ser man, ska labba lite med det. Tack för tipset.

Skrivet av Sidde:

Om klienterna ansluter ut via en HTTP-proxy så kommer alla DNS/Hostnames att stå i klartext. Det kommer närmligen göras ett HTTP Connect-anrop mot den host klienten ansluter.

Sidde, jag vet. Har som sagt hållt på en hel del med HTTP-proxy. Problematiken kommer som sagt vid HTTPS/SSL

Permalänk
Medlem
Skrivet av Brasse:

Där ser man, ska labba lite med det. Tack för tipset.

Sidde, jag vet. Har som sagt hållt på en hel del med HTTP-proxy. Problematiken kommer som sagt vid HTTPS/SSL

Jag förstår inte riktigt vilken problematik det är du får vid HTTPS. Du kommer ju ändå se HTTP Connect-anropet till den efterfrågade domänen. Det var väl precis den informationen du ville ha?

Permalänk
Medlem
Skrivet av Sidde:

Jag förstår inte riktigt vilken problematik det är du får vid HTTPS. Du kommer ju ändå se HTTP Connect-anropet till den efterfrågade domänen. Det var väl precis den informationen du ville ha?

Om man anropar HTTPS, via port 443 så går aldrig trafiken via proxy-servern.

Permalänk
Medlem
Skrivet av Brasse:

Om man anropar HTTPS, via port 443 så går aldrig trafiken via proxy-servern.

Då har du ju inte satt upp webbläsaren att skicka HTTPS-trafiken genom proxyn.

Permalänk
Medlem
Skrivet av Sidde:

Då har du ju inte satt upp webbläsaren att skicka HTTPS-trafiken genom proxyn.

Nej, det är sant. Jag använder mig av transparent proxy direkt i routern, då det är nästan praktiskt omöjligt att få igenom det för alla klienter annars.

Vill jag bara logga trafiken hos en klient så är det lättare att kolla historiken i webbläsaren.