Automatisera slumpmässiga stickprov.

Hej!

Jag skulle vilja få förslag på hur jag kan förenkla mitt jobb!

Jag har idag ett ark i Excel på 10.000+ rader och 4 kolumner:

A: Provider
B: Brand
C: Product
D: URL

Mitt jobb är att varje dag slumpmässigt gå igenom varje Provider och klicka på URL för en slumpmässigt vald Product för respektive Brand.

Det vore kanon om jag i ett Excelmakro (eller om man ska importera excelfilen in i en databas och köra PHP?) så att det kan reducera mina 10.000 rader till:

7 Providers * 40 Brands = 280 rader där bara en klickbar URL visas.

Det är viktigt att det blir någorlunda slumpmässigt urval varje gång.

Någon som ser direkt vilken lösning jag ska fixa detta med?

Tack för svaren! Ska kolla på powershell idag och se om jag kan få till något. Idag sker slumpmässigheten att jag bara scrollar random

Det jag ska kolla är att URL inte är bruten, om sidan laddas eller ej. Inte superspännande

Tack för exemplet med powershellkoden.

Som jag förstår det spottar ditt exempel ut random URL´s utan att ta hänsyn till Provider/Brand.

Jag behöver få 1 random URL för varje Provider, Brand och en utvald Product (som har URL).

Exempelvis från en sådan här lista:

ICA, KELLOGS, CORNFLAKES, ica.com/cornflakes
ICA, KELLOGS, BRANFLAKES, ica.com/branflakes
ICA, KELLOGS, CORNFLAKES2, ica.com/cornflakes2
ICA, KELLOGS, BRANFLAKES2, ica.com/branflakes2
KONSUM, KELLOGS, CORNFLAKES, konsum.com/cornflakes
KONSUM, KELLOGS, BRANFLAKES, konsum.com/branflakes
KONSUM, KELLOGS, CORNFLAKES2, konsum.com/cornflakes2
KONSUM, KELLOGS, BRANFLAKES2, konsum.com/branflakes2

Av ovan vill jag få ut en slumpmässig url baserat på de två första kolumnerna och max visa ett resultat för denna kombination.

Slutresultatet av ovan lista ska visa enbart två URL´s efter körning.

Exempel:
ica.com/branflakes
konsum.com/cornflakes2

Så målet är att få ner mina 10.000 rader till 280 URL´s men det är nästlat och beroende på Provider/Brand och limiterat till max 1 utfall av denna kombo.

Hoppas jag förklarar mig OK, ber om ursäkt om det är lite snurrigt

EDIT: Jag provade powershellkoden och den funkar fint. Jag får ut en slumpmässig rad. Så detta är något att bygga vidare på!

$csvdata = Import-Csv -Path C:\temp\scb_valresultat_historiskt.csv -Delimiter ';'
$randomMax = $csvdata.count
$getRandomIndex = Get-Random -Minimum 0 -Maximum $randomMax
$csvdata[$getRandomIndex]
$csvdata[$getRandomIndex].URL #för att få fram kolumnen som heter URL. Kanske heter något annat hos dig

$tempArray = @()

$csvdata = Import-Csv -Path C:\temp\zencity_testdata.csv -Delimiter ','
$groupedCSVdata = $csvdata | Group-Object -Property company,category

$groupedCSVdata | ForEach-Object {
    
    $randomMax = $PSItem.Group.Count
    $getRandomIndex = Get-Random -Minimum 0 -Maximum ($randomMax-1)

    $tempArray += -join( $PSItem.group.company[$getRandomIndex] + ',' + $PSItem.group.category[$getRandomIndex] + ',' + $PSItem.group.type[$getRandomIndex] + ',' + $PSItem.group.url[$getRandomIndex] )
}

$tempArray

$tempArray | ForEach-Object { 

    $wgetResult = Invoke-WebRequest -Uri $PSItem
    if( $wgetResult.StatusCode -eq 200 ) {
        Write-Host "$($PSItem.split(',')[-1]) responded with $($wgetResult.StatusCode)" -ForegroundColor Green
    } else {
        Write-Host "$($PSItem.split(',')[-1]) responded with $($wgetResult.StatusCode)" -ForegroundColor Red
    }

}

Jäklar så snyggt!!! Funkade fint att få ut en random lista.

Angående tillägget för att testa url så får jag dock detta på alla rader:

https://www.domainname.com/en/test/test/test/test responded with
Invoke-WebRequest : Ogiltig URI. Den gick inte att parsa värdnamnet.
At line:18 char:19
+ $wgetResult = Invoke-WebRequest -Uri $PSItem
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
+ CategoryInfo : NotSpecified: (:) [Invoke-WebRequest], UriFormatException
+ FullyQualifiedErrorId : System.UriFormatException,Microsoft.PowerShell.Commands.InvokeWebRequestCommand

Något du känner till lösning på? Oavsett är jag mer än nöjd med att få ut listan så jag manuellt kan kopiera in i excel och klicka på länkarna!

Går det att med något echo (vet egentligen inte vad jag pratar om) spotta ut resultatet i en ny CSV?

$tempArray = @()

$csvdata = Import-Csv -Path C:\temp\zencity_testdata.csv -Delimiter ','
$groupedCSVdata = $csvdata | Group-Object -Property company,category

$groupedCSVdata | ForEach-Object {
    
    $randomMax = $PSItem.Group.Count
    $getRandomIndex = Get-Random -Minimum 0 -Maximum ($randomMax-1)

    $tempArray += -join( $PSItem.group.company[$getRandomIndex] + ',' + $PSItem.group.category[$getRandomIndex] + ',' + $PSItem.group.type[$getRandomIndex] + ',' + $PSItem.group.url[$getRandomIndex] )
}

$logFilePath = "c:\temp"
$logFileOKName = "$(Get-Date -Format 'yyyyMMdd-HHmmss')_LogOK.txt"
$logFileOK = "$logFilePath\$logFileOKName"

$logFileNOTOKName = "$(Get-Date -Format 'yyyyMMdd-HHmmss')_LogNOTOK.txt"
$logFileNOTOK = "$logFilePath\$logFileNOTOKName"

if( -not $($logFileOK | Test-Path) ) { New-Item -Path $logFilePath -Name $logFileOKName -ItemType File }
if( -not $($logFileNOTOK | Test-Path) ) { New-Item -Path $logFilePath -Name $logFileNOTOKName -ItemType File  }

$tempArray | ForEach-Object { 

    try{

        $currentURL = $($PSItem.split(',')[-1])
        $wgetResult = $null
        $wgetResult = Invoke-WebRequest -Uri $currentURL -ErrorAction Stop
        if( $wgetResult.StatusCode -eq 200 ) {
            Write-Host "$currentURL responded with $($wgetResult.StatusCode)" -ForegroundColor Green
            Add-Content -Path $logFileOK -Value "[PROC] $currentURL responded with $($wgetResult.StatusCode)"
        } else {
            Write-Host "$currentURL responded with $($wgetResult.StatusCode)" -ForegroundColor Red
            Add-Content -Path $logFileNOTOK -Value -Value "[WRNG] $$currentURL responded with $($wgetResult.StatusCode)"
        }
    } catch {
        Write-Host "$currentURL responded with no status code." -ForegroundColor Red
        Add-Content -Path $logFileNOTOK -Value "[ERR]  $currentURL responded with no status code."
    }
}

Provade koden men den spottar ut två tomma filer, har ändrat source och logfile location men gissar att det är något annat som spökar!

Bifogar bild på error men som sagt, tidigare när jag får i consol och kan kopiera in själv funkar så spendera inte för mycket tid på mig