UNIX vs Windows filer - Checksum olika.. (Java)

Windows och DOS radbryter textfiler med hex 0D, 0A medan textfiler i UNIX bara har ett 0A där, kan vara ditt problem. Det kan ju också vara olika teckenuppsättning som ställer till det.
Men om du räknar checksumma över hela filen borde det inte spela någon roll.

Det borde det visst?

Det är vad jag menar också såvida man inte gör någon form av konvertering vid överföringen.

Precis. Alltså spelar det koll vilka radbrytningar och vilken teckenkodning man använder.

Det kan vi bara svara på om du talar om vad det är för fil du pratar om, finns ingen generell skillnad mellan "filer" i UNIX och DOS.

Om man bara kopierar filerna mellan systemen borde de vara identiska (gissning, jag vet inte detta med säkerhet, men har svårt att tänka mig något annat). Om det är det du gör så måste det vara checksummeberäkningen som skiljer sig (jag antar alltså att du kollar checksumman i unix och får checksumma x och när du kollar i windows får du checksumma y). Hur kontrollerar du checksumman?

det beror nog på hur filöverföringen görs. behandlas filerna som en byteström så ska filerna vara identiska i båda ändar, men om java programmet behandlar det som text och sedan sparar själv så blir det olika radbrytningar som flera påpekat och hashen kommer att skilja sig.

som sagt det finns inget "dos-fil" eller "unix-fil". skiljer sig hashen så kan till exempel något av följande vara anledningen:

1) nedladdningen gick dåligt
2) javaprogrammet dabbar med din fil och sparar den annorlunda
3) javaprogrammet använder fel hashalgoritm
4) ... ?

Det är ju helt åt helvete att du i ett program som tankar ner filer ska behöva loopa igenom varje rad istället för att kunna hantera det som en byteström.

Det här drar ner prestandan något enormt mycket och är helt FEL lösning på ditt problem.

Hantera det som en byteström istället så kommer det att bli samma innehåll på hos dig som på servern iaf.

Jag slängde ihop följande testprogram:

package main;

import java.io.BufferedReader;
import java.io.DataInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;

import java.net.URL;
import java.net.URLConnection;

public class DownloadFile {

	public static void main(String[] args) {
		URL url = DownloadFile.class.getResource("/textfilesources/unix-ascii.txt");
		
		DownloadFile.runTest(url, true, "unix-ascii-preserve.txt");
		DownloadFile.runTest(url, false, "unix-ascii-dont-preserve.txt");
		
		url = DownloadFile.class.getResource("/textfilesources/unix-utf8.txt");
		
		DownloadFile.runTest(url, true, "unix-utf8-preserve.txt");
		DownloadFile.runTest(url, false, "unix-utf8-dont-preserve.txt");
		
		url = DownloadFile.class.getResource("/textfilesources/dos-ascii.txt");
		
		DownloadFile.runTest(url, true, "dos-ascii-preserve.txt");
		
		url = DownloadFile.class.getResource("/textfilesources/dos-utf8.txt");
		
		DownloadFile.runTest(url, true, "dos-utf8-preserve.txt");
	}

	public static void runTest(URL url, boolean preserveLinebreaks, String outFilename) {
		try {
			DownloadFile.downloadFile(url, preserveLinebreaks, outFilename);
		}
		catch (IOException e) {
			System.err.println("IOException: " + e.getMessage());
		}
	}

	public static void downloadFile(URL url, boolean preserveLinebreaks, String outFilename) throws IOException {
		FileOutputStream fos = new FileOutputStream(outFilename);

		URLConnection urlConnection = url.openConnection();
		
		InputStream is = urlConnection.getInputStream();

		if (preserveLinebreaks) {
			DataInputStream dis = new DataInputStream(is);
			
			int bytesAvailable = dis.available();
			
			byte[] allBytes = new byte[bytesAvailable];
			
			dis.readFully(allBytes);
			
			dis.close();
			
			fos.write(allBytes);
			
			fos.flush();
			fos.close();
		}
		else {
			BufferedReader reader = new BufferedReader(new InputStreamReader(is));
			OutputStreamWriter osw = new OutputStreamWriter(fos);

			String line = null;
			final String lineSeparator = System.getProperty("line.separator");

			while ((line = reader.readLine()) != null) {
				osw.write(line + lineSeparator);
			}
			
			osw.flush();
			osw.close();
		}
	}
}

Det är inte production quailty code och har säkert flera brister, men det verkar fungera i mina tester, kanske är det till nån hjälp.
Jag gjorde fyra testfiler: UNIX-ASCII, UNIX-U8, DOS-ASCII, DOS-U8 som jag laddar ned. Vad man vill få till här är att encodingen bibehålls och man ska kunna välja att behålla ursprungsfilens line break style eller inte. I ditt fall då du ska jämföra checksums vill du ju ha kvar ursprungsfilens encoding och line break style.
Jag har sex testfall:
Ladda ned alla filer med bibehållen encoding och line break style - funkar.
Ladda ned unix-filerna och gör om till dos line breaks men behåll encoding - funkar.

Jag har gjort testerna under windows och jag har använt ultraedit för att skapa sourcefilerna och inspektera outputfilerna.

Edit 1: fixade en liten detalj i koden